NVIDIA NIM による生成 AI 推論 - パフォーマンスと TCO 優位性 скачать в хорошем качестве

NVIDIA NIM による生成 AI 推論 - パフォーマンスと TCO 優位性

NVIDIA NIMマイクロサービスによる高性能な生成AI推論がもたらす効果について視覚的にご紹介します。この動画では、事前に構築および最適化されたマイクロサービスであるNIMが、オープンな推論エンジンよりも優れたパフォーマンスを発揮し、同じNVIDIAアクセラレーション　インフラストラクチャ上で実行した場合、1秒あたりのトークン処理量が最大3倍になることを紹介します。 この動画では、LLMで動作するクロスワードパズルを解くアプリケーションで、NIMマイクロサービスの利点をご紹介しています。LLMのリクエストを50から200に同時スケーリングしています。推論のワークロードが増加するにつれてスループットの利点が拡大し、同じインフラストラクチャで1秒間に処理されるトークン数が増加し、全体的なTCOを削減しながらより多くの生成AIアプリケーションを実行できる様子をご覧ください。 今すぐ始めましょう：https://www.nvidia.com/ja-jp/ai/ 関連情報： NVIDIA NIM 詳細：https://www.nvidia.com/ja-jp/ai/?ncid... 無料でお試し、APIカタログ：https://build.nvidia.com/explore/disc...