Microsoft、AIモデルと基盤を用途別選定

Microsoftは、企業がAIを本番導入する際、モデルだけでなく計算容量やインフラも含めて選ぶ必要があると説明しました。用途ごとに性能、利用率、予測可能性、コストが異なるため、単一モデル・単一方式では対応しにくくなっています。

需要が変動する業務にはトークン単位の従量課金が適し、安定した需要や厳しい遅延要件がある業務には専用容量が選択肢になります。専用環境ではGPU稼働率や処理量も含めて実効コストを見積もる必要があります。

Microsoft FoundryのManaged Computeでは、顧客がモデル、アクセラレーター、容量、動作条件を選びつつ、基盤の配信環境の多くをMicrosoftが管理します。これにより運用保守の負担を抑え、業務に関わる選択を維持できるとしています。

記事はAMDのMI300Xを例に、GPU当たり192GBのHBM3を使い、3200億パラメーターのZ.ai GLM 5.3 Flashを4基から提供できると説明します。AT&T;の通信向けAI施策も複数のオープンモデルを使う例として紹介されています。