出典：VentureBeat
詳細を読む
NVIDIAのジェンスン・フアンCEOは10月21日のGTC Berlin基調講演で、企業に自社の「AI工場」構築を提唱しました。一方、VentureBeat Intelligenceが9月に実施した調査では、本番AIを運用しGPU稼働率を回答した68社のうち55社（81％）が平均50％以下で、その71％が12カ月以内にAI基盤の新規導入・追加・刷新を計画しています。
調査対象102社全体でも63％が1年以内の基盤変更を予定する一方、財務部門が確認・承認したインフラROIを持つのは10％でした。導入予定層の91％に承認済みROIがなく、既存投資の収益性を確かめる前に次の購入判断が進んでいる構図です。
購入時の重視項目は既存クラウド・データ基盤との統合が48％、性能が42％、GPUの入手性が35％でした。記事は追加調達の前に、遅延や再試行、成果につながらない資源消費がどの工程で起きるかを特定する必要があると指摘します。
特にエージェント型AIでは、推論、検索、保存、再試行、人手確認を含む成功タスク当たりのコストを中核指標に据えるべきだと提案しています。誤った顧客対応や修正を要するコードを成功扱いせず、合意した品質基準と価値の基準線を財務部門と共有する考え方です。
設計では、組織の恒久知識、作業継続用のタスク状態、推論時のキャッシュ資源という三つの「記憶」を分けて扱います。小型モデルも単価だけで選ばず、検索、状態管理、上位モデルや人への切り替えを含むワークフロー全体で品質と総コストを検証することが、過剰投資を避ける鍵です。