トランスフォーマー(LLM技術)に関するニュース一覧

AI計算コスト削減の鍵、スパースアテンション

従来AIの計算課題

AIの文脈理解を担う「アテンション」
入力長の二乗で計算コストが増加
長文対話処理のボトルネックに

新技術への期待

DeepSeek社が新技術をテスト
関連性の高い情報に絞り計算
処理コストの大幅な削減に期待
OpenAIも類似技術を採用か

中国のAI企業DeepSeek社が、AIモデルの処理コストを大幅に削減する可能性のある新技術「スパースアテンション」をテストしています。この技術は、AIが文脈を理解する際の計算量を劇的に減らし、これまでボトルネックとなっていた長文対話の処理性能を向上させる可能性があります。AIの運用コスト削減と応用範囲拡大への貢献が期待されます。

AI、特に大規模言語モデルは「アテンション」という仕組みで単語間の関連性を計算し、文脈を理解します。しかし、2017年に登場した画期的なTransformerアーキテクチャでは、入力された全ての単語の組み合わせを総当たりで比較するため、計算コストが入力長の二乗で増加するという根本的な課題を抱えていました。

この「二乗の呪い」は深刻です。例えば、1,000語の文章では100万回、1万語では1億回もの比較計算が必要になります。これにより、ChatGPTのような対話型AIでは、会話が長くなるほど応答速度が低下するなどの性能ペナルティが発生していました。新しい応答のたびに、全履歴を再計算するためです。

DeepSeek社がテストする「スパースアテンション」は、この問題を解決するアプローチです。全ての単語を比較するのではなく、文脈上関連性の高い単語の組み合わせに絞って計算を行います。これにより、計算量を大幅に削減し、コストと性能のボトルネックを解消することを目指します。

OpenAIのGPT-5など、最先端のモデルでも同様の技術が採用されていると推測されています。スパースアテンションの普及は、AIの運用コストを引き下げ、より長く複雑なタスクを扱えるようにする鍵となります。今後のAI開発の費用対効果を大きく左右する技術として注目されます。

DeepSeek、APIコスト半減の新AIモデル発表

APIコストを半減する新技術

長い文脈での推論コスト削減
APIコストが最大で半減
新技術「スパースアテンション」
実験モデル「V3.2-exp」を公開

効率化を実現する2段階選択

まず重要部分を抜粋・優先順位付け
次に抜粋内からトークンを選択
サーバー負荷を大幅に軽減
Hugging Faceで利用可能

中国のAI企業DeepSeekは29日、新しい実験的AIモデル「V3.2-exp」を発表しました。このモデルは「スパースアテンション」と呼ばれる新技術を搭載しており、長い文章や大量のデータを処理する際の推論コスト(APIコスト)を最大で半減させる可能性を秘めています。AIの運用コスト削減は業界全体の課題であり、今回の発表は大きな注目を集めています。

新技術の核心は、処理情報を効率的に絞り込む2段階の仕組みです。まずシステムが入力文から重要部分を抜粋し、次にその中から処理に必要な最小限のトークンを選択します。この選択と集中のアプローチにより、関連性の低い情報処理を省略し、サーバー負荷を大幅に軽減するのです。

AIモデルの運用コスト、特に「推論コスト」の削減は、AIサービスを普及させる上で極めて重要です。今回の試みは、AIの基本構造であるTransformerアーキテクチャの効率化を目指すもの。特に大量の文書読解や複雑な対話など、長い文脈を扱う応用でのコストメリットは計り知れません。

この「V3.2-exp」モデルはオープンウェイトとして、開発者プラットフォームのHugging Faceで既に公開されています。誰でも自由に利用し、その性能を検証できるため、DeepSeekが主張するコスト削減効果が実証される日も近いでしょう。今後、第三者による客観的な評価やさらなる改良が期待されます。

DeepSeekは中国に拠点を置く企業で、年初には独自の学習手法を用いたモデルで業界を驚かせました。今回の発表は、米中間の技術競争という側面だけでなく、AI業界全体のコスト効率化という共通課題に対する一つの解を示した点で意義深いと言えます。この技術が米国の主要プロバイダーにも影響を与える可能性があります。

Hugging Face、Apple向けAIライブラリv1.0を公開

Apple開発者向けAIツール

ローカルLLMのアプリ統合を簡素化
Tokenizer, Hubなど必須機能を提供
Core MLやMLXを補完する設計

v1.0の進化点

パッケージの安定性向上とAPI整理
モジュール分割による依存性削減
最新Core ML APIとSwift 6に対応

今後のロードマップ

MLXフレームワークとの連携深化
エージェント型ユースケースの探求

AIプラットフォームのHugging Faceが、Apple製品開発者向けライブラリ「swift-transformers」のバージョン1.0を公開しました。本ライブラリは、iPhoneなどのデバイス上でローカルにAIモデルを動作させる際の技術的ハードルを下げ、アプリへの組み込みを容易にすることを目的としています。

swift-transformersは、AppleのCore MLやMLXといった機械学習フレームワークを補完する重要な機能群を提供します。具体的には、複雑なテキスト入力を処理する「Tokenizers」、Hugging Face Hubからモデルを管理する「Hub」、Core ML形式モデルの推論を簡素化する「Models」と「Generation」が中核をなします。

すでに、Apple自身のサンプル集「mlx-swift-examples」や、高性能な音声認識フレームワーク「WhisperKit」など、多くのプロジェクトで採用されています。これにより、AppleエコシステムにおけるオンデバイスAI開発の基盤技術としての地位を確立しつつあると言えるでしょう。

今回のv1.0リリースは、ライブラリの安定性を公式に保証する初のメジャーアップデートです。主要な変更点には、必要な機能だけを導入できるモジュール分割や、最新のCore ML APIへの対応、そしてSwift 6への完全準拠が含まれます。開発者はより安心して長期的なプロジェクトに採用できます。

Hugging Faceは今後の展望として、Appleの機械学習フレームワーク「MLX」との連携強化を掲げています。さらに、自律的にタスクを処理する「エージェント」のような、より高度なユースケースの実現も視野に入れており、オンデバイスAIの新たな可能性を切り拓くことが期待されます。

Cohere、企業価値70億ドルに到達、AMDと提携でNvidiaに対抗

企業向けAIモデル開発のCohereは9月24日、1億ドルを追加で調達し、企業価値が70億ドルに達したと発表しました。これは8月の5億ドル調達に続くものです。同時に半導体大手AMDとの提携も締結し、NvidiaとOpenAIの連合に対抗する動きを見せています。この提携は、AI市場の勢力図に変化をもたらす可能性を秘めています。 今回の提携の核心は、CohereのAIモデル群がAMDのGPU「Instinct」で動作可能になる点です。これは市場を独占するNvidia製GPUへの依存を減らす動きと言えるでしょう。さらに、AMD自身もCohereの顧客となり、自社内でAIモデルを活用します。CohereはNvidia製GPUのサポートも継続するとしています。 Cohereは2019年、生成AIブームの火付け役となった論文「Transformer」の共著者によって設立された有力企業です。しかし、OpenAI(企業価値5000億ドルとの報道)やAnthropic(同1830億ドル)といった競合に比べると、企業価値の規模では後塵を拝しているのが現状です。 Cohereは特に「AI主権」を重視する企業をターゲットにしています。これは、自社のデータやAIモデルを外部の事業者に委ねず、自国・自社内で管理したいというニーズに応える戦略です。今回のラウンドに国際的なネットワークを持つ投資家が新たに参加したことも、この戦略を裏付けています。