事後学習（モデル学習手法・技術）に関するニュース一覧

Hugging Faceは2026年3月、大規模言語モデルのポストトレーニングライブラリ「TRL」のv1.0を正式リリースしました。6年以上の開発を経て、75種類を超えるポストトレーニング手法を実装する汎用ライブラリとして安定版の節目を迎えています。

ポストトレーニング分野は、PPOからDPO、さらにGRPOへと手法の中心が急速に移り変わってきました。TRLはこの変化に対応するため、強固な抽象化ではなく「変化に適応する設計」を選択しています。クラス階層を避け、実装間の重複をあえて許容することで、新手法への対応速度を維持しています。

v1.0の最大の特徴は、安定版と実験版の明確な分離です。安定版はSFT、DPO、報酬モデリング、RLOO、GRPOなどの主要トレーナーで構成され、セマンティックバージョニングに従います。実験版は新手法を素早く取り込む場として機能し、利用実績に応じて安定版へ昇格する仕組みです。

TRLは月間300万回ダウンロードされる規模に成長し、UnslothやAxolotlといった主要プロジェクトの基盤としても利用されています。これらの下流プロジェクトへの影響を考慮し、破壊的変更は0.xリリース期間中に段階的に実施されました。

今後の開発では、生成と学習を分離する非同期GRPOの本格導入、KTOや蒸留系トレーナーの安定版昇格、マルチノード学習の強化が予定されています。さらに、学習ループにヒューリスティクスを組み込み、方策の崩壊や過学習を自動検知する「エージェント向け学習可視化」機能の開発も計画されています。

Intercomは2026年3月、顧客対応に特化した独自AIモデル「Fin Apex 1.0」を発表しました。同社のベンチマークによれば、顧客問い合わせの解決率は73.1%に達し、OpenAIのGPT-5.4やAnthropicのClaude Opus 4.5の71.1%を上回ると主張しています。

Apex 1.0は応答速度でも優位性を示し、3.7秒で回答を生成します。これは競合より0.6秒速い数値です。さらにClaude Sonnet 4.6と比較して幻覚（ハルシネーション）を65%削減したとされ、フロンティアモデルを直接利用する場合の約5分の1のコストで運用できます。

同社CEOのイーガン・マッケイブ氏は「事前学習はコモディティ化した。フロンティアはポストトレーニングにある」と語ります。Intercomは週200万件の顧客対話から蓄積した独自データを用いて強化学習を実施し、適切なトーンや会話構造、解決判断を学習させました。

一方で、ベースとなるモデル名の公開を拒否している点は議論を呼んでいます。同社はオープンウェイトモデルを使用したことは認めつつも、競争上の理由から具体名を明かしていません。「透明性」を掲げながら核心を伏せる姿勢には、業界から厳しい目が向けられる可能性があります。

ビジネス面では、AIエージェント「Fin」の年間経常収益が1億ドルに迫り、前年比3.5倍の成長を遂げています。Intercomは今後、顧客対応だけでなく営業・マーケティング領域への拡大を計画しており、Salesforceの「Agentforce」と直接競合する構えです。ドメイン特化モデルの優位性が持続するか、汎用モデルが追いつくかが今後の焦点となります。

Eragonの創業者ジョシュ・シロタ氏は、2025年8月に同社を設立し、企業向けエージェントAI OSの構築を目指して1200万ドルの資金調達を完了しました。ポストマネー評価額は1億ドルに達しています。

同社の基本理念は「ソフトウェアは死んだ」というものです。ボタンやダイアログボックスといった従来のUIを廃し、Salesforce・Snowflake・Jiraなどの業務ソフトをプロンプトひとつで操作できる世界を目指しています。

技術面ではQwenやKimiなどのオープンソースモデルを顧客データでポストトレーニングし、企業のメールやリソースと連携します。新規顧客のオンボーディングも自然言語の指示だけで自動的に完了する仕組みです。

セキュリティ上の大きな特徴は、企業データが自社サーバー内に留まり、モデルの重みも企業自身が所有する点です。シロタ氏は、長年の企業データで訓練されたモデルが将来貴重な資産になると見込んでいます。

NvidiaのジェンスンCEOもGTCで「すべてのSaaS企業がAgentic-as-a-Serviceになる」と発言し、同様のビジョンを示しました。一方でフロンティアラボからモデルラッパーまで競争は激化しており、Eragonの差別化が問われます。

仏Mistral AIは2026年3月17日、企業が自社の独自データを使ってAIモデルを構築・カスタマイズできるエンタープライズ向けモデル訓練基盤「Forge」を発表しました。NvidiaのGTCカンファレンスで披露され、クラウド大手への対抗姿勢を鮮明にしています。

Forgeは従来のファインチューニングAPIを大幅に超え、大規模内部データでの事前学習、教師ありファインチューニング、DPO、ODPOによるポストトレーニング、さらに社内ポリシーや評価基準に沿った強化学習パイプラインまでフルサイクルで対応します。製品責任者のサラマンカ氏は「AIサイエンティストはもはやファインチューニングAPIを使っていない」と述べています。

早期導入企業の事例では、Ericssonがレガシーコードの現代化に活用し、年単位の手作業を大幅に短縮しました。また古文書の欠損テキスト復元や、ヘッジファンドの独自定量言語への対応など、汎用モデルでは解決できない高度な専門領域での成果が報告されています。

ビジネスモデルは顧客が自社GPU上で訓練する場合、ライセンス料とデータパイプラインサービス料を課金し、計算資源は非課金とします。最大の特徴は「フォワードデプロイド・サイエンティスト」と呼ばれる組込み型AI研究者の派遣で、Palantir型の伴走支援モデルを採用しています。

同週にはMistral Small 4、オープンソースコードエージェントLeanstral、NvidiaとのNemotron Coalition参画も発表されました。ARRは2026年中に10億ドル突破を見込んでおり、ASMLや欧州宇宙機関など機密性の高い組織との提携を通じ、「AIを借りるのではなく所有する」という戦略を加速させています。

OpenAIは、推論モデルが自らの思考連鎖（Chain of Thought）を意図的に制御できるかを調査した研究を発表しました。AIエージェントの自律性が高まるなか、思考過程の監視可能性が安全対策の鍵となっています。

研究チームはCoT-Controlというオープンソースの評価スイートを開発し、GPQAやSWE-Bench Verifiedなど既存ベンチマークから1万3000以上のタスクを構築しました。各タスクでは「小文字のみ使用」「特定キーワード回避」など、思考連鎖への具体的な指示への準拠度を測定しています。

13の推論モデルを評価した結果、すべてのモデルが思考連鎖の制御に苦戦し、フロンティアモデルでも成功率は最大15.4%にとどまりました。モデルが指示違反を自覚した後も制御できない事例が多数確認され、この低い制御能力は監視回避が困難であることを示唆しています。

興味深いことに、モデル規模が大きいほど制御性はやや向上する一方、強化学習の追加訓練や推論時間の延長により制御性は急速に低下しました。OLMo-3-7B-RL-Zero-Mathでは訓練過程で制御スコアが10分の1以下に減少しており、ポストトレーニングが監視可能性を高める方向に働くことが示されました。

OpenAIは今後、GPT-5.4 Thinkingを皮切りに、フロンティアモデルのシステムカードでCoT制御性をCoT監視可能性と併せて報告する方針です。ただし低制御性だけでは監視の堅牢性は保証されず、最適化圧力など他の要因による劣化の可能性もあるため、継続的な評価が不可欠と結論づけています。

Buyers Edge Platformの創業者ジョン・デイビー氏が、企業向けAIの精度問題を解決するため、ボストン拠点のスタートアップCollectivIQを立ち上げました。同社はChatGPT、Gemini、Claude、Grokなど最大14のAIモデルに同時に問い合わせ、統合回答を生成するソフトウェアを開発しています。

開発のきっかけは、社員が各自でAIツールを利用した際に企業情報が学習データに取り込まれるリスクが判明したことでした。デイビー氏はセキュアな企業向けAI契約を検討しましたが、高額な長期契約にもかかわらず不正確な回答やハルシネーションが頻発する状況に直面しました。

CollectivIQの技術的特徴は、複数の大規模言語モデルから得た回答の重複部分と相違部分を自動分析し、各モデル単体よりも正確な融合回答を生成する点にあります。すべてのプロンプトデータは暗号化され、企業の機密情報保護にも配慮した設計となっています。

ビジネスモデルには従量課金制を採用しており、高額な長期契約が一般的な企業向けAI市場において差別化を図っています。2026年初めに社内で展開を開始し、好評を受けて一般公開に踏み切りました。顧客企業も同様のAI導入の混乱を抱えていたことが外部展開の決め手となりました。

CollectivIQはデイビー氏の自己資金で全額出資されており、年内に外部からの資金調達を予定しています。約28年前にBuyers Edge Platformを創業したデイビー氏にとって、再びスタートアップを立ち上げる経験は原点回帰であり、開発チームと共にLLMやポストトレーニングの技術に深く関わっていると語っています。

NvidiaはNemotron 3モデルファミリーを公開しました。Nano（300億パラメータ）、Super（1000億）、Ultra（5000億）の3サイズで構成され、ハイブリッドMamba-TransformerのMoEアーキテクチャを採用しています。

Nemotron 3 Nanoは同規模モデルと比較して最大3.3倍のスループットを実現し、100万トークンのコンテキストウィンドウに対応します。推論コストの削減と精度向上を両立した設計です。

Nvidiaはモデルの重み、学習レシピ、事前学習・事後学習データセットをすべて公開しています。公開された事後学習データセットは既存の最大規模のものより2.5倍大きく、業界最大規模となります。

モデル訓練に使用した強化学習基盤NeMo Gymもオープンソースとして公開されました。数学、コーディング、ツール利用など10以上のRL環境が含まれており、開発者が独自環境を構築することも可能です。

Nvidiaはと同日、HPC向けオープンソースのワークロード管理システムSlurmを開発するSchedMDの買収を発表しました。Slurmは世界のスーパーコンピュータTop500のうち半数以上で採用されている実績ある基盤ソフトウェアです。

SchedMD買収によりNvidiaは半導体からモデル、そしてHPCソフトウェアスタックまでをカバーする垂直統合を強化します。SlurmはNvidiaのハードウェア上での最適化が進む一方、ベンダー中立性も維持されます。

米政府はNvidiaのH200チップを中国へ輸出することを承認しました。H200は前世代Hopperシリーズの最高性能GPUで、中国ではこれまで販売が制限されていました。

承認を受けてAlibabaやByteDanceなど中国大手企業がH200の大口注文を検討しており、Nvidiaは需要に応えるため生産拡大を検討しています。ただし中国政府側の輸入許可判断が依然として焦点です。

一方でNvidiaにとってのリスクも存在します。中国政府は国産チップの活用を推進しており、長期的には中国AIモデルが自国製シリコンに依存する方向へシフトする可能性があります。

NVIDIAは2025年12月、CoreWeaveと共同構築したH100 GPUクラスターにより、大規模グラフ処理性能を競う「Graph500」で世界新記録を樹立しました。これまでCPUが主役だった複雑なデータ処理領域においても、GPUが圧倒的な優位性を示し、計算インフラの歴史的な転換点を迎えています。

今回の記録では、毎秒410兆回のエッジ探索（TEPS）を達成しました。特筆すべきは、競合システムの2倍以上の性能を、わずか約9分の1のノード数で実現した点です。これは費用対効果において3倍以上の改善を意味し、企業のインフラ投資効率を劇的に高めます。

グラフ処理はデータが不規則で疎（スパース）なため、従来はCPUの独壇場でした。しかしNVIDIAは、通信と計算をGPU上で完結させる新技術を導入し、CPUを経由するボトルネックを解消しました。これにより、AI以外の科学技術計算でもGPUへの移行が加速します。

エネルギー効率を競う「Green500」でも、NVIDIA製GPU搭載システムが上位5位を独占しました。CPUシステムと比較して平均4.5倍の効率を誇り、データセンターの電力制約が厳しくなる中、持続可能な計算リソースの確保において決定的な解決策となります。

AI開発において、従来の「事前学習」「事後学習」に加え、推論時に計算量を増やす「テストタイム・スケーリング」が重要になっています。推論段階での高度な推論や計画能力が求められるようになり、学習完了後も強力なGPUインフラが必要不可欠です。

この計算能力の飛躍は、物理世界で活動するロボットや、自律的にタスクをこなすエージェントの実用化を後押しします。GPUは単なる演算装置から、全産業の生産性を底上げする「デジタル労働力」の基盤へと進化しています。

AI向け高品質データを提供するスタートアップ、Datacurveが10月9日、シリーズAで1500万ドル（約22.5億円）の資金調達を発表しました。Yコンビネータ出身の同社は、業界最大手Scale AIの牙城を崩すべく、熟練エンジニアを惹きつける独自の報奨金制度と優れたユーザー体験を武器に、複雑化するAIの学習データ需要に応えます。

同社の強みは、専門家を惹きつける「バウンティハンター」制度です。高度なスキルを持つソフトウェアエンジニアに報奨金を支払い、質の高いデータセットを収集します。共同創業者のセレナ・ゲ氏は「これは単なるデータラベリング作業ではない。消費者向け製品として捉え、最高の体験を提供することに注力している」と語ります。

この動きの背景には、AIデータ市場の大きな変化があります。最大手Scale AIの創業者アレクサンダー・ワン氏がMetaへ移籍したことで、市場に好機が生まれたと投資家は見ています。また、AIモデルの高度化に伴い、単純なデータセットではなく、複雑な強化学習（RL）環境の構築に必要な、質・量ともに高いデータへの需要が急増しています。

今回の資金調達は、Chemistryが主導し、DeepMind、Vercel、Anthropic、OpenAIといった名だたる企業の従業員も参加しました。シードラウンドでは元Coinbase CTOのバラジ・スリニヴァサン氏も出資しており、技術と市場の両面から高い評価を得ていることが伺えます。

Datacurveはまずソフトウェアエンジニアリング分野で地位を確立し、将来的にはそのモデルを金融、マーケティング、医療などの専門分野へも展開する計画です。専門家が自らのドメイン知識を活かせるインフラを構築することで、ポストトレーニングデータ収集の新たな標準を築くことを目指しています。

AIブームが進む中、基盤モデルを開発する巨大企業が置き去りにされる可能性が浮上している。かつては「GPTラッパー」と軽視されたAIスタートアップが、特定タスク向けのモデルカスタマイズやインターフェース設計に注力し始めたからだ。

基盤モデルの価値が変化している背景には、事前学習のスケーリング効果が鈍化している事実がある。AIの進歩は止まっていないが、超大規模モデルの初期利益は減少し、事後学習や強化学習が新たな進化の源泉となっている。

競争環境も変化している。スタートアップはGPT-5、Claude、Geminiなど基盤モデルを互換性のある部品として扱い、ユーザーが気づかない間にモデルを切り替えることを前提に設計している。

この状況は、OpenAIやAnthropicのような基盤モデル企業を低マージンのコモディティ事業のバックエンドサプライヤーに変えるリスクをはらんでいる。ある創業者はこれを「スターバックスにコーヒー豆を売るようなもの」と表現した。

もちろん、基盤モデル企業が完全に脱落するわけではない。ブランド力、インフラ、巨額の資金など持続的な優位性も存在する。しかし、昨年までの「より大きな基盤モデルを構築する」という戦略は魅力を失いつつある。

AI開発の速いペースを考えると、現在の事後学習への注目も半年後には逆転する可能性がある。最も不確実なのは、汎用人工知能への競争が医薬品や材料科学で新たなブレークスルーを生み出す可能性だ。

結局のところ、AIの価値は基盤モデル自体ではなく、それを活用するアプリケーションやユーザー体験に移行しつつある。企業はこの変化に適応し、新たな競争優位性を築く必要に迫られている。