LoRA（モデル学習手法・技術）に関するニュース一覧

NVIDIAとHugging Faceは、大規模動画生成モデルCosmos Predict 2.5をLoRAおよびDoRAで効率的に微調整する手法を公開しました。20億パラメータのモデル全体を再学習する代わりに、注意機構やフィードフォワード層に小規模なアダプタモジュールを注入することで、単一のGPUでも微調整が可能になります。ロボット操作の合成動画生成を主な応用先として、92本の実ロボット動画を使った学習手順が示されています。

微調整にはrectified flowの定式化が用いられ、ノイズサンプルからクリーンデータへ線形に輸送する速度をモデルが学習します。VAE、テキストエンコーダ、DiTの基盤重みはすべて凍結され、LoRAアダプタのパラメータのみが更新されます。数値安定性のため、アダプタの重みはfloat32にキャストされ、bf16混合精度で学習が進みます。

評価では、Sampson誤差による幾何的整合性と、Cosmos Reason2をLLM審査員とした物理的妥当性・指示追従性の3指標が用いられました。微調整前のベースモデルでは、ロボットの手が人間の手に置き換わる幻覚や、指定された手の左右が無視される問題が発生していましたが、LoRA・DoRAによる微調整でこれらが解消されました。

rank 8とrank 32の比較では、高ランクが指示追従性を向上させる一方、幾何的整合性や物理的妥当性はランク8でも十分という結果が得られました。これは物理的な事前知識が凍結された基盤モデルに既に含まれており、アダプタはドメイン固有の外観やタスク構造の学習のみを担うためと分析されています。DoRAは低ランクでの学習安定化に有用ですが、rank 32ではLoRAと同等の性能に収束しました。

オープンソースのがん領域臨床意思決定支援システム「OncoAgent」の技術論文が、Hugging Faceブログで2026年5月9日に公開されました。OncoAgentは、LangGraphによる8ノードのマルチエージェント構成と、4段階の補正RAGパイプラインを組み合わせ、NCCNやESMOなど70以上の医師向けガイドラインに基づく回答生成を実現しています。患者データを外部クラウドに送信しない「Zero-PHI」ポリシーを掲げ、院内オンプレミス環境での完結運用を前提に設計されています。

モデルは症例の複雑さに応じて2段階に分かれます。加重スコアリングにより、ステージIVや複数遺伝子変異を伴う高難度症例は27Bパラメータの深層推論モデル（Tier 2）へ、それ以外は9Bパラメータの高速トリアージモデル（Tier 1）へ自動ルーティングされます。いずれもQwen系モデルをベースに、QLoRAで微調整されています。

学習には実症例と合成データを合わせた26万6,854件のOncoCoTコーパスが使われました。AMD Instinct MI300X（192GB HBM3）上でUnslothフレームワークとシーケンスパッキングを活用し、当初5時間と見積もられた学習を約50分に短縮しています。合成データ生成もAPI経由の毎時120件に対し、MI300X上では毎時6,800件と56倍の速度を達成しました。

安全面では、検索ゲート・信頼度ゲート・リフレクション批評・人間介入（HITL）の4層構造を採用しています。批評ノードはLLMではなく決定的コードで動作するため、敵対的プロンプトによる安全機構の迂回を防ぎます。RAGパイプラインでは、コサイン距離0.10を閾値とする反幻覚ポリシーにより、ドメイン外の入力には推奨を一切生成しない設計です。

現時点での課題として、学習データの約36%が合成症例であり、腫瘍専門医による大規模な精度検証はまだ実施されていません。ガイドラインも主に英語のNCCNが対象で、ESMOや他言語の臨床資料への対応は今後の課題です。コード・アダプタ重み・合成コーパスはHugging FaceとGitHubで公開予定とされています。

IBMは2026年3月31日、企業向け文書理解に特化した小型視覚言語モデル「Granite 4.0 3B Vision」をHugging Faceで公開しました。30億パラメータながら、表・図表・帳票からの情報抽出で大型モデルを上回る性能を発揮します。

本モデルはGranite 4.0 Microの上にLoRAアダプタとして構築されており、画像処理が不要な場面ではベースモデルに自動的にフォールバックします。この設計により、1つのデプロイでマルチモーダルとテキスト専用の両方に対応できます。

技術面では、独自のDeepStack Injection方式を採用しています。抽象的な視覚特徴を前段レイヤーに、高解像度の空間特徴を後段レイヤーに分離して注入することで、文書の内容と配置の両方を正確に理解します。

性能面では、図表理解ベンチマークのChart2Summaryで86.4%を達成し、自身の2倍以上のサイズのモデルを含む全評価対象中で首位となりました。表抽出でもPubTables-v2やTableVQAなど複数のベンチマークで最高スコアを記録しています。

さらに、170万件の合成チャートデータセット「ChartNet」を独自開発し、CVPR 2026で発表予定です。24種類のチャートタイプと6つの描画ライブラリをカバーし、コード・画像・データ表・要約・QAの5要素を揃えた高品質なデータで訓練されています。

活用面では、単体での画像理解に加え、文書処理ツールDoclingとの統合により、大規模PDFの自動処理パイプラインを構築できます。請求書や財務報告書、学術論文など幅広い文書に対応し、Apache 2.0ライセンスで自由に利用可能です。

NVIDIAは2026年3月20日、マルチモーダル・多言語対応のコンテンツ安全モデル「Nemotron 3 Content Safety 4B」をHugging Faceで公開しました。従来の英語中心・テキストのみの安全モデルが抱えていた文化的ニュアンスの見落としを解消することを目指しています。

同モデルはGemma-3 4B-ITビジョン言語基盤モデル上に構築され、LoRAアダプターで安全分類機能を追加しています。テキスト・画像またはその両方を入力として受け取り、安全・危険の判定を出力します。アシスタント応答が含まれる場合はやり取り全体の文脈を評価し、複合的に生じる違反も検出できます。

訓練データにはNemotron Safety Guard Dataset v3の文化的に適応された多言語データ、人手でアノテーションされたマルチモーダルデータ、合成データなどが含まれます。英語データは日本語・中国語・韓国語を含む12言語に翻訳され、実運用環境を反映した多言語カバレッジを実現しています。

ベンチマーク評価では、Polyguard・VLGuard・MM SafetyBenchなど主要テストで平均84%の精度を達成し、同規模のオープン安全モデルを上回りました。さらにポルトガル語やロシア語など訓練外言語でも強力なゼロショット汎化性能を示しています。推論遅延は大型モデルの約半分で、エージェントループやリアルタイム用途にも適しています。

4月にはNVIDIA NIMとしても提供予定で、GPU最適化された推論マイクロサービスとして本番環境への迅速な導入が可能になります。企業のAIエージェントやグローバルサービスにおけるコンテンツモデレーション基盤として、実用性の高い選択肢となりそうです。

IBM Researchは2026年3月20日、オープンソースのPythonライブラリMellea 0.4.0と3つのGranite Librariesを同時公開しました。これにより、IBM Graniteモデル上で構造化・検証可能・安全性を備えたAIワークフローの構築が容易になります。

Melleeは確率的なプロンプト動作を、構造化された保守可能なAIワークフローに置き換えるライブラリです。制約付きデコードや構造化修復ループ、パイプラインの組み合わせにより、LLMベースのプログラムの予測可能性と保守性を高める設計思想を持っています。

バージョン0.4.0では、Granite Librariesとのネイティブ統合が実現しました。制約付きデコードに基づく標準化APIを通じ、出力のスキーマ正確性を保証します。さらにリジェクションサンプリング戦略による指示・検証・修復パターンや、イベント駆動型コールバックによる観測フックも導入されました。

同時公開されたGranite Librariesは、granite-4.0-microモデル向けの特化型LoRAアダプタ群です。granitelib-coreは要件検証、granitelib-ragは検索前・検索後・生成後のRAGタスク、granitelib-guardianは安全性・事実性・ポリシー準拠の各領域をカバーします。

汎用プロンプティングに頼らず、タスク特化型アダプタを用いることで、少ないパラメータコストで各タスクの精度を向上させつつ、ベースモデルの能力を損なわない点が特長です。コードと論文はHugging FaceおよびGitHubで公開されており、すぐに導入を開始できます。

Hugging Faceは2026年3月にオープンソースロボット学習フレームワーク「LeRobot」のv0.5.0をリリースした。同バージョンでは初のヒューマノイドロボット対応や6つの新ポリシー追加、データパイプラインの大幅な高速化など、あらゆる次元でのスケールアップが実現されています。

最大のハードウェア追加はUnitree G1ヒューマノイドの全面サポートです。歩行・ナビゲーション・物体操作・遠隔操作に加え、全身協調制御（WBC）により移動と操作を同時実行できる。これはLeRobotが卓上アームを超えた汎用ロボティクスへ踏み出す重要な一歩となっています。

ポリシー面ではPi0-FASTが注目されます。Gemma 300Mベースの自己回帰型アクションエキスパートを採用し、FASToトークン化によって離散化されたアクション列を生成します。また推論技術のReal-Time Chunking（RTC）は、フローマッチングポリシーの応答性を劇的に改善し、実世界デプロイでのレイテンシ問題を解消します。

データセットパイプラインではストリーミングビデオエンコーディングの導入により、エピソード記録後のエンコード待ち時間がゼロになりました。さらに画像学習が最大10倍、エンコードが3倍高速化されており、データ収集からモデル訓練までのサイクルが大幅に短縮されています。

コードベース面ではPython 3.12+とTransformers v5への移行が完了し、サードパーティポリシープラグインシステムの導入でエコシステムの拡張性が向上しました。EnvHubとNVIDIA IsaacLab-Arenaの統合により、シミュレーション環境の共有・活用も容易になっています。同論文はICLR 2026にも採択されており、学術コミュニティからの評価も高まっています。

Hugging FaceとUnslothは、Hugging Face Jobsプラットフォームを通じてLLMのファインチューニングを無料で提供するパートナーシップを発表しました。Unslothはその高速化（通常の2〜5倍速）とメモリ効率（最大80%削減）で知られており、これをHFのクラウドインフラと組み合わせることで、GPUを持たない開発者や研究者に訓練機会を開放します。

ファインチューニングの民主化は、AI活用の次のフロンティアを拓きます。汎用的な基盤モデルをドメイン特化させる能力は、医療、法律、製造など特定業界でのAI活用精度を大幅に向上させます。これまでこの作業には高額なGPUクラスターが必要でしたが、今後は個人や中小企業でも実施可能になります。

HuggingFaceにとってこの提携は、モデルハブ（保管）からトレーニング基盤（構築）、さらにはデプロイメントまでをカバーするフルスタックMLプラットフォームとしての地位を強化します。Unslothのユーザーベースを取り込む獲得戦略でもあります。

Unslothの側では、有料の商用サービスへの入口としてHF経由の無料ティアを活用する戦略です。無料で試したユーザーが高度な機能や大規模訓練のために有料プランに移行するフリーミアムモデルを狙っています。

この動きはより広いトレンドの一部です。LLMの推論コストが下がり続ける中、次の競争軸は専用化・個別最適化にシフトしています。ファインチューニングの民主化が進むことで、汎用LLMよりもドメイン特化モデルが主流になる時代が近づいています。

ReplitはAgent 3の開発において、コードが「動いているように見えるだけ」の問題、いわゆる「ポチョムキン実装」に悩まされてきました。この課題を解決するためREPL（対話型実行環境）とブラウザ自動化を組み合わせた独自の検証システムを構築し、エージェントが生成したコードを実際に実行・操作して機能の実在性を確認できるようにしました。

この仕組みによりAgent 3は200分以上にわたって自律的にタスクを継続でき、単に見た目を整えるだけの実装を自動的に検出・修正するサイクルを回せるようになりました。自己テスト型の検証ループはエージェントの品質保証に新たな基準を示しています。

IBMが開発したCUGA（Configurable Generalist Agent）はオープンソースの汎用AIエージェントフレームワークです。AppWorldベンチマークで1位、WebArenaでも上位を記録しており、WebやAPIを跨ぐ複雑なマルチステップタスクを高い精度でこなします。

CUGAは現在Hugging Face Spacesに統合され、オープンモデルと組み合わせて誰でも試せる環境が整いました。推論モードをコスト・レイテンシに応じて切り替えられる柔軟な設計が特徴で、MCP・OpenAPI・LangChain経由の多様なツール連携にも対応しています。

Twilioの調査によると、消費者の54%が「AIは過去のやりとりをほとんど覚えていない」と感じており、AIから人間担当者へ引き継がれる際に全文脈が共有されると答えたのはわずか15%でした。エージェントAIが真に機能するには、リアルタイムで携帯可能な会話メモリが不可欠です。

この問題を解決するには、従来のCRMやCDPを使い続けるのではなく、会話メモリをコミュニケーションインフラの内部に組み込む必要があると指摘されています。Twilioはこうした次世代の顧客データ基盤の構築を推進しています。

NVIDIAはNemotron 3ファミリーを発表し、エージェントAIの微調整に最適化されたオープンモデルとライブラリを提供しました。GeForce RTXラップトップからDGX Sparkまで幅広いNVIDIA GPUで動作します。

Unslothを使ったLoRA/QLoRAによるファインチューニングは、フルパラメータ更新より少ないメモリと時間でモデルを特定タスクへ特化させる手法です。製品サポートや個人アシスタントなどの用途で小型言語モデルの精度を高める実用的なアプローチとして注目されています。

マサチューセッツ工科大学（MIT）の研究チームが、大規模言語モデル（LLM）が自らを改善する技術「SEAL」の改良版を公開し、AIの自律的な進化が現実味を帯びてきました。この技術は、LLMが自ら合成データを生成してファインチューニングを行うことで、外部からの継続的なデータ供給や人間の介入なしに性能を向上させることを可能にします。

SEALの核心は、モデルが「自己編集」と呼ばれる自然言語の指示を生成し、それに基づいて自らの重みを更新する点にあります。これは、人間が学習内容を再構成して理解を深めるプロセスに似ており、従来のモデルがデータをそのまま受け身で学習するのとは一線を画します。

性能評価では、SEALは目覚ましい成果を上げています。新たな事実知識を取り込むタスクでは、正答率を33.5%から47.0%へと向上させ、これはGPT-4.1が生成したデータを使った場合を上回りました。また、少数の例から学ぶフューショット学習でも、成功率を20%から72.5%に引き上げています。

技術的には、SEALは「内側ループ」で自己編集による教師ありファインチューニングを行い、「外側ループ」で強化学習によってより有益な編集を生成する方策を学ぶ、という二重ループ構造を採用しています。計算効率を高めるため、効率的なファインチューニング手法であるLoRAが活用されています。

しかし、課題も残されています。新たな情報を学習する際に、以前に学習した能力が低下する「災害的忘却」のリスクや、一つの編集を評価するのに30～45秒かかる計算コストの高さが挙げられます。研究チームは、強化学習がこの忘却を緩和する可能性があると指摘しています。

それでも、この技術がもたらすインパクトは計り知れません。AIコミュニティからは「凍結された重みの時代の終わり」との声も上がっており、モデルが環境の変化に合わせて進化し続ける、より適応的でエージェント的なAIシステムへの道を開くものと期待されています。

教育分野向けのクラウドソフトウェア大手PowerSchoolは、AIアシスタント「PowerBuddy」の生徒安全を確保するため、AWSのAmazon SageMaker AIを活用し、コンテンツフィルタリングシステムを構築しました。オープンな基盤モデルであるLlama 3.1を教育ドメインに特化してファインチューニングし、高い精度と極めて低い誤検出率を両立させ、安全な学習環境の提供を実現しています。

このソリューションが目指したのは「責任あるAI（Responsible AI）」の実現です。ジェネリックなAIフィルタリングでは、生徒が歴史的な戦争やホロコーストのような機微な学術的話題を議論する際に、誤って暴力的コンテンツとして遮断されるリスクがありました。同時に、いじめや自傷行為を示唆する真に有害な内容は瞬時に検知する必要があり、ドメイン特化の調整が不可欠でした。

PowerSchoolは、このカスタムモデルの開発・運用基盤としてAmazon SageMaker AIを選定しました。学生の利用パターンは学校時間帯に集中するため、急激なトラフィック変動に対応できるオートスケーリング機能と、ミッションクリティカルなサービスに求められる高い信頼性が決め手となりました。また、モデルの重みを完全に制御できる点も重要でした。

同社はLlama 3.1 8Bモデルに対し、LoRA（Low Rank Adaptation）技術を用いたファインチューニングをSageMaker上で行いました。その結果、教育コンテキストに特化した有害コンテンツ識別精度は約93%を達成。さらに、学術的な内容を誤って遮断する誤検出率（False Positive）を3.75%未満に抑えることに成功しました。

この特化型コンテンツフィルタリングの導入は、学生の安全を確保するだけでなく、教育現場に大きなメリットをもたらしています。教師はAIによる学習サポートにおいて生徒を常時監視する負担が減り、より個別指導に集中できるようになりました。現在、PowerBuddyの利用者は420万人以上の学生に拡大しています。

PowerSchoolは今後、SageMaker AIのマルチアダプター推論機能を活用し、コンテンツフィルターモデルの隣で、教育ドメインに特化した意思決定エージェントなど複数の小型言語モデル（SLM）を展開する計画です。これにより、個別のモデルデプロイが不要となり、専門性能を維持しつつ大幅なコスト最適化を目指します。