詳細を読む
北京大学など中国の3研究機関は、AIエージェントにデータ処理工程を組ませるオープンソース基盤「DataFlow-Harness」を公開しました。12課題の検証で成功率93.3%を記録し、標準のClaude Codeに比べAPI費用を72.5%、応答時間を49.9%抑えています。狙いは使い捨てのコードではなく、後から人が読んで直せる資産を残すことです。
研究チームが問題視したのは、自然言語の指示と本番環境の要求との断絶、いわゆる「NL2Pipelineギャップ」です。実験では、Claude Codeが自由形式のスクリプトを書ける場合の成功率は94.2%でしたが、プラットフォーム固有の部品だけで工程図を組ませると83.3%まで低下しました。監査や再利用に耐える工程を作る方が、使い捨てのコードより難しいという結果です。
基盤は四つの要素で構成します。中核のバックエンドが処理工程を有向非巡回グラフ（DAG）として保持し、エージェントはMCP経由で利用可能な演算子の一覧と現在の状態を取得したうえで、型付きの差分だけを加えます。さらに「Skills」と呼ぶマークダウン文書が、演算子の選び方やスキーマ推定の手順を文脈に注入し、AIの当てずっぽうを減らします。
人が介在できる点も特徴です。WebUIでは自然言語での対話に加えて工程図を視覚的に編集でき、AIが提案した変更をその場で確認して手直しできます。システムは登録済みのデータセットや演算子、項目の受け渡しを事前に静的検査し、成立しない接続を弾きます。
実務に近い例では、教科書から画像付き問答データを抽出する課題でPDF解析やOCR、図版抽出などを組み合わせ、精度97.2%、網羅率87.3%を達成しました。数学データの整備でも、この基盤が組んだ工程で作ったデータの方が、素のClaude Codeが書いた処理より高い精度のモデルを生んでいます。
一方で導入の敷居は残ります。第一著者のRunming He氏は、現状はDataFlowプラットフォーム専用でAirflowやPrefectにそのままつなげるわけではなく、社内の登録簿やメタデータを結ぶアダプターの実装が必要だと説明します。Apache 2.0で公開されていますが、小規模な単発の変換や、メタデータを出せない旧環境には向かないとも述べています。