InMarket、正常稼働でも40％誤集計

Salesforceで企業向けデータ移行基盤を手がけるSiddharth Arun氏は2026年9月6日、InMarket在籍時の広告データ基盤が、処理エラーなしで11日間にわたり顧客向けオーディエンス数を40％誤って算出した経験を明らかにしました。上流の広告ネットワークによる項目名変更でSparkの結合キーが一致しなくなりましたが、Airflowなどの稼働監視は異常を検知できませんでした。

InMarketの基盤は、日々数十億件、合計1PB超の位置情報・広告イベントをS3、Spark、Airflow、Snowflakeで処理していました。規模が大きいほど40％の減少も通常の変動に紛れ、顧客がキャンペーン不振を指摘するまで発覚しにくくなります。

別の事例では、日付パーティションだけが作られ実データが届かなかったため、空の結果を正常として書き出し、3日分のデータが消えました。DAG完了やパーティションの存在といった構造上の確認は、数字の意味が正しいかを保証しません。

Arun氏が提案する対策は、変換後ではなく取り込み時点で入力スキーマを登録内容と照合することです。入口で不一致を早期に検知すれば、誤ったデータが下流へ11日間広がる事態を防ぎやすくなります。

監視対象には、オーディエンス数、最終ロードからの経過時間、スキーマ検証結果、ファイル数・容量、SLA達成状況を含めます。筆者は、処理速度や稼働率だけでなく、業務上の正しさを第一級の運用指標にすべきだと訴えます。

今後、AIエージェントがスキーマ変更対応や再処理を担っても、数値の誤りを判定する基準がなければ問題は残ります。まず正常なデータと業務上の不変条件を定義し、一つでも意味の検査を加えることが実践的な第一歩です。