OpenAI、10億人支えるHabitatをRust移行へ

OpenAIは2026年第2四半期、週10億人超が使う製品を支えるオンラインストレージ基盤「Habitat」のサービスを、2人のエンジニアとCodex、GPT-5.5でPythonからRustへ全面的に書き換えました。現在は本番リクエストの95％をRust版が処理し、Python版よりCPU効率が6倍、メモリ効率が15倍に向上し、平均遅延と末尾遅延も大幅に低下しています。

Habitatは現在、約40地域で毎秒7千万件超のリクエストと500ペタバイト超のデータを扱います。2024年半ばには単一データベースにつながる小さなPythonライブラリでしたが、3年連続で年10倍超という成長への対応を迫られました。

2025年半ば、クライアント側の実装は限界に達しました。数十のサービスに更新を配る運用が障害を招いたため、OpenAIはHabitatを独立サービスにし、配備や監視、アクセス制御、監査ログを一元化しました。

Python版ではI/Oの並行処理ができても、CPU処理がイベントループを塞ぎ、応答の遅い上位1％で待ち時間が膨らみました。OpenAIは設定解析の頻度と対象を絞り、実行時刻を分散させる一方、各プロセスの同時処理を抑えて多数のワーカーへ水平分散しました。

接続のLIFO再利用が遅いサーバーに負荷を集中させる悪循環も、FIFOへの変更で解消しました。さらにIstioとEnvoyによる負荷分散やHTTP/2多重化と、予測可能な処理量に絞ったNoSQL APIを組み合わせ、成長中の安定性を確保してRust移行までの時間を稼ぎました。