脳の分散アーキテクチャ
知能の定義と今後の展望
詳細を読む
Microsoft ResearchのDoug Burger氏が新ポッドキャスト「The Shape of Things to Come」を開始し、第1回では同社研究員のNicolò Fusi氏とNumentaのSubutai Ahmad氏を招き、現在のAIシステムが本当に知的かを議論しました。
トランスフォーマーの仕組みについてFusi氏は、注意層がトークン間の関係性を把握し、フィードフォワード層が知識を格納する二層構造だと説明しました。さらにLLMを情報理論的な無損失圧縮器と捉える見方を示し、より良い生成モデルの構築は最適な圧縮器の探索と等価であると主張しました。
Ahmad氏は脳の千脳理論を解説し、大脳新皮質には約10万個の皮質コラムが存在し、それぞれが独立した感覚運動処理システムとして完全な世界モデルを構築していると述べました。成体マウスの研究では4日ごとにシナプスの30%が入れ替わることが判明しており、脳は投機的に新しい接続を形成し不要なものを刈り込む継続学習を行っています。
効率性の面では、脳はわずか約12ワットで70兆のシナプスを動かしている一方、同規模のパラメータを持つモデルをGPUで動かすとメガワット級の電力が必要になるとAhmad氏は指摘しました。ニューロンの活動は常時わずか1%で、接続も1%しか使われておらず、極めてスパースな表現が省エネの鍵となっています。
Fusi氏はLLMを「既に知的だが凸凹な知能」と評価する一方、Ahmad氏は3歳児が持つ好奇心と継続学習能力がLLMには欠けていると反論しました。Burger氏は小型の「デジタル皮質コラム」を大量に配置し感覚運動ループで結合する構想を提示し、Ahmad氏はそれこそが超知能システム構築の道筋だが、現在のアプローチとは根本的に異なると結論づけました。