実証済みの用途
詳細を読む
テキサス大学オースティン校のリジー・K・ジョン教授が、掛け算を一切使わないニューラルネットワークの研究成果をIEEE Spectrumで語りました。入力に重みを掛ける代わりに、二値の入力を相互接続したルックアップテーブルへ通す「重みなしニューラルネットワーク」で、用途次第で従来手法の1000分の1のサイズや速度でも同等の精度が出るといいます。狙いはAIの電力消費を根本から減らすことです。
きっかけは数年前に誘われた週次ミーティングでした。ルックアップを使う発想自体は新しくなく、1980年代にイギリスでパターン認識向けの商用製品が作られた後に姿を消し、リオデジャネイロ連邦大学の研究者が細々と続けてきた技術です。ハードウェア実装の経験を見込まれたジョン教授は、半年足らずでFPGA上に動くものを作り、GPUなしで動く極小のネットワークを実現しました。
成果はすでに数字で出ています。人の活動認識や心電図、脳波、血圧といった医療モニタリングのデータセットでは、消費エネルギーが1000分の1で済み、他の小型AIモデルが17メガバイトを要する課題を自チームは14キロバイトでこなしました。ウェイクワードの検出でも、業界最良モデルが1推論あたり5000ナノジュール超なのに対し、42から79ナノジュールで動きます。
小ささは、センサーの上で直接処理できることを意味します。生データを1ミリ秒ごとに送信する必要がなくなり、電力を節約できるうえ、データが端末から出ないプライバシー上の利点も生まれます。曲げられるプラスチック基板に載せた不整脈検出器は論理ゲート約1万個しか使わず、この基板は製造時の水の使用量も通常の半導体より少なくて済みます。
本命はやはり言語モデルです。Transformerはアテンション層と多層パーセプトロンを交互に重ねる構造ですが、ジョン教授のチームはネットワークのおよそ半分を占める多層パーセプトロン部分の置き換えにすでに成功しています。残るアテンション層は未着手で、ここが大規模モデルへ届くかどうかの分かれ目になります。
導入のハードルは高くないといいます。学習データは現行モデルと同じもので足り、むしろ少なくて済む可能性があり、スタックの他の部分を変える必要もありません。ただし学習は当面GPUに頼らざるを得ず、研究者の数もTransformer勢に遠く及ばないため、大規模言語モデルでの実証が仲間を増やせるかどうかが鍵になりそうです。