研究解説 · 小互解説

Memories.aiがO-MARCを発表——動画と音声を同時処理するAIを、速く・省メモリに・より正確に動かす方法

あわせて、「音声トラックを削除してもう一度解かせる」方式で、映像だけで正解できてしまう設問をふるい落とすテストセットも公開した。
⚑
本稿の内容はMemories.aiの研究ページとそのarXiv論文に基づく。効率と精度はいずれも著者らの自己評価データである。文中の数値は論文中の表に照らして適用条件を確認済みで、条件が異なる箇所は注記した。

Memories.aiは7月8日、O-MARCと呼ばれる研究成果を公開した。あわせて論文は5月26日にすでにarXivに掲載されている。これが解決するのは、非常に具体的な課題だ——動画と音声を同時処理するAIを、どうすれば速く・省リソースに・より正確に動かせるか。

課題

現在の視聴覚AIが行き詰まる2つの点

一、高コストで遅すぎる——計算資源がまるで足りない

モデルは動画を直接「見て」いるわけではない。動画がモデルに入力される前に、一連のトークンへと分解される。各フレームは多数のブロックに切り分けられ、1ブロックが1トークンになる。音声も時間軸に沿って一連のトークンへ切り分けられる。そこにユーザーが尋ねた質問文が加わる。この3つを1本の長いシーケンスにつなぎ合わせ、モデルが最初から最後まで読み通す。

原資料と参考