研究解説 · 小互解読

外側の仕組みを変えるだけで:Opus 4.8 と Fable 5 を ARC-AGI-3 で99%まで引き上げる

Schema と呼ばれる外側の仕組みが、モデルに各ゲームのルールを実行可能なプログラムとして書き出させ、検証を通した上で動かす。公開25ゲームでの自己評価は98.98%、いずれも ARC Prize による独立検証は未実施。
⚑これはImpossible Research自身が発表した外側の仕組みで、両方の成績はチームによる自己評価かつ公開25ゲームでのみ測定されたもの、ARC Prizeの独立検証は経ていません。半公開セットに移した場合にどこまで落ちるかは、まだ測定されていません。
Impossible Research × Berkeley × CMU

ルールを教えてくれないゲーム

Impossible Research(カリフォルニア大学バークレー校、カーネギーメロン大学と共同)がSchemaを発表しました。前沿モデルに物理学者のようにゲームをプレイさせる、外側の仕組みです。挑んでいるのは、AIを苦しめるために作られた専用のテスト、ARC-AGI-3です。

原資料と参考