OpenAI が ARC-AGI-3 のスコアを約3倍にした理由は、モデルの変更ではない

同じ GPT-5.6 Sol、同じ公開ゲームセットで、コンテキストに関する二つの設定を変えるとスコアは 13.3% から 38.3% になった。ここで重要なのは「モデルが急に賢くなった」ことではない。agent の動かし方も、評価結果の一部だということだ。

変わったのはモデルではなく、システムの状態管理

ARC-AGI-3 では、agent が未知の二次元ゲームを探索する。ルールブックはなく、観察、操作、仮説、修正を長い手順の中で続ける必要がある。だから、過去の試行から何を持ち越せるかが本質的になる。

OpenAI が見つけた制約は二つだった。公式 harness はゲーム操作のたびに private reasoning を捨て、履歴が長くなると最も古い操作を rolling truncation で消す。直近の操作は見えても、その操作に至った仮説や計画は残らない。

二つの設定は何を直したのか

推論の保持：次の操作に「なぜそう考えたか」を渡す

ツール出力だけを次のターンへ渡しても、作業中の仮説までは残らない。多段の探索では、これは操作ごとにルールを推定し直すのに近い。OpenAI は Responses API の前回応答を引き継ぎ、次の操作が前の推論を土台にできるようにした。

Compaction：古い文脈を消すのでなく、使える状態に畳む

truncation は長さを削除で管理する。compaction は目標、証拠、棄却した経路、未解決の問いを圧縮した状態として残す。完全な記憶ではないが、実行の先頭を忘れるのとは決定的に違う。

スコアが上がって token が減った理由

コンテキストを残すことは、必ずしも余計な推論を増やすことではない。OpenAI の説明では、agent は毎手の前に世界の理解を再構築しなくなった。すでに分かったことを繰り返す代わりに、次の不確実性に token を使える。そのため、モデルや予算を増やす前に、agent がどこで忘れているかを調べる価値がある。

ベンチマークが測るのはモデル単体であることは稀で、API 設定、harness 設計、prompt といった見えにくい選択も同時に測っている。
OpenAI 原文の要旨

agent 評価へ持ち帰ること

• コンテキスト方針を能力として扱う。ツール履歴、判断、失敗理由を次のターンに渡す経路が必要だ。
• runner を報告する。API、prompt、ツール、コンテキスト方針、予算はスコアと一緒に示すべきだ。
• compaction と単純な切り捨てを同一視しない。有用な要約は制約、検証済みの事実、未解決の分岐を残す。
• 評価の問いを明確にする。最小の標準 harness と本番 agent システムは、どちらも有効だが別の問いに答えている。