研究解説 · 小互解説

OpenAI が API設定を2つオンにしただけ、GPT-5.6 Sol の ARC-AGI-3 スコアが 13.3% から 38.3% へ

モデルは変えず、動かしているプログラム側を変えた：プライベート推論を残し、削除の代わりに圧縮。1試合あたりの出力トークンは約6分の1に減った。
1分で要点
  • OpenAI が自社モデルの「大失敗」を振り返った：同じ GPT-5.6 Sol、同じ評価問題で、API設定を2つオンにしただけ。ARC-AGI-3 公開セットのスコアが 13.3% から 38.3% へ上がった。
  • 原因はモデルではなく、それを動かすプログラム（業界ではハーネスと呼ぶ）側。1手ごとに、自分向けに書いたプライベート推論が丸ごと捨てられ、次の手はゲーム理解をゼロからやり直しになる。
  • もう一つは、文脈が満杯になると最も古いメッセージを消すこと。過去に押したキーの記録まで押し出され、モデルに「過去」が残らない。
  • 直し方はスイッチ2つ：Responses API で前回レスポンスの ID を返すと推論が自動で残り、コンパクションを有効にすれば閾値で要約へ圧縮して継続し、先頭は消さない。
  • 削減の方がスコアより目立つ：最高レベルで1試合の出力トークンが 290 万から 49 万へ。新プログラムは「高」レベルだけで、旧プログラムが「最高」レベルまで上げたのと同じスコアに届き、トークン差は約12倍。
  • ARC 自身の5月の分析は別の説明で、世界モデルが作れない3つの失敗パターン。ARC Prize が独立検証したのは旧プログラム下の 13.33%（公開セット）と 7.78%（半プライベートセット）だけだ。
⚑ 出典は OpenAI 公式ブログ。自社モデルと自社 API の話で、38.3% は OpenAI が自社計測した成績。ARC Prize が独立検証したのは公式プログラム下の 13.33% と 7.78% だけ。数字を読むときはこの境界に注意。文末に本サイトが別途確認した出典も載せた。
はじめに

同じモデル、同じ問題でスコアが約3倍

OpenAI が、かなり具体的な失敗の振り返りを公開した。同じ GPT-5.6 Sol、同じ評価問題で、API設定を2つオンにしただけ。スコアは 13.3% から 38.3% へ、1試合の出力トークンは約6分の1まで落ちた。API で多ステップの仕事を走らせているなら、この2つのオン／オフが成績と請求を直接決める。

要するに、モデルのスコアが低いとまず「能力不足」と思うが、今回の答えは「モデルを動かすプログラムが記憶を切っていた」だ。そのプログラムを業界ではハーネスと呼ぶ。OpenAI は説明書なしの謎解き評価 ARC-AGI-3 で実験し、推論強度の5レベルをそれぞれ走らせた。

ハーネスって何？
AI の自己進化は、まずモデルの外側から：Lilian Weng がハーネス工学を解説
モデルを動かす外部プログラム、業界ではハーネス。何を担い、どこまでできるか。その記事で噛み砕いている。
13.3 → 38.3%ARC-AGI-3 公開セット、最高推論レベル
290 → 49 万1試合の出力トークン、約6分の1
48%人間テスター平均（OpenAI が公開対局ログから推計）

「大失敗」と言うのは、Sol が他の場ではこんな様子ではないからだ。グラフ理論で数十年未解決だった循環二重被覆予想を解いたり、画面だけ見て情報なしで『ポケットモンスター ファイアレッド』（Pokémon FireRed）をクリアしたり、Codex で『Slay the Spire』をクリアし、Baba Is You の序盤もこなしている。ウォートンの Ethan Mollick が公開した記録では、Codex 上で『Slay the Spire 2』のデイリーランダム挑戦に勝っている。このゲームは Sol の知識カットオフ後に発売された。

Ethan Mollick が GPT-5.6 Sol の Codex 上での『Slay the Spire 2』デイリーランダム挑戦クリアを示す記録
Ethan Mollick が、GPT-5.6 Sol が Codex で『Slay the Spire 2』のデイリーランダム挑戦に勝った様子を公開。発売は Sol の知識カットオフ後で、学習データには入っていない。画像出典：OpenAI ブログが引用した Ethan Mollick の投稿。

これだけ遊べるのに、25 試合の 2D 謎解きミニゲームでは1割強しか取れない。下の左右比較映像は同じゲーム（番号 cd82）、同じ Sol。左が公式プログラム、右が OpenAI が Responses API で書き直したプログラム。全6ステージで、リーダーボード上はどの最先端モデルも第1ステージを抜けられず。プログラムを換えたら6つ全部通った。

倍速再生の対局映像。左は公式プログラム、右は推論を保持しコンパクションを有効にした Responses API プログラム。モデルはどちらも GPT-5.6 Sol、最高推論レベル。左右に歩数・クリア数・出力トークンの3カウンタ。映像出典：OpenAI。
2つの数字を混同しないこと：7.78% と 13.33% はどちらも公式プログラム・最高推論レベルの成績で、差は問題セットだけ。7.78% は半プライベートセット、13.33% は公開セット。どちらも ARC Prize が検証済み。本稿の対比に使う 38.3% は公開セットなので、基準は 13.33% だ。
評価のルール

説明書なし。スコアは「正解数」ではない

ARC-AGI-3 は ARC Prize の評価で、手作業で作った小ゲーム環境が全部で 135、公開デモは 25。誰でも arcprize.org で遊べる。共通条件は説明書なし。オブジェクト一覧も、ルール説明も、目標の記述も、途中の報酬点もない。

モデルが1手ごとに受け取るのはこれだけ：64×64 の格子図で、各マスは 0 から 15 の色番号。加えて押せるキーが全部で7つ。

見えるもの
64×64 の格子図。各マスは 0〜15 の色番号
押せるもの
RESET
試合をやり直す
ACTION1
上
ACTION2
下
ACTION3
左
ACTION4
右
ACTION5
確定 / 削除
ACTION6
座標を指定（x・y 各 0–63）
本サイト作成の模式図。左の格子は色ブロックの模式で実ステージではない。右の7キーの名称と作用は ARC オープンソース実装の定義どおり。どのキーが使えるかも教えられず、自分で試すしかない。