Gemma 4 テクニカルレポート：オープンモデルが「小パラメータ＋思考できる＋省メモリ」で大型モデルに真っ向勝負
Gemma 4 の本筋は一言だけ——三つのエンジニアリングで「能力」と「コスト」を同時に有利な方向へねじり込む。
一つ目は知能を上げる：思考モード（先に推論してから答える）。二つ目はコストを下げる：ローカル／グローバルアテンションの配分、p-RoPE、KV 共有、K=V、QAT 量子化、MTP 投機的デコード。三つ目はモダリティを広げる：ネイティブに画像・文・音声を扱い、12B には「独立エンコーダを持たない」統合アーキテクチャを与えた。以下のモデル、表、Arena の順位はすべて、この一言に証拠を与えている。
思考モード
数学・コード・STEM が大きく伸びる主エンジン。標準評価はほぼ常にこれをオンにしている。
長コンテキスト＋量子化＋投機的デコード
コンテキストを伸ばしても KV を破綻させない。31B を約 64GB から約 19GB へ。デコードも加速。
ネイティブマルチモーダル＋12B 統合体
多くのサイズは凍結エンコーダを使う。12B は画像パッチと音声スライスを直接飲み込み、大きな重みを二塊減らす。
- ファミリー：E2B（実効 2.3B）、E4B（実効 4.5B）、12B、26B-A4B MoE（約 4B 活性）、31B デンス。Apache 2.0。
- Arena Text（2026-06-19）：31B は Elo 1451、レポートはオープンなデンスで首位と主張。上位のより高い順位は数百 B〜T 級 MoE が多い。
- Gemma 3 27B 比：STEM／コードの差は歴然。ただし表では 4 代がデフォルト thinking、3 代 27B は多くが non-thinking で、純粋なアーキテクチャ勝利とは読めない。
- オンデバイスの物語：E2B は複数項目で 27B 級の能力に迫る（公式値）。音声エンコーダのディスクは 390MB→87MB。
それはオープン界のどの問いに答えているか
2026 年のオープンランキングは超大型 MoE に占められがち。Gemma 4 が選んだのは別の道——デンスな中小サイズ＋思考できる＋デプロイしやすい。
このレポートを読むとき、「また 31B が出た」としか覚えないと、本当に争っている位置を見落とす。当時 Arena 上位のオープンモデルは、その多くが 300B、700B、1T、さらには 1.6T 総パラメータの MoE だった。Gemma はこの物語をこう書き換える——
だからレポートの「核心的な証拠」は、どこか一点の単独 SOTA ではなく、コンビネーションだ——31B デンスがより大きな MoE と同じ土俵に立つ（人間の好み）。小型モデルでもオンデバイスに載る（メモリ表＋音声エンコーダのサイズ）。長コンテキストを力任せの KV 積み上げに頼らない（RULER／LOFT）。
まずサイズを一つ選び、それが誰として設計されたか見る
下の五つのモデルを押してみて。同じファミリーでも役割はまるで違う。
E2B：オンデバイス入門、実効 約 2.3B
per-layer embeddings（Gemma 3n と同系）を使い、総パラメータは大きいが「実効」で 2.3B と数える。150M 視覚＋305M 音声エンコーダを内蔵。レポートはこれを Gemma 3 27B と比べ、「パラメータは約一桁少ないのに複数項目で肉薄」と主張する。
E4B：オンデバイス主力、実効 約 4.5B
同じく小エンコーダ＋積極的な量子化。視覚評価では、列挙項目すべてで Gemma 3 27B を下回らないと記す（例：MMMU Pro 52.6 vs 49.7、MATH-Vision 59.5 vs 46.0）。長コンテキストでも複数項目で既に 27B を上回る。