2026年7月31日、ARC Prize Foundation（ARC-AGIベンチマークを運営する非営利団体）は、DeepSeek V4 Flash 0731の第三者検証済みスコアを公開した。最大推論努力（Max）でARC-AGI-1 Semi-Private 89.0%（タスク単価$0.02）、ARC-AGI-2 Semi-Private 61.4%（タスク単価$0.04）——ARC Prizeはこの結果を「コスト対性能パレート最前線の新標準」と呼んだ。注目すべきは、2026年5月に米国NISTのCAISIがDeepSeek V4 ProをARC-AGI-2 Semi-Privateで46%（GPT-5.5の79%に対し約8ヶ月遅れ）と評価した事実だ。同一アーキテクチャ（284B/13B active MoE）のまま、ポストトレーニングのみで15.4ポイント跳躍した0731ビルドは、「自己申告ではなく第三者検証で語る」中国オープンウェイト戦略の新段階を示している。
PM 編集方針 (override #14 slot-swap) ── 8/11 06:20 HKT morning brief OVERRIDE #14 / 8/11 18:15 HKT evening brief ✅ VALIDATED
8/11 06:20 HKT morning brief で OVERRIDE #14（Meta Muse Glimmer、4/5 PASS）が発動し、本スロット P0-AM 8/11 は Muse Glimmer に置換。本トピック DeepSeek V4 Flash ARC-AGI 検証スコアは P0-AM → P0-PM 8/11 同日 defer（slot-swap）。8/11 18:15 HKT evening brief で「P0-PM 8/11 = DeepSeek ARC → VALIDATED, stands」と再検証され、本スロットは LOCKED plan で新規 override なし（Qwen OW 未公開 + Grok 4.6 未出荷 = 朝の偶発条件は両方不活性）。Override counter: 14 post-freeze のまま（14 in 23 days = 61%）。displacer 側の開示は #170 Muse Glimmer 記事の callout を参照。
1. ARC Prizeが検証したもの——3つの推論努力バリアント
ARC Prizeの「Verified」プログラムは、モデル自体をベンチマークの**非公開評価セット（Semi-Private）**で実行し、スコアとタスク単価を併記する。公開セットは訓練データ汚染の恐れがあるため、見えない問題で測るのが目的だ。DeepSeek V4 Flash 0731は、APIのreasoning_effortパラメータに対応する3つのバリアントで評価された。
| バリアント | ARC-AGI-1 Semi-Private | ARC-AGI-2 Semi-Private | ARC-AGI-3 |
|---|---|---|---|
| Max | 89.0%（$0.02/タスク） | 61.4%（$0.04/タスク） | 評価なし |
| High | 87.0% | 56.0% | 評価なし |
| Low | 84.0% | 46.0% | 評価なし |
推論努力の効果が「問題の難しさ」に比例する点が興味深い。Low→MaxでARC-AGI-1は+5.0ポイント（84.0→89.0%）だが、ARC-AGI-2は+15.4ポイント（46.0→61.4%）と3倍以上の改善だ。ARC-AGI-1（2019年設計）はフロンティアが実質的に訓練して飽和しており、ARC-AGI-2はそれを防ぐよう設計された。難しい問題ほど推論計算量への投資が報われる——この挙動は、まさにARC-AGI-2が測りたい「新規問題への汎化」のシグナルと言える。
2. コスト対性能パレート最前線——検証済みリーダーボードでの位置
ARC Prizeは検証結果ページにコスト（x軸）とスコア（y軸）の散布図を掲載しており、DeepSeek V4 Flash 0731は検証済みモデル中最も安価な位置にプロットされた。主要モデルとの比較は以下の通り。
| モデル | ARC-AGI-2 | タスク単価 | 備考 |
|---|---|---|---|
| GPT-5.6 Sol (Max) | 92.5% | ~$1.44 | フロンティア最高値 |
| Claude Opus 5 (Max) | 90.4% | ~$2.06 | |
| Claude Opus 4.8 (High) | 72.1% | ~$2.74 | |
| DeepSeek V4 Flash 0731 (Max) | 61.4% | $0.04 | 本稿の主役 |
| Kimi K3 | 60.4% | $1.59 | 2.8T/104B active |
| GPT-5.6 Luna (Max) | 59.5% | $0.67 | |
| Grok 4.5 (High) | 52.6% | ~$0.78 |
Kimi K3（総パラメータ2.8T、DeepSeekの約6倍）を1ポイント上回りながら、タスク単価は約40分の1。GPT-5.6 Luna Max（59.5% @ $0.67）にもスコアで勝利しつつコストは約17分の1。ARC Prizeが「パレート最前線の新標準」と評したのはこのためだ。参考までに、2025年のARC Prizeコンペ優勝システムはARC-AGI-2非公開評価で15.42%（$0.20/タスク）だった——このベンチマークがどれほど急峻かを物語る数字である。
3. NIST CAISI 46% → 61.4%——「自己申告vs第三者検証」の15ポイント跳躍
本記事の核心は検証そのものの物語にある。2026年5月、NIST傘下のCAISI（Center for AI Standards and Innovation）はDeepSeek V4 Proを評価し、ARC-AGI-2 Semi-Privateで46%（GPT-5.5の79%に対し33ポイント差）、約8ヶ月の能力ギャップを報告した。DeepSeekの自己申告ベンチマークではOpus 4.6/GPT-5.4と「ほぼ互角」に見えたが、非公開セットでは差が露呈した——これが「自己申告の限界」の典型例として広く議論された。
そのV4 Proと同一アーキテクチャのV4 Flash 0731が、ポストトレーニングのみの更新で**61.4%**に到達した。CAISI評価（46%）から+15.4ポイントは、フロンティアとの差を33ポイント→28ポイントへ縮めるだけでなく、中国オープンウェイトが「第三者検証で測られても戦える」ことを証明した点で質的に新しい。#154 DeepSeek V4 Flash 0731完全解説で「ポストトレーニングのみでProプレビューを追い抜く」と報じた現象が、独立機関の非公開評価でも裏付けられた格好だ。
さらに同日の検証では、Agenticコーディングの独立系再現も進んだ。Anteハーネス（Antigma Labs）がDeepSeek報告のTerminal-Bench 2.1 82.7を独立再現（445トライアル、総コスト$68.41、±1.79 SE）し、同一ハーネスでのGrok 4.5（80.9% ±1.27 SE）を1.8ポイント上回った。ベンダー自己申告のみだった数字が、第三者の監査可能な実行で裏付けられた初のケースとして、#168 Qwen AA検証が確立した「独立系指標での検証」の流れをDeepSeek側でも完結させる。
4. 検証方法論の読み方——公開vs Semi-Privateの差
ARC Prizeの結果ページにはタスク別の公開評価表もあり、公開セットとSemi-Privateの差が検証の意義を可視化する。
| 評価 | Max | High | Low |
|---|---|---|---|
| ARC-AGI-1 公開（399タスク） | 94.7% | 92.5% | 93.0% |
| ARC-AGI-1 Semi-Private | 89.0% | 87.0% | 84.0% |
| ARC-AGI-2 公開（120タスク） | 60.0% | 54.2% | 42.5% |
| ARC-AGI-2 Semi-Private | 61.4% | 56.0% | 46.0% |
ARC-AGI-1では公開評価（94.7%）がSemi-Private（89.0%）を5.7ポイント上回る——飽和したベンチマークでは公開問題への適応が効いている可能性を示す。一方ARC-AGI-2では公開（60.0%）とSemi-Private（61.4%）がほぼ一致し、過学習の余地が設計的に排除されている。またARC-AGI-1のHigh（92.5%）がLow（93.0%）を下回る非単調な努力スケーリングも観測された——CoT忠実性論争が問う「思考が長ければ正しいのか」への生々しいデータポイントである。
5. 中国オープンウェイト戦略の「第4の武器」——検証参加
本ブログの中国OW戦略分析では、中国OWブロックの武器を「蒸留告発への対抗」「ルーティング精度」「ポストトレーニング反復」と整理してきた。DeepSeekのARC Prize検証参加は第4の武器＝「第三者検証への積極参加」だ。CAISIの評価（46%）は中国OWにとって不利なデータだったが、DeepSeekは非公開セットを恐れず自ら検証プログラムに乗り、より強い数字（61.4%）で回答した。これはKimi K3オープンウェイト以降の「規模 vs ライセンス」競争に、「検証可能性」という新しい競争軸を持ち込む。
コスト面の含意も大きい。DeepSeekのAPIは$0.14/M入力・$0.28/M出力に加え、キャッシュ読み取りが$0.0028/M（競合比約10分の1）。エージェントループではコンテキスト再送が常態で、実利用例では10,837リクエスト・12.7億キャッシュヒットトークンで総コスト約$8.79という報告もある。「安すぎてメータリングする気が失せる」領域に達しつつある。日本企業には、推論努力レベルを使い分ける実装が実務的示唆になる。
from openai import OpenAI
client = OpenAI(api_key="YOUR_DEEPSEEK_API_KEY", base_url="https://api.deepseek.com")
# ARCタスクを解く例：reasoning_effortでMax/High/Lowを使い分ける
resp = client.chat.completions.create(
model="deepseek-v4-flash",
reasoning_effort="max", # low | high | max
messages=[
{"role": "system", "content": "You are an ARC-AGI puzzle solver. Return only the output grid."},
{"role": "user", "content": grid_prompt},
],
)
print(resp.choices[0].message.content)
6. 限界——61.4%の先にあるもの
過大評価は禁物だ。ARC-AGI-2の公開タスクの約31%は全努力レベルで失敗（ARC-AGI-1の約3%と対照的）で、能力の天井は明確に存在する。ARC-AGI-3は未評価、モデルはテキスト専用で、きしだのブログ等の日本語実地検証では「コーディングにはお勧めできない」という声もある。Kimi K3は総合性能（マルチモーダル・長文ソフトウェア工学）では依然DeepSeekを上回る。「このテストで最強、この価格で最強」と「総合的に最強」は別物であり、GLM-5.2マージン崩壊で見た「コスト競争の進行」は、検証済みベンチマークという新しい舞台でも続いている。
まとめ：DeepSeek V4 Flash 0731のARC Prize検証は、「自己申告では見えなかった中国OWの実力」を非公開セットで可視化した。NIST CAISIの46%から61.4%への15ポイント跳躍は、AI数学ドキュメンタリーが追ってきた「検証可能性が信頼を作る」テーゼの、エージェントベンチマーク版の実証でもある。次の焦点はQwen 3.8-Maxのオープンウェイト公開（GA記事で予告済み）とGrok 4.6の出荷（出荷検証の作法で整理）——中国OWが「検証」の舞台でさらに踏み込むかどうかが、8月後半の見どころだ。
この記事はAIによって生成され、人間の編集を経て公開されています。 Appwright AI は AI によるコンテンツ制作の可能性を探求する実験的プロジェクトです。