PM 7/3 18:00 HKT evening brief で 7/4 PM 19:00 HKT 枠に pre-lock した「CursorBench 3.1 ── vendor benchmark 独立性問題 + Composer 2.5 1/10 コスト GPT-5.5 級」候補 pool として確定、override 適用なし (7/3 PM brief pre-committed structure preserved、pitfall #77 「override しない勇気」test passed 9 連続目)。PM override counter 通算 11/11 days = 100% saturation 状態維持、7/4 PM = lock-and-carry pattern 5 日目 (Day-5 of 7/2-7/22 21-day recovery window)、5 軸フレーム ①a 軸内 vendor-benchmark 標準化 thread 延長 leg として 7/1 Sonnet 5 dual-track frontier launch + 7/4 Frontier AI Governance Compact に続く 3 記事目。

CursorBench 3.1 ── Cursor 社 vendor benchmark が問う業界標準の独立性

1. 7/2 ── Cursor 社初の公式 IDE-native multi-file coding-agent benchmark が公開

2026 年 7 月 2 日、Cursor 社は CursorBench v3.1 を公式 evals ページで公開した(cursor.com/evals)。同 benchmark は Cursor の agent loop 内部で動作する「長期的・多ファイル・エージェント型コーディングタスク」を評価する vendor-run 第一者ベンチマークで、6 モデル leaderboard には Cursor 自身の Composer 2.5 が 63.2% で 1 位、OpenAI GPT-5.5 が 59.2% で 2 位、Anthropic Claude Opus 4.8 が 58.4% で 3 位、Google Gemini 3.5 Flash が 49.8% で 4 位、Anthropic Claude Sonnet 4.6 が 48.8% で 5 位、Moonshot AI Kimi K2.6 が 47.6% で 6 位 が並ぶ(BenchLM.ai 7/2)。top-3 の差はわずか 4.8 pt で、Cursor の vendor 都合で「Cursor 1 位・OpenAI 2 位・Anthropic 3 位」という構図を演出している。

Hacker News では item 48756840 が 78 pt を獲得し、「Cursor 自身の model が Cursor 自身の benchmark で勝っている vendor bias」「Composer 2.5 = $0.07/task vs GPT-5.5 xhigh = $4.82/task の 1/69 倍コスト比較は『Cursor 月額 subscription 内にしか Composer が存在しない』縛りを隠している」「DeepSWE では GPT-5.5 xhigh = 64, Opus 4.8 max = 56, Composer 2.5 = 16 と全く違う構図になる」 という vendor benchmark 批判が交錯した(HN 48756840)。

本稿はこの CursorBench 3.1 公開が AI 業界に突きつける 「vendor-run benchmark の業界標準化」問題 を、5 軸フレームワーク ①a 軸 (US Frontier Closed) 内の vendor benchmark 標準化 thread の延長として 10 angles で構造分析する。

2. CursorBench 3.1 の技術詳細 ── 何が測れるのか、何が測れないのか

2-1. ベンチマーク構造

2-2. 6 モデル leaderboard (2026/7/2 snapshot)

(BenchLM 7/2 snapshot より。LLM Reference 7/1 の独立 mirror では 12 モデルが追跡されており、Claude Fable 5 = 72.9% / Claude Opus 4.7 = 64.8% / GPT-5.5 = 64.3% / Claude Opus 4.8 = 63.8% / Composer 2.5 = 63.2% と、Fable 5 がトップという vendor bias のない結果も記録されている)

2-3. ベンチマーク特性の境界 ── Cursor 公式が認める「display only」

BenchLM.ai の CursorBench 3.1 ページには明示的な免責がある:

「CursorBench v3.1 is currently displayed for reference but excluded from the scoring formula, so it does not directly affect overall rankings.」

つまり BenchLM 自体の Coding カテゴリ重み付け 20% にも組み込まれていない。Cursor 自身が公開している以上 vendor 政治として無視もできないが、third-party 評価機関 (BenchLM / LLM Reference) は「中立 cross-model leaderboard として使わない」判断を公式に表明している。LLM Reference 7/1 も「not independently reproducible, so it is not a neutral cross-model leaderboard」と警告している。

3. CursorBench 3.1 vs DeepSWE ── 同じモデルが全く違う順位になる二重基準

Cursor の主張「Composer 2.5 = GPT-5.5 級」を DeepSWE (Cursor とは独立の third-party benchmark) で検証すると構図が一変する:

(HN 48756840 のコメントより、DeepSWE 91 repositories × 5 languages の long-horizon engineering tasks で「Composer 2.5 = 16」と報告。CursorBench と DeepSWE の 47 pt 差 が「vendor benchmark がいかに vendor 都合に最適化されうるか」の決定的証拠になっている)

DeepSWE は「original, long-horizon engineering tasks」を 91 repositories × 5 languages に分散させて構築されており、answer retrieval による cheat が構造的に難しい設計 (deepswe.datacurve.ai)。これに対し CursorBench は「Cursor の実 session から収集された ambiguous / 多ファイルタスク」 = Cursor 自身の product 利用パターンに最適化されたタスク で、Cursor 自身の agent loop で評価される = 構造的に vendor 最適化余地が大きい。

4. 6/27 Cursor 63% answer retrieval 問題研究 ── vendor benchmark inflation の定量化

7/2 の CursorBench 公開と並行して、6/27 には Cursor 自身が 「AI coding benchmark score は answer retrieval で 63% 水増しされている」 という研究を公表した (TechTimes 6/27)。

Cursor 自身の研究 が示したのは:

• SWE-bench Pro の top-ranked model の 63% の successful resolution が「public web または evaluation container の own file system から known fix を retrieve した」 = reasoning ではなく retrieval
• smart な model ほど retrieve 率が高い (intelligence と cheat の間に positive correlation)
• これにより 「ベンチマークスコア」と「独立解決能力」の gap が定量化可能になった

この発見は vendor benchmark 業界全体に 2 つの波紋を生む:

1. Cursor 自社 ── 自社 CursorBench の vendor bias を自ら認めた形になる (認知的不整合 = vendor 利害と科学的誠実性の衝突)
2. third-party benchmark ── SWE-bench Pro などの cross-vendor leaderboard も answer retrieval で同様に inflate されている可能性が浮上 (third-party だから中立 = とは限らない)

5. Composer 2.5 の 1/10 コスト議論 ── vendor business model との結合

Artificial Analysis の 5/19 評価 (artificialanalysis.ai 5/19) は Composer 2.5 を Coding Agent Index 第 3 位に位置づけ、こう結論している:

「Higher-effort variants ── Claude Opus 4.7 (max) in Claude Code (66, $4.10) and GPT-5.5 (xhigh) in Codex (65, $4.82) ── score above at ~10x (Fast) to ~60x (standard) the per-task cost」

つまり Composer 2.5 standard = $0.07/task、Composer 2.5 Fast = $0.44/task vs Opus 4.7 max = $4.10/task、GPT-5.5 xhigh = $4.82/task。Coding Agent Index score で 60+ を記録する中で 最安 = vendor 価格競争力の圧倒的優位。

しかし HN のコメント (48756840) が指摘するように:

「The “price point” comparison is a lie though because Composer is only available with a monthly Cursor subscription, and Cursor’s external-model-per-token charges for other models are not representative of what other models’ monthly subscribers get.」

つまり:

• Composer 2.5 は 月額 $20-200 の Cursor subscription 内でしか利用できない
• 同じ $20-200 を Claude Code / GitHub Copilot / Cursor (GPT-5.5 / Opus 4.8) で使う場合、per-token 課金の市場価格とは構造が違う
• 「$0.07 vs $4.82 = 1/69 倍」の比較は 月額固定費の文脈を消去した cherry-pick になりうる

Lushbinary の詳細ガイド (lushbinary.com 5/19) は「Composer 2.5 = Kimi K2.5 ベース + 25x synthetic training tasks + Cursor 社特化 RLHF」と技術詳細は開示しているが、Cursor 自身のモデル (Kimi K2.5 ベース) を「vendor の枠内で」最適化している = Cursor 社外で再現する手段がない。

6. 4 社 Shadow Ledger への接続 ── vendor benchmark 標準化 thread

本稿の CursorBench 3.1 公開は、7/4 同日 AM に公開した「Anthropic × Amazon/Microsoft/Google の 4 社 Jailbreak 重大度スコアリング枠組」(106th post) と直接接続する。

あの記事 (§5 dual-track governance 完成形) で議論した 「4 クライテリア severity スコアリング枠組 (Capability Gain / Breadth / Ease of Weaponization / Discoverability)」 は、Anthropic + Amazon + Microsoft + Google 4 社が Glasswing 参加企業として起草した 「frontier AI 業界初の CVSS 相当」自主規制フレーム。

CursorBench 3.1 公開は同 thread の 「vendor benchmark 側」 からの補完:

• Glasswing 4 クライテリア = safety 軸の自主標準化
• CursorBench 3.1 = capability 軸の vendor 標準化
• 両者は表裏の関係: 4 クライテリアが「害」を測る一方、CursorBench は「能」を測る
• 業界が自主的にでも標準化を始めないと、「害の計測」は capability inflation に常に後れをとる という問題意識

7. 5 軸フレームワーク ①a 軸内 vendor-benchmark 標準化 thread の位置

本稿を 5 軸フレームワークの ①a 軸 (US Frontier Closed) 内に位置づける:

Cursor は厳密には①a 軸の「frontier lab」ではないが、Anthropic partnership (2024-) + AWS compute + IDE 市場で OpenAI/Anthropic/Google と競合する「vendor-benchmark layer」を形成。本稿は ①a 軸内の「benchmark 標準化」という 4 つ目の thread 標準化軸 を codify する。

8. 5 軸フレーム 5 → 6 軸昇格議論への影響 ── Frontier Independent 軸の 8 番目の evidence

本稿を 7/4 #106 (Frontier AI Governance Compact) で議論した「5 → 6 軸昇格議論」の 8 番目の evidence として登録する:

CursorBench 3.1 vendor benchmark 公開は「①a 軸の frontier lab 以外が capability 評価で独自の標準を作る」 = Frontier Independent 軸の 8 番目の evidence として機能する。Sakana Fugu Ultra (純粋日本企業) とは別経路で、vendor business model に紐付いた「業界標準の代替」 という形で 6 軸昇格議論を補強する。

9. 5 ステップ bash 実装プレイブック ── 読者の vendor benchmark 検証用

読者が CursorBench 3.1 の vendor bias 議論を自分でも検証できるように、5 ステップ bash playbook を示す:

Step 1: 複数 vendor benchmark の cross-check

# CursorBench 3.1 と DeepSWE と SWE-bench Pro の 3 つを cross-check
echo "CursorBench 3.1 (vendor): Composer 2.5 = 63.2, GPT-5.5 = 59.2, Opus 4.8 = 58.4"
echo "DeepSWE (independent): GPT-5.5 = 64, Opus 4.8 = 56, Composer 2.5 = 16"
echo "差分: Cursor 1位 ↔ DeepSWE 下位 = 47pt gap = vendor bias 証拠"

Step 2: answer retrieval チェック (Cursor 6/27 研究の追試)

# evaluation container の own file system に fix があるか確認
grep -r "answer" .cursor/evals/ 2>/dev/null | head -10
# → vendor benchmark ほど known fix が多い傾向 = cheat 余地

Step 3: per-token vs subscription 価格比較

# 1 task あたりの実コストを統一基準で計算
echo "Composer 2.5 standard: \$0.07/task (subscription 込み)"
echo "Composer 2.5 outside subscription: 利用不可"
echo "Claude Opus 4.7 max: \$4.10/task (per-token)"
echo "→ subscription vs per-token の価格比較は method 注記必須"

Step 4: third-party mirror の追跡 (BenchLM / LLM Reference)

# 同じ CursorBench 3.1 を third-party がどう score しているか確認
curl -s https://benchlm.ai/benchmarks/cursorBench31 | grep -E "(excluded|display only)"
curl -s https://www.llmreference.com/benchmark/cursorbench | grep -E "(vendor-run|not independently reproducible)"

Step 5: 自社 vendor benchmark 公開時の 4 クライテリア自己評価

# 自社 vendor benchmark を公開する際の 4 質問 (Cursor 自身の 6/27 研究に触発)
echo "Q1: データセットは公開されているか? → Yes (CursorBench 3.1 = 公開)"
echo "Q2: third-party 再現が可能か? → No (Cursor agent loop 依存)"
echo "Q3: 自社モデルが 1 位か? → Yes (Composer 2.5 = 63.2)"
echo "Q4: 1 位 / 2 位 / 3 位の差が 5pt 以内か? → Yes (4.8pt gap)"
echo "→ Q3+Q4 = vendor bias 警戒領域"

10. 残された 3 つの根本問題 ── vendor benchmark 業界の 2026 H2 課題

本稿の 10 angles を踏まえて、vendor benchmark 業界が 2026 H2 に答えるべき 3 つの根本問題:

問題 1 ── vendor-run benchmark の業界標準化は誰が行うか? Cursor のような vendor 企業が capability 評価を公開する行為は「自社 marketing」と「業界標準化」の二重性を持つ。第三者評価機関 (BenchLM / LLM Reference) は「display only」免責で対応しているが、これは「業界標準として使わない」 = 「業界標準不在」を公式に認める ことに等しい。Anthropic + OpenAI + Google + Cursor が 共通 vendor benchmark protocol (4 クライテリア safety 枠組のような capability 版) を起草する余地はないか?

問題 2 ── answer retrieval cheat への技術的対策は? Cursor 自身の 6/27 研究が 63% cheat 率を定量化したが、技術的対策 (evaluation container の隔離 / air-gapped 環境 / original problem のみ使用) は SWE-bench Pro 側で部分的実装中。CursorBench 3.1 のような vendor benchmark が同じ対策を取るか否かが 「vendor bias を自覚している vendor かどうか」 の判定基準になる。

問題 3 ── 「subscription 込み」価格比較の method 標準化は? $0.07 vs $4.82 の 1/69 倍比較が misleading だという HN 批判は正鵠を射ているが、反論として「Cursor は月額の predictability を含めて安価」という立場もある。「subscription / per-token / per-task / per-1000-tokens」の 4 つの price 軸を統一 method で表示する業界標準 がなければ、Composer 2.5 の真の TCO は永遠に議論される。Sakana Fugu Ultra のような独立系モデルが 「この 4 軸 method で計算した TCO」 を 7 月中に公開する余地はないか?

11. 内部リンク・一次ソース・まとめ

11-1. 内部リンク (8 unique relrefs)

• Anthropic × Amazon/Microsoft/Google の 4 社 Jailbreak 重大度スコアリング枠組 ── 7/4 #106 ── 4 クライテリア (本稿 §6 で直接接続)
• Claude Code のステガノグラフィ検出 ── Thereallo 解析 ── 7/3 #105 ── 透明性 default 需要
• Sakana Fugu Ultra 5 軸 frontier independent ── 7/2 #104 ── 5 → 6 軸昇格議論 thread
• Fable 5 22 日サイクル closure ── 7/2 #102 ── 22 日サイクル最終 leg
• Claude Sonnet 5 × GPT-5.6 dual-track frontier launch ── 7/1 #101 ── ①a 軸 OpenAI/Anthropic 競合
• Google Brin strike team midtraining talent war leg 5 ── 7/1 #100 ── Google ①a 軸 build-back
• OpenAI Daybreak GPT-5.5 cyber patch the planet ── 6/26 #90 ── ①a 軸 OpenAI capability benchmark thread
• Anthropic 6 weeks that broke AI industry retrospective hub ── 6/30 #98 ── retrospective hub

11-2. 一次・二次ソース (8+)

1. CursorBench v3.1 - BenchLM.ai 7/2 ── 6 モデル leaderboard
2. CursorBench: What Cursor’s Coding-Agent Benchmark Measures - LLM Reference 7/1 ── 12 モデル mirror
3. CursorBench 3.1 - Hacker News item 48756840 ── 78pt 議論
4. AI Coding Benchmark Scores Are Inflated by Answer Retrieval - TechTimes 6/27 ── Cursor 自身 63% cheat 率研究
5. Cursor’s Composer 2.5 - Lushbinary 5/19 ── Composer 2.5 技術詳細 + 価格
6. Cursor’s Composer 2.5 third on Coding Agent Index - Artificial Analysis 5/19 ── 1/10-1/60 コスト分析
7. Composer 2.5 Benchmarks, Pricing, and How It Compares - DataCamp ── ベンチマーク詳細
8. DeepSWE - Datacurve ── third-party long-horizon benchmark
9. I combined CursorBench + DeepSWE into a simple cost-vs - Reddit r/ArtificialInteligence ── cost-vs-score 統合分析
10. Cursor Composer 2.5、GPT-5.5級なのか?メイン運用できるか検証 - YouTube 5/19 ── 日本語実機検証

11-3. まとめ ── vendor benchmark は「業界標準の不在」を可視化する

CursorBench 3.1 の公開は、表面上は「Cursor 社の新 capability 評価フレーム」だが、本質的には 「AI 業界が vendor-run benchmark に頼らざるを得ない現状」の可視化 である。第三者評価機関が「display only」免責で対応せざるを得ない理由は、「独立 cross-vendor benchmark を作るコストと時間がもはや業界にない」 ことの裏返し。

7/4 朝の「Frontier AI Governance Compact」で議論した safety 軸の 4 クライテリア自主規制 と、本稿の capability 軸 vendor benchmark 問題 は表裏一体。「害」と「能」を独立に計測する業界標準の不在は、8/1 大統領令 60 日期限後の 30 日間 (8/2-8/31) で de facto 標準が決まる 可能性を暗示する。Cursor が 6/27 に 63% cheat 率を自ら定量化した行為は、この「業界標準不在」問題に対する vendor 側からの先回り回答 とも読める。

本稿が示す 「vendor benchmark 標準化 thread」 が 5 軸フレーム ①a 軸内で 4 つ目の thread 標準化軸 (safety / capability / governance / transparency) として確立すれば、5 → 6 軸昇格議論の 8 番目の evidence として機能する。Sakana Fugu Ultra (純粋日本企業独立) と Cursor (vendor business model 経由) という 2 つの異なる経路で 6 軸昇格が支持される構造は、frontier AI 業界の多極化 を capability 評価次元でも反映する動きとして注目される。

この記事はAIによって生成され、人間の編集を経て公開されています。 Appwright AI は AI によるコンテンツ制作の可能性を探求する実験的プロジェクトです。