2026年8月6日、AlibabaのQwen公式アカウントが1本の投稿を公開した。「Qwen3.8-Max is now #5 on the Artificial Analysis Intelligence Index, and #1 on the Agentic Index! 🥇」というものだ。8月2日のGA発表（当ブログ第157回記事で解説）からわずか4日。今度はベンダー自己申告のベンチマーク表ではなく、独立系の第三者評価機関が、中国製モデルをエージェント能力で世界最高峰に置いた。しかもこれは単発のランキングではない——同日更新されたGDPval-AA v2（44職種の実務タスク）とτ³-Banking（銀行業務のツール実行）という、AIエージェントの「実際の仕事」を測る2つの指標が、Qwen 3.8-MaxをAnthropic・OpenAI・Googleのフロンティア勢より上位に押し上げた。本稿は、この独立系評価の意味を3つの角度（指標の構造・揺らぎの読み方・コスト視点）から解剖し、8月10日から12日にかけて予告されているオープンウェイト公開（第3段階検証）への架け橋とする。

PM 編集方針 ── 8/10 06:15 HKT morning brief LOCKED 計画

P0-AM 8/10 は 8/9 06:15 HKT morning brief で LOCKED された Qwen 3.8-Max #1 AA Agentic Index（8/4 GA記事 #157の直接続編 = 2段階検証フレームワークの第2段階）。8/10 06:15 HKT morning brief で「OW未公開 → stage-2 bridge 記事として正しい、OW drop（~8/10-12）への完璧な架け橋」と VALIDATED。override 適用なし（override counter 13 post-freeze、13 in 22 days = 59%）。enrichment なし（本スキャン enrichment count 0）。ウェイト公開時に第3段階検証記事を予定。

1. 「Agentic Index」とは何か——独立系エージェント指標の構造

Artificial Analysis（AA）はモデルとAPIプロバイダーを独立評価する第三者機関で、その主力指標がIntelligence Index v4.1だ。これは9つの評価を加重平均した合成指標で、そのうちエージェント能力を直接測る2つがGDPval-AA v2（重み20%、全体で最大）とτ³-Banking（重み14%）。この2つを基にしたAgentic Indexは「ツール使用・プランニング・自律性・複雑な問題解決」という、AIを単なるチャットボットではなく仕事を遂行するエージェントとして評価するための独立指標だ。175モデルが対象で、中国製モデルが首位に立ったのはこれが初めてではないかと見られている。

指標 対象 評価方法 基準
GDPval-AA v2 44職種・9産業の実務タスク（資料作成・表計算・分析等） シェル＋Web操作のエージェントループ（Stirrup）で成果物を生成し、盲検ペア比較でElo化 人間熟練者のElo 1000を基準に再基準化
τ³-Banking 銀行顧客サポート（紛争解決・口座凍結・一時立替等97タスク） 約700文書（約195Kトークン）の非構造化ナレッジベースから方針を探索し、多段ツールコールで解決 バックエンドDBの最終状態で採点（pass@1）

この2指標の共通点は、「正解の選択肢を選ぶ」テストではないことだ。GDPval-AA v2では成果物（ドキュメント・スライド・スプレッドシート）そのものを生成し、人間の熟練成果物と盲検比較される。τ³-Bankingでは「どの方針を読むべきか」「どのツールを何順に呼ぶべきか」をエージェント自身が判断し、最終的にバックエンドのデータベース状態が変わったか（例：紛争が本当に申請されたか、立替金が実際に振り込まれたか）で採点される。会話の流暢さではなく実世界の状態変化がスコアになる点が、旧来のベンチマークと決定的に異なる。

2. どこで1位になったのか——τ³-Banking 51.3%の意味

AAのτ³-Bankingリーダーボード（8月上旬更新）で、Qwen 3.8-Maxは51.3%で首位。2位はKimi K3（46.0%）、3位はClaude Opus 5（44.7%）だった。この5ポイント以上の差は、フロンティアモデル間の差としては大きい。τ³-Bankingは「方針文書を検索する」だけでも「ツールを呼ぶ」だけでも解けない設計で、非構造化ナレッジベースの探索とツール実行の協調が要求される。論文（arXiv:2603.04370）によれば、フロンティアモデルでも平均約25.5%しか達成できず、反復試行で信頼性が急落する難度だ。その上で51.3%は、顧客サポート自動化の実運用ラインに近づいたことを示す。

一方、GDPval-AA v2ではQwen 3.8-MaxはElo 1739で4位（1位 Opus 5 Max 1846 / 2位 Opus 5 Xhigh 1821 / 3位 Fable 5 1742）。Opus 5の上位2エffortに僅差で追従し、GPT-5.6 Sol（1729）とKimi K3（1681）を上回る（Opus 5の全体像は7/25ガイド参照）。つまり**「実務成果物の質」ではAnthropicに一歩及ばないが、「エージェントのツール実行」では全モデルを上回る**という、能力プロファイルの偏りが浮かび上がる。この2指標を加重平均したAgentic IndexでQwen 3.8-Maxが1位に立ったのは、まさにこの「ツール実行特化」の強みが反映された結果だ。

3. ベンチマークの揺らぎ——ランキングは「瞬間芸」か

ただし、このランキングには注意すべき副次的な出来事があった。r/LocalLLaMAで「Qwen 3.8 Max now ranked as best overall model ahead of Opus 5」というスレッドが立った直後、スコアが数秒のうちに変動したのを複数のユーザーが目撃している。あるユーザーは「1回目の表示ではQwen #1（55.4 vs 55.3）、リフレッシュしたらQwen #2（58.4 vs 59.2）になった」と報告し、別のユーザーは「AAがちょうど方法論を更新した」との回答をHNで得た。最終的にOpus 5が59.2で首位に返り咲いた形になったが、Alibaba公式の投稿（8/6）では引き続き「Agentic Index #1」を主張しており、現在もAAのAgentic IndexページではQwen 3.8-Maxが首位または首位級の位置にある。

ここから学べるのは2つだ。1つ目は、指標が「エージェント能力」と「総合知能」で明確に異なる順位を出すこと。Qwen 3.8-MaxはIntelligence Indexでは#5（58点、中央値33）で、総合ではOpus 5（59.2）やFable 5に及ばない。Agentic Indexの1位は「総合最強」ではなく「ツール実行特化の1位」であり、両者を混同すると誤読する。2つ目は、AAのような独立系指標でも方法論更新で順位が揺れること。特にGDPval-AA v2は6月に「人間基準1000への再基準化」「判定パネルのローテーション」「ターン上限100→250」という大規模アップデートを経ており、指標自体が進化途上だ。ランキングは「現時点のスナップショット」として読むべきで、単一の数字に過剰な意味を求めるのは危険だ。

4. 生スコアは請求書を予測しない——VentureBeatのコスト視点

VentureBeat（Laurie Voss）は8月上旬、Qwen 3.8-MaxとOpus 5の比較をめぐって、より実務的な論点を提示した。**「生のベンチマークスコアは請求書を予測しない」**というものだ。核心は時間・トークン予算の差にある。Alibabaのフットノートではコーディングタスクに5時間、PaperBenchでは1ランあたり最大12時間のタイムアウトを設定しているのに対し、独立ハーネス（VulcanBench）の壁時計時間は45〜60分。5〜16倍の時間予算の差が、結果の大きな差を生む。つまり「Qwenが優れている」とも「Opus 5が優れている」とも、どちらも「実測された事実」として両立しうる。

Vossが提案するのは**「成功タスクあたりのコスト（cost per successful task）」**という指標だ。失敗した試行を含む総支出を、受け入れ判定を通ったタスク数で割る。価格表（$2/$6 per Mトークン、キャッシュヒット$0.25）が同じでも、reasoningモデルは思考トークンを大量に消費し、トークン上限に達して「空の結果」を返すと、全額課金の上で完全失敗扱いになる。Qwen 3.8-Maxは評価中に1.5億出力トークンを消費しており（クラス中央値6,600万の2.3倍）、「安い単価」と「高い消費量」の両面を見ないと実コストは見えない。エージェントを運用する日本企業は、単価比較だけで選定せず、自社タスクでの成功あたりコストを計測するべきだ。

5. オープンウェイトへの架け橋——第3段階検証の準備

本記事の位置づけは、7/22プレビュー（#131）と8/4 GA（#157）で設定した2段階検証フレームワークの第2段階だ。第1段階で「予告」を確認し、第2段階（本稿）で「独立系第三者評価」を確認した。そして第3段階は、オープンウェイトの実際の公開だ。8/10 06:15 HKT時点でQwenのウェイトはHugging Face・ModelScopeに未公開（qwen.ai「来週」発表は8/3のまま）で、公開は8/10〜12と見込まれている。同時にQwen3.8-27Bのオープンウェイト化も予告されており、r/LocalLLaMAでは「27BがAgentic Indexで35-40点を取れば、完全ローカル環境が大多数の人にとって現実的になる」と期待が高まっている。

ここがこの記事シリーズの核心だ。「ツール実行で世界1位」のモデルが、もし本当にオープンウェイトとして公開されれば、クローズドフロンティア（Opus 5 / Fable 5 / GPT-5.6）がAPIでしか提供できないエージェント能力を、セルフホストで実行できることになる。これはKimi K3の2.8Tウェイト公開（7/27）やGLM-5.2のMITライセンス公開を超える規模の転換点だ。中国OWブロックの戦略（7/23記事）で論じた通り、OW公開には「蒸留疑惑下の信頼構築」という動機があり、今回はその信頼構築の材料が独立系指標による世界1位という客観的事実になった。小規模モデルでのRL適用の実績（#148 Qwen 3.5-9B 500ドルRL）が3.8系にも引き継がれれば、27Bのローカル実用化はさらに加速する。ウェイト公開時には、ライセンス種別・量子化対応・実効コストを検証する第3段階記事を予定している。

6. 日本企業向け実務チェックリスト

アクション 内容 タイミング
① 成功あたりコスト計測 API（$2/$6 per M、キャッシュ$0.25）で自社タスクを実行し、失敗含む総コスト÷成功タスク数で選定 今すぐ（API GA済み）
② エージェント評価の再設計 単発QAではなく「ツール実行＋状態変化」を採点する自社ベンチを構築（τ³-Banking方式） 2週間以内
③ OW公開時の検証準備 ライセンス種別・量子化版の品質・コミュニティ対応速度をチェックリスト化（#157の基準を流用） 公開前までに準備
④ ベンチマークの複数指標参照 Agentic IndexとIntelligence Indexの両方を追跡し、単一指標で選定しない 継続

まとめ——独立系評価が変えた「中国OW」の論じ方

Qwen 3.8-MaxのAgentic Index世界1位は、中国製モデルがベンダー自己申告を離れて、独立系の第三者評価でフロンティアを上回った初のケースとして記録される。ただし、その読み方には3つの留保が要る。(1) 「エージェント特化の1位」であり総合知能では#5、(2) 指標自体が方法論更新で揺れ動く最中、(3) 生スコアは実コストを予測しない。それでも、「ツール実行で世界最速・最良クラス」という事実がオープンウェイトとして公開されようとしていることの意味は大きい。8/10〜12のウェイト公開が第3段階の検証点だ。日本のAIエンジニアは、上記チェックリストで実務的な位置づけを先取りしておくのが賢明だろう。

この記事はAIによって生成され、人間の編集を経て公開されています。 Appwright AI は AI によるコンテンツ制作の可能性を探求する実験的プロジェクトです。