AI業界は2026年7月第3週、目に見える形で「曲がり角」を迎えた。その日付が正確にいつかと問われれば、7月14日から17日までの4日間と答えるのが妥当だろう。この4日間で、これまでデモや実験室に閉じ込められていた「オンデバイスAI」が、現実のデプロイ判断を迫る3つのイベントとして具体化した。
PrismMLのBonsai 27B（3.9GBの1ビット圧縮でiPhone 17 Pro上で27Bモデルが動作）、Liquid AIのAntidoom（推論モデルのdoom loopを22.9%→1%に削減するFinal Token Preference Optimization）、そしてApple Intelligence中国承認（Alibaba Qwenとの提携により、規制がオンデバイスを強制する構造）──3つは独立した出自を持ちながら、同じ週に収束した。偶然にしてはタイミングが良すぎる。そして偶然ではない理由を、以下で詳細に確認する。
PM 編集方針 ── 7/17 18:00 HKT evening brief LOCKED 計画
PM 7/17 18:00 HKT evening brief の P0-PM として LOCKED。On-Device AI Shift トピックは 5/5 基準パス（BFWAI Jul 16「story of the week」評価 + HN Small Models #8 (171pts) + Apple China 同日規制承認 = マルチソース収束、タイムセンシティブ、PM override freeze ACTIVE Day 17/21 → PLANNED topic）。19 連続 PLANNED 継続（pitfall #77「override しない勇気」19 連続目）。フォーマット：news-analysis + builder tutorial hybrid（4,000-5,500 chars）。内部リンク計画：Apple China #121 / AMD Ryzen Halo #116 / Gemma 4 12B #49 / Nemotron 3 Ultra #52 / GLM 5.2 margin collapse #109 / GPT-5.6 Terra #115。
Bonsai 27B：27Bクラスモデルが初めてiPhoneに収まる
7月14日、PrismML（Caltech発、Khosla Ventures/Cerberus/Google/Samsung 出資）が Bonsai 27B を Apache 2.0 ライセンスで公開した。ベースは Alibaba の Qwen3.6 27B。注目すべきは2つの低ビット実装が両方とも実用的な精度を維持している点だ。
| バリアント | 実効ビット/重み | サイズ | ベンチマーク保持率 | 速度（RTX 5090） | 速度（M5 Max） |
|---|---|---|---|---|---|
| Ternary Bonsai 27B | 1.71 bits | 5.9 GB | FP16の95% | 134 tok/s | 58 tok/s |
| 1-bit Bonsai 27B | 1.125 bits | 3.9 GB | FP16の90% | 163 tok/s | 87 tok/s |
サイズの意味を正確に理解するために、従来の量子化との比較を示す。フルプレシジョン（16ビット）の27Bモデルは54GB。4ビット量子化でも13-18GBで、iPhoneがアプリに割り当てられる典型的なメモリ（12GB iPhone → 実効約6GB）には収まらない。1-bit Bonsai 27Bの3.9GBは、KVキャッシュとアクティベーション分の余裕を残して初めてこの6GBの壁を通過した。
15ベンチマーク（思考モード、フル推論）の総合スコアは Ternary が80.5%（FP16の85%に対して95%保持）、1-bit が76.1%（90%保持）。特に数学（GSM8K/MATH-500/AIME）とコーディング（HumanEval+/MBPP+/LiveCodeBench）はほぼ未減衰で、ツール呼び出し（BFCL v3/TauBench）も数ポイントの低下にとどまる。
PrismML CEO の Babak Hassibi は CNBC に対し、Apple が同社の技術を「評価中」と述べており、9to5Mac は「話題づくりの側面が強い」とやや懐疑的だが、技術的な事実として「3.9GBで27BモデルがiPhone上で動作する」という閾値を超えたことは間違いない。HN でも 694 points / 249 comments の議論を呼び、Gemma 4 12B（4ビットQAT版、約7GB）との比較や、1-bit Bonsai の実用精度が Qwen3.6 27B（OpenRouter ホスト）と「100% comparable」とする Tim Carambat のファーストインプレッションが注目された。
Intelligence Density（知能密度） という概念を PrismML は「1GBあたりのベンチマークスコア」と定義し、1-bit Bonsai 27B がフルプレシジョンの10倍以上、既存の最良低ビット代替の約2.7倍の密度を達成したと主張する。この指標は今後、オンデバイスモデル選定の新しい基準になる可能性がある。
Antidoom：スモールモデルの信頼性の壁を突破する外科的アプローチ
Bonsai 27B が「モデルをデバイスに載せる」問題を解決した一方で、Liquid AI が7月7日に公開した Antidoom は「載せたモデルを実用的にする」問題に取り組んだ。
問題は doom loop（運命のループ） と呼ばれる現象だ。推論モデルがハッカソン問題の解決途中で「Wait, let me reconsider…」のようなスパンを生成し、それをコンテキストウィンドウが尽きるまで繰り返す。この障害は特に小規模推論モデル（7B以下）で顕著で、実用上の最大の障壁のひとつだった。
Antidoom のアプローチは外科的だ。ループの開始トークンを特定し、その1トークン位置だけを再学習する。訓練アルゴリズムは Final Token Preference Optimization（FTPO）──DPOの変種で、選択肢トークンと拒否トークンのペアを1トークン単位で最適化し、分布の残り部分への副次的なダメージを最小化する。
結果は劇的だった：
| モデル | 改善前のdoom loop率 | 改善後 | 削減率 |
|---|---|---|---|
| LFM2.5-2.6B（初期 checkpoint） | 10.2% | 1.4% | 86% |
| Qwen3.5-4B（greedy sampling） | 22.9% | 1.0% | 96% |
eval スコアはループ削減の直接効果として全体的に向上した。「モデルに新しい能力を教えたわけではない。既に持っている回答をブロックしていたループを取り除いただけ」という Liquid AI の説明は正確で、だからこそ信頼できる。
訓練コストは生成に8× MI325 GPUで約1時間、訓練に1× MI325 GPUで1-2時間。フルスタックがオープンソースで公開されている。
この結果が示すのは、「小型モデルは信頼性の壁に阻まれて本番投入できなかった」という状況が、初めて実用的な解決策を得たということだ。4Bモデルが22.9%の確率でループに陥るなら本番では使えないが、1%なら使える。そしてローカルで動作する4Bモデルのクエリコストはゼロであるのに対し、クラウドの GPT-5.6 Sol は出力100万トークンあたり $30 だ。
Apple Intelligence中国承認：規制が強制したオンデバイス化
7月15日、Apple Intelligence が中国のサイバースペース管理局（CAC）の承認を得て、Alibaba Qwen モデルを中核とする形で中国市場に投入されることが確定した。前日7月17日の記事で詳細に分析した通り、これは「アメリカのテクノロジー巨大企業が自社のAIモデルを中国で運用できないため、中国製のものをレンタルする」構造であり、AIスタックの西側/中国分断の象徴的事例である。
しかしこのイベントには、もうひとつの読み方がある。規制がオンデバイスAIを強制したという視点だ。
中国ではすべてのLLMが公開前に登録・承認を受ける必要があり、外国モデルはこのハードルをクリアできない。Apple が中国市場でAI機能を提供するには、(a) Alibaba Qwen のような中国認証済みモデルをクラウド経由で使うか、(b) デバイス上で動作する形で提供するか、の2択だった。結果的に Apple は両方を選択したが、ここで重要なのは後者の選択肢が存在するようになったことだ──Bonsai 27B のような技術が、この選択肢を現実的にしている。
Apple 自身もチップ企業の買収を模索しており（BFWAI Jul 16）、カスタムAIサーバーチップの開発を視野に入れている。垂直統合の戦略は、電話からデータセンターまでをカバーする。つまりApple Intelligence中国は、単なる市場アクセスの話ではなく、**「クラウドに頼れない環境こそがオンデバイスAIの最大の推進力になる」**という構造的含意を持つ。
3つの信号の収束：2026年7月、オンデバイスAIが実用化する
これら3つの信号を個別に見ると、それぞれ「面白い技術ニュース」で終わる。しかし並べてみると、共通の構造が見える。
信号1（Bonsai 27B）：「デバイスに載せられるモデル」の閾値を27Bクラスに引き上げた。2026年4月の Gemma 4 12B（約7GB）が切り開いた道を、わずか3ヶ月で3倍以上のパラメータ規模に拡大した。
信号2（Antidoom）：「載せたモデルが信頼できる」閾値を通過させた。4Bモデルの故障率1%は、多くのエンタープライズユースケースで実用的な水準だ。
信号3（Apple China）：「クラウドに頼れない環境」が現実に存在し、それが規制という形でAIスタックを分断している。この環境は、オンデバイスAIへの移行を強制的に加速する。
BFWAI が7月16日のニュースレターで「今週の本当のストーリーはオンデバイスAIシフトだった」と総括したのは正確だ。7月第3週以前のオンデバイスAIは「デモとしては面白いが、本番ではクラウドAPIを使う」という状況だった。7月第3週以降は、少なくとも一部のユースケースでは「オンデバイスで十分」という判断が技術的に正当化される。
Omdia の4月レポートも指摘する通り、フロンティアモデルのパラメータ成長率は年率5%まで鈍化している（2019-2021年の100倍超と比較して）。スマートフォンのNPU搭載率は2026年末45%に達し（Counterpoint Research）、2027年には過半数を超える。ハードウェアの条件は揃いつつある。
経済性の比較：オンデバイス vs クラウド
| コスト要素 | オンデバイス（1-bit Bonsai 27B） | クラウド API（GPT-5.6 Sol / Terra） |
|---|---|---|
| クエリ100回の限界費用 | $0（端末上の電力のみ） | $0.25-$3.00（モデルと入出力長による） |
| データプライバシー | 端末から出ない | クラウド側に送信 |
| レイテンシ（初回トークン） | 0ms（ローカル） | 200-1000ms（ネットワーク往復） |
| 利用可能条件 | インターネット不要 | 常時接続必須 |
| モデル能力上限 | Qwen3.6 27B クラス | GPT-5.6 Sol／Claude Opus 4.8 クラス |
| 知的財産リスク | ローカル制御可能 | API利用規約・データ利用条件に依存 |
この比較表から導かれる結論は単純だ。全量をクラウドに頼る必要はない。全量をローカルに置く必要もない。 適切なルーティングこそが、次のフェーズの競争優位を決める。
この「ハイブリッドルーティング」は、前週の GPT-5.6 Terra ルーティングガイド で紹介した3層設計の延長線上にある。あの記事では Sol / Terra / Luna の3層を価格と性能でルーティングする方法を示したが、ここにオンデバイス層が第4の層として加わる。つまり：
- オンデバイス SLM（Bonsai 27B クラス、$0/query）：ルーティン作業、個人データ処理
- Luna（$1/$6）：軽量推論、キャッシュヒット
- Terra（$2.50/$15）：標準的なコーディング・分析
- Sol（$5/$30）：最難関の推論、エージェントループ
この4層ルーティングを実装できる企業は、競合に対してコスト構造で圧倒的な優位を得る。
日本企業への含意
日本のAIエンジニアリングチームにとって、このシフトは3つの実務的含意を持つ。
第一に、データ主権戦略の選択肢が拡大した。 Apple Intelligence中国 の事例が示す通り、規制環境によってはクラウドAPIが利用できない。Bonsai 27B のようなApache 2.0モデルを端末上で動作させる選択肢は、日本の金融・医療・官公庁領域で特に重要になる。FLI AI Safety Index が示した通り、Alibaba Qwen の安全性評価は D- だが、Bonsai 27B はベースモデルをローカルで制御できるため、評価次第でリスク管理が可能だ。
第二に、エッジAI導入のコスト試算が変わる。 AMD Ryzen AI Halo Dev Kit（$3,999で200Bモデルをローカル実行可能）と Bonsai 27B（iPhone上で27B）の組み合わせは、中小企業でもクラウドAPI依存からの脱却を検討できる価格帯になった。
第三に、GPUリソースの逼迫緩和に貢献する。 GLM 5.2 マージン崩壊 で分析した通り、推論コストの急落はオープンウェイト市場全体の収益構造を変えつつある。オンデバイスにルーティングできるクエリが増えれば、クラウドGPUの需要圧力は緩和され、需給逼迫による価格高騰の抑制効果も期待できる。
残る課題と展望
オンデバイスAIシフトが実用的な閾値を超えたとはいえ、乗り越えるべき課題は依然として存在する。
Bonsai 27B の実用速度：iPhone 17 Pro 上で1-bit Bonsai は約11 tok/s（PrismML公称値）。これはチャット応答としては許容範囲だが、エージェントループやコード生成の連続呼び出しには遅い。Apple が今後の A19/M6 チップで NPU 性能をどの程度引き上げるかに依存する。
Antidoom の一般化可能性：現在の検証は LFM2.5-2.6B と Qwen3.5-4B の2モデルにとどまる。7B 以上のモデルや、Chain-of-Thought 以外の推論スタイルへの適用可能性は未確認。また、greedy sampling 以外での効果は確認されているものの、温度0.67以上ではループ削減効果が薄れる可能性がある。
エコシステムの成熟度：Bonsai 27B は MLX（Apple）と CUDA（NVIDIA）で動作するが、Android 向けの実行環境は限定的。Qualcomm や MediaTek の NPU 向け最適化は今後の課題だ。
クラウドAPI企業の反応：トークンメータリングビジネスを収益源とする OpenAI / Anthropic / Google にとって、オンデバイスシフトは構造的脅威である。7月9日のプラットフォーム戦争 の分析でも触れた通り、各社はエコシステムロックインで対抗するだろう。Anthropic の Claude Cowork 永続セッション、OpenAI の ChatGPT Work + Codex Micro キーパッド、Google の Gemini Notebook へのリネーム──いずれも「クラウドに留める」施策だ。
まとめ
2026年7月第3週は、オンデバイスAIが「理論的に可能」から「実用的に選択可能」に移行した週として記憶されるだろう。Bonsai 27B がハードウェアの制約を突破し、Antidoom が信頼性の壁を打破し、Apple Intelligence中国が規制駆動のオンデバイス化を現実のものにした。
次の1年で重要なのは、どのモデルが最も性能が高いかではなく、どの企業がタスクを適切な場所に自動ルーティングできるかになる。その競争は、すでに始まっている。
この記事はAIによって生成され、人間の編集を経て公開されています。 Appwright AI は AI によるコンテンツ制作の可能性を探求する実験的プロジェクトです。
関連記事
- Appleが中国でAlibaba Qwenを採用した意味：AIスタック分断と日本の3軸選択 — 121st post
- GPT-5.6 Terra実践ガイド：3層ルーティング設計でコストを63%削減 — 115th post
- AMD Ryzen AI Halo Dev Kit完全解説：128GBユニファイドメモリで200Bモデルをローカル実行 — 116th post
- GLM 5.2 とAIマージン崩壊：コストレコニング第9部 — 109th post
- FLI AI Safety Index完全解説：独立ガバナンススコアが明かした9大ラボの実力 — 120th post
- エージェントプロトコル戦争の構造：MCP vs A2A vs ARD — 117th post