TurboFieldfare完全解説:26BパラメータのGemma 4を2GB RAMで動かすSwift+Metal推論エンジン

26Bモデルが8GB MacBook Airで動く——その衝撃 2026年7月29日、独立系iOS/MetalエンジニアのAndrey MikhaylovがリリースしたTurboFieldfareがHacker Newsで1位(218ポイント)を獲得した。このプロジェクトが注目を集めた理由は単純明快だ:26BパラメータのGemma 4 26B-A4B命令チューニングモデルを、最も安価な8GB MacBook Airで約2GBのメモリ消費で動作させるという、従来の常識を覆す成果を達成したからだ。 筆者もこれまでGemma 4をローカルで動かす実践ガイドやGemma 4 12Bガイドを公開してきたが、26B MoEモデルのローカル実行は「最低でも16-18GBの空きメモリが必要」という壁が常に存在していた。TurboFieldfareはこの前提を根本から覆す。 TurboFieldfareのGitHubレポジトリはdrumih/turbo-fieldfareで公開されており、コードはApache 2.0ライセンス(モデル重みはGoogle Gemma規約に従う)。 なぜ2GBで動くのか——MoEとSSDストリーミングの巧妙な設計 Gemma 4 26B-A4Bの構造 Gemma 4 26B-A4BはMixture-of-Experts (MoE) アーキテクチャを採用している。「A4B」は Active 4 Billion の略であり、26Bの総パラメータのうち、各トークンに対して実際に活性化されるのは約15%(約3.88B) に過ぎない。残りの85%のパラメータ(エキスパート重み)は、トークンごとにルーターが選択したエキスパートだけが使われる。 従来のOllamaやLM Studioなどの推論フレームワークは、この「活性化率15%」という特性を無視し、全14.3GBの重みをRAMにロードしていた。24GB以上のMacなら問題ないが、16GB以下のマシンではメモリプレッシャーが発生し、快適な動作は期待できない。 TurboFieldfareの3つの革新 TurboFieldfareはこの「15%しか使わないのに100%をRAMに乗せる」という非効率に、3つの技術で挑戦する: 常駐コアの最小化:全モデルのうち、共有コア(1.35GB)とFP16 KVキャッシュ(4Kコンテキスト分) のみをRAMに常駐させる。ここに約2GBが使われる。 SSDからのエキスパートストリーミング:ルーターが選択したtop-8エキスパートの重みを、必要になった瞬間にSSDからストリームする。各トランスフォーマー層には16スロットのLFU(Least Frequently Used)キャッシュが用意され、同一エキスパートが連続して選択された場合の読み取りを最適化する。測定によると、同一エキスパートが次のトークンでも再選択される確率は約41%、2トークン以内では約57%に達する。 GPU/CPUのオーバーラップ実行:Metalが常駐重みを使ってアテンションとルーター演算を実行している間に、CPUがルーターのtop-8エキスパートIDを元にキャッシュミスを計算し、並列pread呼び出しで欠落エキスパートをMetal可視バッファに読み込む。Metalが共有エキスパートの演算を終えた時点でルーティング先のエキスパート重みが準備完了しており、待ち時間ゼロで合成演算に移行する。 この設計により、mmapを使ったナイーブな実装(約0.50 tok/s)から8〜12倍の改善(4-6 tok/s) を達成している。開発者は103件の実験結果をレポジトリ内で公開しており、mmap、madvise、F_RDADVISE、Markovエキスパート予測器、ディスク再配置など失敗した試行も含めた「実験ノート」そのものが貴重な知見となっている。 パフォーマンスベンチマーク TurboFieldfareの実測値はハードウェアによって大きく変わる。ボトルネックがメモリ帯域幅からSSDスループットに移行する点が特徴的だ。 ハードウェア デコード速度 (tok/s) 備考 M2 MacBook Air (8GB) 5.1 – 6.3 8GBマシンの限界。非同期タスクには十分実用的 M5 Pro (24GB) 31 – 35 十分なRAMによりページキャッシュが効き、実質的なディスクI/Oが減少 M4 Max (64GB) ~48 (コミュニティ報告) ほとんどのエキスパートがページキャッシュに常駐 重要なのは、「未使用RAM=ディスクキャッシュ」という点だ。 マシンに余剰RAMがあれば、TurboFieldfareはOSのページキャッシュを活用して実質的なディスク読み取りを最小化する。一方、RAMが逼迫している環境ではトークン速度が生のSSD速度に近づく。 ...

July 31, 2026 · 21 min · 4057 words · Appwright

ローカル LLM エージェントが「まともに動く」時代 ── Vicki Boykis の Gemma 4 12b-qat + Pi + LM Studio ワークフローを 5 年モノ Mac で再現する

1. 「ローカル LLM は使えるようになった」 ── 840pt HN 議論の争点 2026 年 6 月 15 日、機械学習エンジニアの Vicki Boykis が公開した「Running local models is good now」は、Hacker News フロントページに 2 日以上居座り、最終的に 840pt / 276 コミットメント (Boykis 自身の hacklog note 集計 値) を獲得した。記事の中核テーゼはこうだ。 「12 ヶ月前まで『ゴミ』だったローカル LLM が、Gemma 4 ファミリの登場でフロンティアモデルの約 75% の精度と速度でエージェンティック・コーディングのループが回るようになった」 しかし同じ日に、Hashicorp 共同創業者 Mitchell Hashimoto が X 上で明確に反論している (Boykis 記事へ vickiboykis.com 経由で参照)。 「『ローカルモデルはゴミ』から『ローカルモデル使えるじゃん』への変化は 12 ヶ月で起きた。でも、まだ十分 (good enough) とは思っていない。Opus 4.5 クラスのローカルモデルが必要。それが実現したら、世界がひっくり返る」 二人の議論は正反対に見えるが、実はどちらも正しい。違いは「何を基準にするか」だけだ。本稿は Boykis の 「ローカル LLM + Pi コーディングエージェント + LM Studio + Docker」ワークフロー を、当ブログ 6/16 の Open-Weight Frontier 日本企業ハブ が扱わなかった 「agentic harness セットアップ」軸 で完全に再現する。読者が得るべき結論は 1 つだ。 ...

June 18, 2026 · 41 min · 8070 words · Appwright

DiffusionGemma 26B-A4B 完全解説:自己回帰を捨てた Google の「ブロック並列」テキスト拡散が拓く Open-Weight Frontier 第7モデル——Fable 5 輸出管理後の日本企業 4 つの採用シナリオ

DiffusionGemma 26B-A4B 完全解説:自己回帰を捨てた Google の「ブロック並列」テキスト拡散が拓く Open-Weight Frontier 第 7 モデル 自己回帰の限界と、テキスト拡散への回帰 2026 年 6 月 10 日、Google DeepMind は DiffusionGemma を Apache 2.0 で公開した。Gemma 4 26B A4B の MoE バックボーンに、昨年 5 月の I/O で発表された Gemini Diffusion の研究成果を統合した「ブロック並列デコード」モデルである。 中心的な主張は明確だ。「H100 で 1000 tok/s 以上、GeForce RTX 5090 で 700 tok/s 以上」 をローカル推論で実現する。Google 公式の表現は次の通りである。 “Most language models act like a typewriter, generating one token at a time from left to right. In the cloud, this is efficient because servers can batch thousands of user requests together to share the hardware load. But when run locally for a single user, this word-by-word process leaves your dedicated GPU or TPU underutilized. DiffusionGemma reverses this inefficiency. Instead of predicting words sequentially, it drafts an entire 256-token paragraph simultaneously.” ― Brendan O’Donoghue & Sebastian Flenhagenhag, Google Research ...

June 15, 2026 · 27 min · 5399 words · Appwright

5年前のMacBookでGemma 4 31Bを動かし、1年分の動画をローカルAI検索可能にする実践ガイド

問題:編集者がいない、ラベルもない動画アーカイブ マサイマラでサファリロッジを運営しながらソフトウェアエンジニアとしても活動するNJ氏は、ある矛盾に直面していた。日々撮影される映像は増え続けるが、編集のボトルネックは解消されない。SNSアカウントは「コンテンツ不足」ではなく「編集時間不足」で更新が止まっていた。 初期の解決策はSaaSの組み合わせだった。Eddie AI、Higgsfield MCP、Submagic、Buffer — 月額約140ドルのスタック。しかし生成AIビデオを本物の旅行ブランドで使うリスク(TripAdvisorで致命的)と、週3〜5投稿の現実的な目標に阻まれた。 ここで著者は重要な気づきを得る。すべてのAI動画編集ツールは、映像がすでにラベル付けされている前提で設計されている。 しかし実際のアーカイブは IMG_1103.MOV が Mara june 2024 backup final FINAL に放り込まれているだけ。本当に必要なのは編集ツールではなく、検索可能なインデックスだった。 アーキテクチャ:1,400行のPythonローカルパイプライン 8つのステップで1クリップあたりのメタデータを抽出し、.description.md のサイドカーファイルとして保存する。 ffprobe — コーデック、解像度、フレームレートなどの基本メタデータを取得 exiftool — iPhone、DJI、ドローンのGPS緯度経度・高度を抽出 逆ジオコーディング — Nominatimで座標を地名に変換 ffmpeg — 5フレームを均等間隔で抜き出し、1920pxにリサイズ WhisperX — 単語レベルのアラインメント付き文字起こし + pyannote話者分離(97言語対応) insightface — 顔検出、512次元ArcFace埋め込みをSQLiteデータベースに保存 Gemma 4 31B — フレーム + 文字起こし断片 + フォルダコンテキストからYAMLフロントマターと説明文を生成 サイドカーファイルを書き出し # Gemma 4 が IMG_1103.MOV に対して生成したメタデータ lighting: bright_daylight time_of_day: midday color_palette: warm_greens people: 1 faces: [512次元埋め込みベクトル...] location: "-1.234, 35.678" description: | サファリテントのデッキに立つエリー。 背景にサバンナが広がる。カメラが 室内から室外へパンする。 このサイドカーファイル形式の利点は3つある:プレーンテキストでgrep可能、ドライブを移動しても壊れない、中央データベースが不要。 ...

May 23, 2026 · 17 min · 3374 words · Appwright