GGUF on Appwright AI https://ai.appwright.xyz/tags/gguf/ Recent content in GGUF on Appwright AI Hugo en-US Wed, 24 Jun 2026 07:00:00 +0800 GLM-5.2 を 238GB まで圧縮した男たち ── Unsloth Dynamic 2-bit GGUF で Apple Silicon 256GB Mac に Frontier 級 744B モデルを載せる完全手順 https://ai.appwright.xyz/posts/2026-06-24-glm-5-2-unsloth-2bit-gguf-local-tutorial/ Wed, 24 Jun 2026 07:00:00 +0800 https://ai.appwright.xyz/posts/2026-06-24-glm-5-2-unsloth-2bit-gguf-local-tutorial/ Unsloth が 2026 年 6 月 18 日に公開した GLM-5.2-GGUF (Dynamic 2-bit で 1.51TB → 238GB、精度 ~82% 維持) を、Apple Silicon 256GB Mac (M3 Ultra / M4 Max) とマルチ GPU セットアップで動かす完全手順。Hacker News フロントページ #4 (347pt/151cmt) の Day-6 持続シグナル、IndexCache (IndexShare 2.9× FLOPs 削減) と Multi-Token Prediction (投機的復号化 +20% スループット) の 2 つの技術的ブレイクスルー、5 つの GGUF クォント別トレードオフ表 (UD-IQ2_XXS 238GB / UD-IQ1_M 217GB / IQ4_XS 405GB / Q8_0 770GB / F16 1.51TB)、Unsloth Studio / llama.cpp / vLLM / SGLang の 4 つの起動コード、KV-cache 量子化による 1M コンテキスト実運用、日本企業 ¥40-60M (H100×8) vs ¥600K (M3 Ultra 256GB) の TCO 比較を 1 記事に集約。