Qwen3.8-27Bの3bit量子化モデル向けドラフトモデル「Qwen3.8-27B-DFlash2-ternary-bonsai2」公開
Ternary-Bonsai-2-27Bなどの2bit/3bit量子化モデル向けに最適化された、DFlash2アーキテクチャ採用のドラフトモデルが公開されました。推測デコード（Speculative Decoding）によるローカル環境での高速化を目的としています。
大規模な27Bクラスのモデルを用いたローカルでの推論時に、推測デコードを活用して生成速度を向上させるための実用的な選択肢を提供します。
何が公開された？
Hugging Face上の「naklitechie/Qwen3.8-27B-DFlash2-ternary-bonsai2」が更新されています。確認時点の指標は downloads=2,940、likes=1 です。
モデルの特徴
元モデルは z-lab/Qwen3.8-27B-DFlash2。アーキテクチャは DFlash2DraftModel。用途タグは text-generation。
量子化・ファイル構成
ファイル名から判別できた量子化は Q4_K_M。GGUFファイルは 1 件確認できました。
どんなPCなら使えそう？
確認できたGGUFのファイル容量は 1.1 GB〜1.1 GB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。
LM Studio / llama.cppで使える？
GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。
主な仕様
| モデルID | naklitechie/Qwen3.8-27B-DFlash2-ternary-bonsai2 |
|---|---|
| 配布者 | naklitechie |
| 元モデル | z-lab/Qwen3.8-27B-DFlash2 |
| ライセンス | apache-2.0 |
| アーキテクチャ | DFlash2DraftModel |
| コンテキスト長 | 262,144 tokens |
| 用途タグ | text-generation |
| Downloads | 2,940 |
| Likes | 1 |
| 量子化 | Q4_K_M |
推奨量子化
一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。
| バランス重視 | Q4_K_M (1.1 GB) |
|---|---|
| 品質重視 | Q4_K_M (1.1 GB) |
| 省メモリ重視 | Q4_K_M (1.1 GB) |
必要メモリ目安
モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。
| 基準量子化 | Q4_K_M |
|---|---|
| モデルファイル容量 | 1.06 GiB |
| 最低RAM目安 | 3.5 GiB |
| 推奨RAM目安 | 5.5 GiB |
| フルGPUオフロード時VRAM目安 | 2.5 GiB |
対応ランタイム
| ランタイム | 判定 | 根拠 |
|---|---|---|
| llama.cpp | 明示あり | モデルカードまたはタグ内にllama.cpp関連記載があります。 |
| LM Studio | 互換候補 | GGUFを扱えますが、新しいアーキテクチャではLM Studio側の対応確認が必要です。 |
| Ollama | インポート候補 | GGUFを取り込める場合がありますが、モデルアーキテクチャとテンプレートの対応確認が必要です。 |
| KoboldCpp | 互換候補 | GGUF系ランタイムですが、アーキテクチャ対応状況の確認が必要です。 |
| MLX | 明示あり | モデルカードまたはタグ内に関連記載があります。 |
用途評価
| 用途 | 評価 | 根拠 |
|---|---|---|
| チャット | 高 | モデル名・タグ・モデルカードにチャット/Instruction系の手掛かりがあります。 |
| コーディング | 高 | コード生成・Coder系の記載があります。 |
| 推論・数学 | 高 | Reasoning/Thinking/Math系の記載があります。 |
| 日本語 | 情報不足 | 日本語対応を直接裏付ける情報を取得できませんでした。 |
| ツール利用・エージェント | 情報不足 | ツール利用を裏付ける明確な情報を取得できませんでした。 |
| 画像理解・マルチモーダル | 情報不足 | 画像入力対応を裏付ける明確な情報を取得できませんでした。 |
| 長文コンテキスト | 高 | config/APIから最大コンテキスト長 262,144 tokens を確認。実用上の推奨値はメモリ量で変わります。 |
GGUFファイル
| 量子化 | ファイル | 容量 |
|---|---|---|
| Q4_K_M | Qwen3.8-27B-DFlash2-r3-Q4_K_M.gguf | 1.1 GB |
発表・更新の内容
モデルID：naklitechie/Qwen3.8-27B-DFlash2-ternary-bonsai2、ライセンスはApache-2.0です。ベースモデルはz-lab/Qwen3.8-27B-DFlash2であり、プリズムMLの2bit量子化Qwen3.8-27Bモデルの隠れ状態や貪欲生成結果を用いてファインチューニングされています。コンテキスト長は262,144に対応し、推奨量子化はQ4_K_Mです。メモリ推定値としてファイルサイズが約1.06GiB、VRAM約2.5GiBと算出されており、MLXやllama.cpp環境での推測デコードのドラフトモデルとしての利用が想定されています。
タグ
GGUFHugging Facemlxsafetensorsggufqwen3speculative-decodingdflash2draft-modelternary
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。