HybridRMD、27Bパラメータの知識蒸留モデル「Ternary-Bonsai-2-27B-Heretic-Satellite」を公開
HybridRMDは、コンテキスト管理や対話に特化した27Bパラメータのモデル「Ternary-Bonsai-2-27B-Heretic-Satellite」を公開しました。Qwen3.5系をベースアーキテクチャとし、Layaモデルの知識蒸留によって作成されています。
大規模なコンテキスト処理や高度な対話タスクをローカル環境で実行したい開発者や研究者にとって、実用的な選択肢となります。
何が公開された？
Hugging Face上の「HybridRMD/Ternary-Bonsai-2-27B-Heretic-Satellite」が更新されています。確認時点の指標は downloads=4,177、likes=0 です。
モデルの特徴
アーキテクチャは Qwen3_5ForCausalLM。用途タグは text-generation。
量子化・ファイル構成
ファイル名から判別できた量子化は Q2_K, Q4_K_M, Q8_0, F16。GGUFファイルは 4 件確認できました。
どんなPCなら使えそう？
確認できたGGUFのファイル容量は 10.0 GB〜50.1 GB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。
LM Studio / llama.cppで使える？
GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。
主な仕様
| モデルID | HybridRMD/Ternary-Bonsai-2-27B-Heretic-Satellite |
|---|---|
| 配布者 | HybridRMD |
| 元モデル | 情報不足 |
| ライセンス | other |
| アーキテクチャ | Qwen3_5ForCausalLM |
| コンテキスト長 | 262,144 tokens |
| 用途タグ | text-generation |
| Downloads | 4,177 |
| Likes | 0 |
| 量子化 | Q2_K, Q4_K_M, Q8_0, F16 |
推奨量子化
一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。
| バランス重視 | Q4_K_M (15.4 GB) |
|---|---|
| 品質重視 | Q8_0 (26.6 GB) |
| 省メモリ重視 | Q4_K_M (15.4 GB) |
必要メモリ目安
モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。
| 基準量子化 | Q4_K_M |
|---|---|
| モデルファイル容量 | 15.41 GiB |
| 最低RAM目安 | 20.0 GiB |
| 推奨RAM目安 | 25.0 GiB |
| フルGPUオフロード時VRAM目安 | 19.0 GiB |
対応ランタイム
| ランタイム | 判定 | 根拠 |
|---|---|---|
| llama.cpp | 明示あり | モデルカードまたはタグ内にllama.cpp関連記載があります。 |
| LM Studio | 互換候補 | GGUFを扱えますが、新しいアーキテクチャではLM Studio側の対応確認が必要です。 |
| Ollama | インポート候補 | GGUFを取り込める場合がありますが、モデルアーキテクチャとテンプレートの対応確認が必要です。 |
| KoboldCpp | 互換候補 | GGUF系ランタイムですが、アーキテクチャ対応状況の確認が必要です。 |
| vLLM | 明示あり | モデルカードまたはタグ内に関連記載があります。 |
| Transformers | 明示あり | モデルカードまたはタグ内に関連記載があります。 |
用途評価
| 用途 | 評価 | 根拠 |
|---|---|---|
| チャット | 高 | モデル名・タグ・モデルカードにチャット/Instruction系の手掛かりがあります。 |
| コーディング | 情報不足 | コード特化を示す明確な記載を取得できませんでした。 |
| 推論・数学 | 情報不足 | 推論特化を示す明確な記載を取得できませんでした。 |
| 日本語 | 情報不足 | 日本語対応を直接裏付ける情報を取得できませんでした。 |
| ツール利用・エージェント | 情報不足 | ツール利用を裏付ける明確な情報を取得できませんでした。 |
| 画像理解・マルチモーダル | 高 | Vision/Multimodal系の記載があります。 |
| 長文コンテキスト | 高 | config/APIから最大コンテキスト長 262,144 tokens を確認。実用上の推奨値はメモリ量で変わります。 |
GGUFファイル
| 量子化 | ファイル | 容量 |
|---|---|---|
| Q2_K | Ternary-Bonsai-2-27B-Heretic-Satellite-Q2_K.gguf | 10.0 GB |
| Q4_K_M | Ternary-Bonsai-2-27B-Heretic-Satellite-Q4_K_M.gguf | 15.4 GB |
| Q8_0 | Ternary-Bonsai-2-27B-Heretic-Satellite-Q8_0.gguf | 26.6 GB |
| F16 | Ternary-Bonsai-2-27B-Heretic-Satellite-F16.gguf | 50.1 GB |
発表・更新の内容
本モデルはHugging Face上で公開され、Q4_K_Mなどの量子化版が利用可能です。システム要件として最低20GB、推奨25GBのRAMおよび約19GBのVRAMが想定されています。API専用ではなくローカルでの実行に対応していますが、ベースとなった教師モデルのライセンスや詳細な利用条件に注意する必要があります。
タグ
GGUFHugging Facetransformerssafetensorsggufqwen3_5_texttext-generationqwen3_5qwen3_8context-management
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。