Ternary-Bonsai-2-27BのGoogle Colab向け軽量量子化GGUF版が公開
Hugging Faceにて、Ternary-Bonsai-2-27BをGoogle ColabなどのGPU環境ですぐに実行できるように構築されたGGUFモデル「IamPradeep/Ternary-Bonsai-2-27B-GGUF-Colab-Prebuilt-GPU」が公開されました。
極めて軽量な量子化バリアントにより、リソースの限られた環境でも高速な推論検証を手軽に試せるようになります。
何が公開された？
Hugging Face上の「IamPradeep/Ternary-Bonsai-2-27B-GGUF-Colab-Prebuilt-GPU」が更新されています。確認時点の指標は downloads=449、likes=0 です。
量子化・ファイル構成
ファイル名から確認できた量子化方式は Q8_0, BF16, TQ1_0, Q2_0, F16。GGUFファイルは 5 件確認できました。
どんなPCなら使えそう？
確認できたGGUFのファイル容量は 600.1 MB〜50.1 GB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。
LM Studio / llama.cppで使える？
GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。
注意点
ライセンス情報をAPIから確定できませんでした。コンテキスト長をconfig/APIから確定できませんでした。
主な仕様
| モデルID | IamPradeep/Ternary-Bonsai-2-27B-GGUF-Colab-Prebuilt-GPU |
|---|---|
| 配布者 | IamPradeep |
| 元モデル | 情報不足 |
| ライセンス | 情報不足 |
| アーキテクチャ | 情報不足 |
| コンテキスト長 | 情報不足 |
| 用途タグ | 情報不足 |
| Downloads | 449 |
| Likes | 0 |
| 量子化 | Q8_0, BF16, TQ1_0, Q2_0, F16 |
推奨量子化
一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。
| バランス重視 | 情報不足 |
|---|---|
| 品質重視 | Q8_0 (600.1 MB) |
| 省メモリ重視 | 情報不足 |
必要メモリ目安
モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。
| 計算の基準となる量子化 | Q8_0 |
|---|---|
| モデルファイル容量 | 0.59 GiB |
| 最低RAM目安 | 3.0 GiB |
| 推奨RAM目安 | 5.0 GiB |
| 全量GPUオフロード時のVRAM目安 | 2.0 GiB |
対応ランタイム
| ランタイム | 判定 | 根拠 |
|---|---|---|
| llama.cpp | 明示あり | モデルカードまたはタグにllama.cppに関する記載があります。 |
| LM Studio | 互換候補 | GGUFを扱えますが、新しいアーキテクチャではLM Studio側の対応確認が必要です。 |
| Ollama | インポート候補 | GGUFを取り込める場合がありますが、モデルアーキテクチャとテンプレートが対応しているか確認する必要があります。 |
| KoboldCpp | 互換候補 | GGUF系ランタイムですが、アーキテクチャへの対応状況を確認する必要があります。 |
用途評価
| 用途 | 評価 | 根拠 |
|---|---|---|
| チャット | 高 | モデル名・タグ・モデルカードにチャット/Instruction系の手掛かりがあります。 |
| コーディング | 情報不足 | コード特化を示す明確な記載を取得できませんでした。 |
| 推論・数学 | 高 | Reasoning/Thinking/Math系の記載があります。 |
| 日本語 | 情報不足 | 日本語対応を直接裏付ける情報を取得できませんでした。 |
| ツール利用・エージェント | 情報不足 | ツール利用を裏付ける明確な情報を取得できませんでした。 |
| 画像理解・マルチモーダル | 高 | Vision/Multimodal系の記載があります。 |
GGUFファイル
| 量子化 | ファイル | 容量 |
|---|---|---|
| Q8_0 | Ternary-Bonsai-2-27B-mmproj-Q8_0.gguf | 600.1 MB |
| BF16 | Ternary-Bonsai-2-27B-mmproj-BF16.gguf | 888.0 MB |
| TQ1_0 | Ternary-Bonsai-2-27B-PTQ1_0.gguf | 5.5 GB |
| Q2_0 | Ternary-Bonsai-2-27B-PQ2_0.gguf | 6.7 GB |
| F16 | Ternary-Bonsai-2-27B-F16.gguf | 50.1 GB |
発表・更新の内容
本リポジトリには、PTQ1_0などの量子化バリアントと、Google Colab環境向けの事前コンパイル済みllama.cppバイナリが含まれています。デフォルトのPTQ1_0バリアントは約5.95 GBと軽量で、最小3.0 GiBのシステムRAMから動作検証が可能です。ライセンスやベースモデルの詳細なアーキテクチャ情報は明記されていません。
タグ
GGUFHugging Faceggufendpoints_compatibleregion:usconversational
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。