PrismMLがTernary Bonsai 2 27Bを公開、27Bモデルを約5.9GBに圧縮
PrismMLは、Qwen3.8 27Bを基盤とする三値化モデル「Ternary Bonsai 2 27B」を公開しました。同社によると実効1.76bit/weight、モデル容量約5.9GBで、262Kコンテキストとテキスト・画像入力に対応します。GGUF版も公式Hugging Faceで配布されています。
根拠開発元の公式発表
作成方法編集ルールに基づく整理
検証範囲公式GGUFの配布と仕様を確認。速度・品質は実機未検証です。
ローカル利用者への判断
27B級モデルを一般的なPCでも扱いやすい容量へ縮小しており、メモリ容量を抑えたローカル推論の有力候補です。ただし、実行時にはモデル本体以外にKVキャッシュなどのメモリが必要で、長いコンテキストや画像入力では消費量が大きくなります。
27B級モデルを一般的なPCでも扱いやすい容量へ縮小しており、メモリ容量を抑えたローカル推論の有力候補です。ただし、実行時にはモデル本体以外にKVキャッシュなどのメモリが必要で、長いコンテキストや画像入力では消費量が大きくなります。
発表・更新の内容
PrismMLはBonsai 2について、重みを{-1, 0, +1}に制限する三値化を採用し、元モデルより約9分の1の容量で、同社の集計ベンチマーク上は性能の98.2%を維持したと説明しています。これらの性能値は開発元による評価なので、用途別の独立検証も確認が必要です。Apache 2.0で公開され、GGUF版は対応するllama.cpp系ランタイムでのローカル実行候補になります。
タグ
PrismMLBonsai 2TernaryGGUF量子化マルチモーダルApache 2.0
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。