Local LLM Wiki
モデル

AtomicChat、三値量子化ベースモデル向け「Ternary-Bonsai-2-9B-Uncensored-LoRA-GGUF」を公開

AtomicChatは、三値量子化を採用した「Ternary-Bonsai-2-9B」のGGUFモデルに対応する、非検閲化LoRAアダプター「Ternary-Bonsai-2-9B-Uncensored-LoRA-GGUF」をHugging Faceで公開した。

根拠公式モデルカード/配布ページ
作成方法AIによる要約補助を使用
検証範囲速度・品質・互換性は実機では検証していません。
ローカル利用者の判断材料
llama.cppなどのローカル環境において、ベースとなる三値量子化パックのバイナリを変更せずに計算グラフ内で拒絶反応を調整・解除することが可能になる。

何が公開された?

Hugging Face上の「AtomicChat/Ternary-Bonsai-2-9B-Uncensored-LoRA-GGUF」が更新されています。確認時点の指標は downloads=908、likes=6 です。

モデルの特徴

元モデルは prism-ml/Ternary-Bonsai-2-9B-gguf。用途タグは text-generation。

どんなPCなら使えそう?

確認できたGGUFのファイル容量は 3.0 MB〜3.0 MB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。

LM Studio / llama.cppで使える?

GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。

注意点

コンテキスト長をconfig/APIから確定できませんでした。

主な仕様

モデルIDAtomicChat/Ternary-Bonsai-2-9B-Uncensored-LoRA-GGUF
配布者AtomicChat
元モデルprism-ml/Ternary-Bonsai-2-9B-gguf
ライセンスapache-2.0
アーキテクチャ情報不足
コンテキスト長情報不足
用途タグtext-generation
Downloads908
Likes6
量子化情報不足

推奨量子化

一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。

バランス重視情報不足
品質重視情報不足
省メモリ重視情報不足

必要メモリ目安

モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。

計算の基準となる量子化情報不足
モデルファイル容量概算不能
最低RAM目安概算不能
推奨RAM目安概算不能
全量GPUオフロード時のVRAM目安概算不能

対応ランタイム

ランタイム判定根拠
llama.cpp明示ありモデルカードまたはタグにllama.cppに関する記載があります。
LM Studio互換候補GGUFを扱えますが、新しいアーキテクチャではLM Studio側の対応確認が必要です。
Ollama明示ありモデルカードにOllamaに関する記載があります。
KoboldCpp互換候補GGUF系ランタイムですが、アーキテクチャへの対応状況を確認する必要があります。

用途評価

用途評価根拠
チャット高モデル名・タグ・モデルカードにチャット/Instruction系の手掛かりがあります。
コーディング情報不足コード特化を示す明確な記載を取得できませんでした。
推論・数学情報不足推論特化を示す明確な記載を取得できませんでした。
日本語情報不足日本語対応を直接裏付ける情報を取得できませんでした。
ツール利用・エージェント情報不足ツール利用を裏付ける明確な情報を取得できませんでした。
画像理解・マルチモーダル情報不足画像入力対応を裏付ける明確な情報を取得できませんでした。

GGUFファイル

量子化ファイル容量
Ternary-Bonsai-2-9B-Uncensored-LoRA.gguf3.0 MB

発表・更新の内容

ライセンスはApache-2.0である。公開されたアダプターのサイズは約3.2 MBであり、約2.0 GBの三値量子化ベースモデルパックと組み合わせて利用する。リクエストごとに拒絶方向の強度を設定できる仕組みを備えており、ローカルでのカスタマイズ実行に対応している。

タグ

GGUFHugging Faceggufllama.cpplorauncensoredabliterationrefusal-directionternarybonsai

この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。

関連記事