guru-32Bのimatrix量子化GGUF版が公開
mradermacher氏により、IFM/guru-32Bをベースにした多様な量子化レベルのGGUFモデルが公開されました。IQ1からQ6_Kまで幅広い選択肢が用意されています。
32Bパラメータ規模の大規模モデルを、手元のVRAMやRAMの容量に合わせて細かく調整して動かすことが可能になります。
何が公開された？
Hugging Face上の「mradermacher/guru-32B-i1-GGUF」が更新されています。確認時点の指標は downloads=414、likes=0 です。
モデルの特徴
元モデルは IFM/guru-32B。
量子化・ファイル構成
ファイル名から判別できた量子化は IQ1_S, IQ1_M, IQ2_XXS, IQ2_XS, IQ2_S, IQ2_M, Q2_K_S, Q2_K, IQ3_XXS, IQ3_XS, Q3_K_S, IQ3_S, IQ3_M, Q3_K_M, Q3_K_L, IQ4_XS, Q4_0, Q4_K_S, Q4_K_M, Q4_1, Q5_K_S, Q5_K_M, Q6_K。GGUFファイルは 23 件確認できました。
どんなPCなら使えそう？
確認できたGGUFのファイル容量は 6.8 GB〜25.0 GB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。
LM Studio / llama.cppで使える？
GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。
注意点
コンテキスト長をconfig/APIから確定できませんでした。
主な仕様
| モデルID | mradermacher/guru-32B-i1-GGUF |
|---|---|
| 配布者 | mradermacher |
| 元モデル | IFM/guru-32B |
| ライセンス | cc-by-nc-4.0 |
| アーキテクチャ | 情報不足 |
| コンテキスト長 | 情報不足 |
| 用途タグ | 情報不足 |
| Downloads | 414 |
| Likes | 0 |
| 量子化 | IQ1_S, IQ1_M, IQ2_XXS, IQ2_XS, IQ2_S, IQ2_M, Q2_K_S, Q2_K, IQ3_XXS, IQ3_XS, Q3_K_S, IQ3_S, IQ3_M, Q3_K_M, Q3_K_L, IQ4_XS, Q4_0, Q4_K_S, Q4_K_M, Q4_1 |
推奨量子化
一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。
| バランス重視 | Q4_K_M (18.5 GB) |
|---|---|
| 品質重視 | Q5_K_M (21.7 GB) |
| 省メモリ重視 | IQ3_M (13.8 GB) |
必要メモリ目安
モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。
| 基準量子化 | Q4_K_M |
|---|---|
| モデルファイル容量 | 18.49 GiB |
| 最低RAM目安 | 23.5 GiB |
| 推奨RAM目安 | 29.0 GiB |
| フルGPUオフロード時VRAM目安 | 22.5 GiB |
対応ランタイム
| ランタイム | 判定 | 根拠 |
|---|---|---|
| llama.cpp | 有力候補 | GGUF形式のため候補になりますが、このアーキテクチャへの対応バージョン確認が必要です。 |
| LM Studio | 互換候補 | GGUFを扱えますが、新しいアーキテクチャではLM Studio側の対応確認が必要です。 |
| Ollama | インポート候補 | GGUFを取り込める場合がありますが、モデルアーキテクチャとテンプレートの対応確認が必要です。 |
| KoboldCpp | 互換候補 | GGUF系ランタイムですが、アーキテクチャ対応状況の確認が必要です。 |
| Transformers | 明示あり | モデルカードまたはタグ内に関連記載があります。 |
用途評価
| 用途 | 評価 | 根拠 |
|---|---|---|
| チャット | 高 | モデル名・タグ・モデルカードにチャット/Instruction系の手掛かりがあります。 |
| コーディング | 情報不足 | コード特化を示す明確な記載を取得できませんでした。 |
| 推論・数学 | 情報不足 | 推論特化を示す明確な記載を取得できませんでした。 |
| 日本語 | 情報不足 | 日本語対応を直接裏付ける情報を取得できませんでした。 |
| ツール利用・エージェント | 情報不足 | ツール利用を裏付ける明確な情報を取得できませんでした。 |
| 画像理解・マルチモーダル | 情報不足 | 画像入力対応を裏付ける明確な情報を取得できませんでした。 |
GGUFファイル
| 量子化 | ファイル | 容量 |
|---|---|---|
| IQ1_S | guru-32B.i1-IQ1_S.gguf | 6.8 GB |
| IQ1_M | guru-32B.i1-IQ1_M.gguf | 7.4 GB |
| IQ2_XXS | guru-32B.i1-IQ2_XXS.gguf | 8.4 GB |
| IQ2_XS | guru-32B.i1-IQ2_XS.gguf | 9.3 GB |
| IQ2_S | guru-32B.i1-IQ2_S.gguf | 9.7 GB |
| IQ2_M | guru-32B.i1-IQ2_M.gguf | 10.5 GB |
| Q2_K_S | guru-32B.i1-Q2_K_S.gguf | 10.7 GB |
| Q2_K | guru-32B.i1-Q2_K.gguf | 11.5 GB |
| IQ3_XXS | guru-32B.i1-IQ3_XXS.gguf | 12.0 GB |
| IQ3_XS | guru-32B.i1-IQ3_XS.gguf | 12.8 GB |
| Q3_K_S | guru-32B.i1-Q3_K_S.gguf | 13.4 GB |
| IQ3_S | guru-32B.i1-IQ3_S.gguf | 13.4 GB |
| IQ3_M | guru-32B.i1-IQ3_M.gguf | 13.8 GB |
| Q3_K_M | guru-32B.i1-Q3_K_M.gguf | 14.8 GB |
| Q3_K_L | guru-32B.i1-Q3_K_L.gguf | 16.1 GB |
| IQ4_XS | guru-32B.i1-IQ4_XS.gguf | 16.5 GB |
| Q4_0 | guru-32B.i1-Q4_0.gguf | 17.4 GB |
| Q4_K_S | guru-32B.i1-Q4_K_S.gguf | 17.5 GB |
| Q4_K_M | guru-32B.i1-Q4_K_M.gguf | 18.5 GB |
| Q4_1 | guru-32B.i1-Q4_1.gguf | 19.2 GB |
| Q5_K_S | guru-32B.i1-Q5_K_S.gguf | 21.1 GB |
| Q5_K_M | guru-32B.i1-Q5_K_M.gguf | 21.7 GB |
| Q6_K | guru-32B.i1-Q6_K.gguf | 25.0 GB |
発表・更新の内容
CC-BY-NC-4.0ライセンスで提供されており、推奨量子化はQ4_K_Mとなっています。Q4_K_M使用時のモデルファイルサイズは約18.49GiBであり、システムRAMは最低23.5GiB（推奨29.0GiB）、GPU VRAMは約22.5GiBの環境が想定されています。
タグ
GGUFHugging Facetransformersggufenbase_model:IFM/guru-32Blicense:cc-by-nc-4.0endpoints_compatibleregion:usimatrix
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。