GGUF版「FINAL-Bench/POCKET-26B-GGUF」が公開、GemmaベースのMoEモデル
VIDRAFTのPOCKETファミリーより、GoogleのGemmaベースとみられるモデルを量子化した「FINAL-Bench/POCKET-26B-GGUF」が公開された。Apache-2.0ライセンスの下で提供され、llama.cppなどのローカル環境での実行に対応している。
Gemma系列のモデルをベースにしたMoE構成のオンデバイス向け量子化モデルであり、ローカル環境での実用的な推論検証に活用できます。
何が公開された？
Hugging Face上の「FINAL-Bench/POCKET-26B-GGUF」が更新されています。確認時点の指標は downloads=242,559、likes=61 です。
モデルの特徴
元モデルは google/gemma-4-26B-A4B-it。用途タグは text-generation。
量子化・ファイル構成
ファイル名から確認できた量子化方式は Q2_K, Q4_K_M。GGUFファイルは 2 件確認できました。
どんなPCなら使えそう？
確認できたGGUFのファイル容量は 10.4 GB〜15.6 GB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。
LM Studio / llama.cppで使える？
GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。
注意点
コンテキスト長をconfig/APIから確定できませんでした。
主な仕様
| モデルID | FINAL-Bench/POCKET-26B-GGUF |
|---|---|
| 配布者 | FINAL-Bench |
| 元モデル | google/gemma-4-26B-A4B-it |
| ライセンス | apache-2.0 |
| アーキテクチャ | 情報不足 |
| コンテキスト長 | 情報不足 |
| 用途タグ | text-generation |
| Downloads | 242,559 |
| Likes | 61 |
| 量子化 | Q2_K, Q4_K_M |
推奨量子化
一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。
| バランス重視 | Q4_K_M (15.6 GB) |
|---|---|
| 品質重視 | Q4_K_M (15.6 GB) |
| 省メモリ重視 | Q4_K_M (15.6 GB) |
必要メモリ目安
モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。
| 計算の基準となる量子化 | Q4_K_M |
|---|---|
| モデルファイル容量 | 15.64 GiB |
| 最低RAM目安 | 20.0 GiB |
| 推奨RAM目安 | 25.5 GiB |
| 全量GPUオフロード時のVRAM目安 | 19.0 GiB |
対応ランタイム
| ランタイム | 判定 | 根拠 |
|---|---|---|
| llama.cpp | 明示あり | モデルカードまたはタグにllama.cppに関する記載があります。 |
| LM Studio | 明示あり | モデルカードにLM Studioに関する記載があります。 |
| Ollama | 明示あり | モデルカードにOllamaに関する記載があります。 |
| KoboldCpp | 互換候補 | GGUF系ランタイムですが、アーキテクチャへの対応状況を確認する必要があります。 |
用途評価
| 用途 | 評価 | 根拠 |
|---|---|---|
| チャット | 高 | モデル名・タグ・モデルカードにチャット/Instruction系の手掛かりがあります。 |
| コーディング | 情報不足 | コード特化を示す明確な記載を取得できませんでした。 |
| 推論・数学 | 情報不足 | 推論特化を示す明確な記載を取得できませんでした。 |
| 日本語 | 情報不足 | 日本語対応を直接裏付ける情報を取得できませんでした。 |
| ツール利用・エージェント | 情報不足 | ツール利用を裏付ける明確な情報を取得できませんでした。 |
| 画像理解・マルチモーダル | 情報不足 | 画像入力対応を裏付ける明確な情報を取得できませんでした。 |
GGUFファイル
| 量子化 | ファイル | 容量 |
|---|---|---|
| Q2_K | POCKET-26B-Q2_K.gguf | 10.4 GB |
| Q4_K_M | POCKET-26B-Q4_K_M.gguf | 15.6 GB |
発表・更新の内容
ベースモデルにgoogle/gemma-4-26B-A4B-itを採用したGGUF形式のモデルです。Q2_KやQ4_K_Mなどの量子化版が用意されており、推奨量子化であるQ4_K_Mではモデルファイルサイズが約15.64 GiB、実行には最低20 GiB、推奨25.5 GiBのシステムRAMが見込まれています。ライセンスはApache-2.0です。
タグ
GGUFHugging Facellama.cppggufconversationalon-devicemobilekoreankorean-llmcpu
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。