H2O Lightning 4B GGUFが公開、決定モデルのローカル推論に対応
H2O Lightning 4BのGGUF版がHugging Faceに公開されました。決定モデルとしての機能やllama.cppの拡張機能を利用した推論に対応しています。
軽量な決定モデル（decision-model）をローカル環境で検証・実行したい開発者にとって有用な選択肢となります。
何が公開された？
Hugging Face上の「h2oai/h2o-lightning-4b-gguf」が更新されています。確認時点の指標は downloads=2,787、likes=14 です。
モデルの特徴
元モデルは h2oai/h2o-lightning-4b。
量子化・ファイル構成
ファイル名から判別できた量子化は F16, IQ1, IQ2, IQ3, Q4, Q5, Q8_0, BF16。GGUFファイルは 13 件確認できました。
どんなPCなら使えそう？
確認できたGGUFのファイル容量は 641.3 MB〜7.8 GB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。
LM Studio / llama.cppで使える？
GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。
注意点
コンテキスト長をconfig/APIから確定できませんでした。
主な仕様
| モデルID | h2oai/h2o-lightning-4b-gguf |
|---|---|
| 配布者 | h2oai |
| 元モデル | h2oai/h2o-lightning-4b |
| ライセンス | apache-2.0 |
| アーキテクチャ | 情報不足 |
| コンテキスト長 | 情報不足 |
| 用途タグ | 情報不足 |
| Downloads | 2,787 |
| Likes | 14 |
| 量子化 | F16, IQ1, IQ2, IQ3, Q4, Q5, Q8_0, BF16 |
推奨量子化
一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。
| バランス重視 | 情報不足 |
|---|---|
| 品質重視 | Q8_0 (8.3 GB) |
| 省メモリ重視 | 情報不足 |
必要メモリ目安
モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。
| 基準量子化 | Q8_0 |
|---|---|
| モデルファイル容量 | 8.35 GiB |
| 最低RAM目安 | 12.0 GiB |
| 推奨RAM目安 | 15.5 GiB |
| フルGPUオフロード時VRAM目安 | 11.0 GiB |
対応ランタイム
| ランタイム | 判定 | 根拠 |
|---|---|---|
| llama.cpp | 明示あり | モデルカードまたはタグ内にllama.cpp関連記載があります。 |
| LM Studio | 互換候補 | GGUFを扱えますが、新しいアーキテクチャではLM Studio側の対応確認が必要です。 |
| Ollama | インポート候補 | GGUFを取り込める場合がありますが、モデルアーキテクチャとテンプレートの対応確認が必要です。 |
| KoboldCpp | 互換候補 | GGUF系ランタイムですが、アーキテクチャ対応状況の確認が必要です。 |
| vLLM | 明示あり | モデルカードまたはタグ内に関連記載があります。 |
用途評価
| 用途 | 評価 | 根拠 |
|---|---|---|
| チャット | 高 | モデル名・タグ・モデルカードにチャット/Instruction系の手掛かりがあります。 |
| コーディング | 情報不足 | コード特化を示す明確な記載を取得できませんでした。 |
| 推論・数学 | 情報不足 | 推論特化を示す明確な記載を取得できませんでした。 |
| 日本語 | 情報不足 | 日本語対応を直接裏付ける情報を取得できませんでした。 |
| ツール利用・エージェント | 情報不足 | ツール利用を裏付ける明確な情報を取得できませんでした。 |
| 画像理解・マルチモーダル | 高 | Vision/Multimodal系の記載があります。 |
GGUFファイル
| 量子化 | ファイル | 容量 |
|---|---|---|
| F16 | mmproj-lightning-f16.gguf | 641.3 MB |
| IQ1 | h2o-lightning-4b-stock-experimental-IQ1M.gguf | 1.3 GB |
| IQ2 | h2o-lightning-4b-stock-experimental-IQ2XXS.gguf | 1.4 GB |
| IQ3 | h2o-lightning-4b-stock-experimental-IQ3XXS.gguf | 1.8 GB |
| IQ3 | h2o-lightning-4b-stock-experimental-mixed-IQ3XXS.gguf | 2.0 GB |
| Q4 | h2o-lightning-4b-stock-experimental-Q4KM.gguf | 2.5 GB |
| Q5 | h2o-lightning-4b-stock-experimental-Q5KM.gguf | 2.9 GB |
| Q4 | h2o-lightning-4b-stock-experimental-Q4KM-BF16embed.gguf | 3.2 GB |
| Q5 | h2o-lightning-4b-stock-experimental-Q5KM-BF16embed.gguf | 3.6 GB |
| Q8_0 | h2o-lightning-4b-stock-Q8_0.gguf | 4.2 GB |
| Q8_0 | h2o-lightning-4b-Q8_0.gguf | 4.2 GB |
| BF16 | h2o-lightning-4b-stock-BF16.gguf | 7.8 GB |
| BF16 | h2o-lightning-4b-BF16.gguf | 7.8 GB |
発表・更新の内容
本モデルは確率付きの型付き決定（typed decisions）を出力するアーキテクチャを採用しています。利用にはllama.cpp側の対応PR（#30361など）が必要な場合があり、通常のテキスト生成とは異なるシステム要件やランタイム設定を確認した上で導入する必要があります。
タグ
GGUFHugging Facellama-cppggufjevtyped-decisionsdecision-modellicense:apache-2.0endpoints_compatibleregion:us
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。