NVIDIA Nemotron-3.5-Lightning-30BのGGUF版が公開
NVIDIAのNemotron-3.5-Lightning-30BをベースにしたGGUF形式の量子化モデルがHugging Faceに公開されました。研究再現性目的にて量子化されたものであり、Q2_KからQ8_0、BF16までの多様な量子化バリエーションが提供されています。
NVIDIAの主要モデルを手元のローカル環境で効率的に実行するための選択肢が広がります。多様な量子化フォーマットにより、ハードウェアリソースに応じた柔軟な運用が可能になります。
何が公開された？
Hugging Face上の「professorf/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-gguf」が更新されています。確認時点の指標は downloads=328、likes=0 です。
モデルの特徴
用途タグは text-generation。
量子化・ファイル構成
ファイル名から判別できた量子化は Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16。GGUFファイルは 8 件確認できました。
どんなPCなら使えそう？
確認できたGGUFのファイル容量は 17.4 GB〜61.3 GB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。
LM Studio / llama.cppで使える？
GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。
注意点
コンテキスト長をconfig/APIから確定できませんでした。
主な仕様
| モデルID | professorf/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-gguf |
|---|---|
| 配布者 | professorf |
| 元モデル | 情報不足 |
| ライセンス | other |
| アーキテクチャ | 情報不足 |
| コンテキスト長 | 情報不足 |
| 用途タグ | text-generation |
| Downloads | 328 |
| Likes | 0 |
| 量子化 | Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16 |
推奨量子化
一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。
| バランス重視 | Q4_K_M (23.7 GB) |
|---|---|
| 品質重視 | Q5_K_M (25.2 GB) |
| 省メモリ重視 | Q3_K_M (19.3 GB) |
必要メモリ目安
モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。
| 基準量子化 | Q4_K_M |
|---|---|
| モデルファイル容量 | 23.68 GiB |
| 最低RAM目安 | 29.5 GiB |
| 推奨RAM目安 | 36.0 GiB |
| フルGPUオフロード時VRAM目安 | 28.5 GiB |
対応ランタイム
| ランタイム | 判定 | 根拠 |
|---|---|---|
| llama.cpp | 有力候補 | GGUF形式のため候補になりますが、このアーキテクチャへの対応バージョン確認が必要です。 |
| LM Studio | 互換候補 | GGUFを扱えますが、新しいアーキテクチャではLM Studio側の対応確認が必要です。 |
| Ollama | インポート候補 | GGUFを取り込める場合がありますが、モデルアーキテクチャとテンプレートの対応確認が必要です。 |
| KoboldCpp | 互換候補 | GGUF系ランタイムですが、アーキテクチャ対応状況の確認が必要です。 |
| vLLM | 明示あり | モデルカードまたはタグ内に関連記載があります。 |
| Transformers | 明示あり | モデルカードまたはタグ内に関連記載があります。 |
| SGLang | 明示あり | モデルカードまたはタグ内に関連記載があります。 |
用途評価
| 用途 | 評価 | 根拠 |
|---|---|---|
| チャット | 高 | モデル名・タグ・モデルカードにチャット/Instruction系の手掛かりがあります。 |
| コーディング | 高 | コード生成・Coder系の記載があります。 |
| 推論・数学 | 高 | Reasoning/Thinking/Math系の記載があります。 |
| 日本語 | 高 | 日本語対応を示す記載があります。 |
| ツール利用・エージェント | 高 | Tool/Function CallingまたはAgent系の記載があります。 |
| 画像理解・マルチモーダル | 情報不足 | 画像入力対応を裏付ける明確な情報を取得できませんでした。 |
GGUFファイル
| 量子化 | ファイル | 容量 |
|---|---|---|
| Q2_K | NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-q2_k.gguf | 17.4 GB |
| Q3_K_M | NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-q3_k_m.gguf | 19.3 GB |
| NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4.gguf | 20.9 GB | |
| Q4_K_M | NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-q4_k_m.gguf | 23.7 GB |
| Q5_K_M | NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-q5_k_m.gguf | 25.2 GB |
| Q6_K | NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-q6_k.gguf | 32.5 GB |
| Q8_0 | NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-q8_0.gguf | 32.6 GB |
| BF16 | NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-f16.gguf | 61.3 GB |
発表・更新の内容
研究再現性を目的として量子化されたNVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-ggufが公開されました。Q2_K、Q3_K_M、Q4_K_M、Q5_K_M、Q6_K、Q8_0、BF16などの量子化モデルが含まれており、推奨されるQ4_K_M構成では約23.68GiBのファイルサイズとなります。システム要件として、最小約29.5GiB、推奨約36.0GiBのシステムRAMが見込まれています。
タグ
GGUFHugging Facetransformersggufnvidiapytorchnemotron-3.5text-generationenes
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。