NVIDIA Nemotron-3.5 ASR Streaming 0.6BのGGUF版が公開
NVIDIAの音声認識モデル「nemotron-3.5-asr-streaming-0.6b」のGGUF量子化モデルが公開されました。トランスクリプション向けの軽量なストリーミング音声認識に対応しています。
ローカル環境での音声認識処理において、軽量なモデルをGGUF形式で効率的に実行できるようになります。対応言語も多数含まれており、多言語の音声文字起こし用途での活用が期待されます。
何が公開された？
Hugging Face上の「handy-computer/nemotron-3.5-asr-streaming-0.6b-gguf」が更新されています。確認時点の指標は downloads=1,806,896、likes=10 です。
モデルの特徴
元モデルは nvidia/nemotron-3.5-asr-streaming-0.6b。用途タグは automatic-speech-recognition。
量子化・ファイル構成
ファイル名から判別できた量子化は Q4_K_M, Q5_K_M, Q6_K, Q8_0, F16, F32。GGUFファイルは 6 件確認できました。
どんなPCなら使えそう？
確認できたGGUFのファイル容量は 472.9 MB〜2.4 GB。実際の推論ではKVキャッシュ等も必要なため、VRAM/RAMには追加の余裕が必要です。
LM Studio / llama.cppで使える？
GGUF形式はllama.cpp系ランタイムで利用されます。ただし新しいアーキテクチャではランタイム側の対応が必要なため、LM Studio / llama.cppの対応状況を確認してください。
注意点
コンテキスト長をconfig/APIから確定できませんでした。
主な仕様
| モデルID | handy-computer/nemotron-3.5-asr-streaming-0.6b-gguf |
|---|---|
| 配布者 | handy-computer |
| 元モデル | nvidia/nemotron-3.5-asr-streaming-0.6b |
| ライセンス | other |
| アーキテクチャ | 情報不足 |
| コンテキスト長 | 情報不足 |
| 用途タグ | automatic-speech-recognition |
| Downloads | 1,806,896 |
| Likes | 10 |
| 量子化 | Q4_K_M, Q5_K_M, Q6_K, Q8_0, F16, F32 |
推奨量子化
一般的なGGUF選択の目安であり、モデル固有の品質保証ではありません。
| バランス重視 | Q4_K_M (472.9 MB) |
|---|---|
| 品質重視 | Q5_K_M (533.7 MB) |
| 省メモリ重視 | Q4_K_M (472.9 MB) |
必要メモリ目安
モデルファイル容量を基準にした概算です。コンテキスト長などで必要量は変わります。
| 基準量子化 | Q4_K_M |
|---|---|
| モデルファイル容量 | 0.46 GiB |
| 最低RAM目安 | 3.0 GiB |
| 推奨RAM目安 | 5.0 GiB |
| フルGPUオフロード時VRAM目安 | 2.0 GiB |
対応ランタイム
| ランタイム | 判定 | 根拠 |
|---|---|---|
| llama.cpp | 有力候補 | GGUF形式のため候補になりますが、このアーキテクチャへの対応バージョン確認が必要です。 |
| LM Studio | 互換候補 | GGUFを扱えますが、新しいアーキテクチャではLM Studio側の対応確認が必要です。 |
| Ollama | インポート候補 | GGUFを取り込める場合がありますが、モデルアーキテクチャとテンプレートの対応確認が必要です。 |
| KoboldCpp | 互換候補 | GGUF系ランタイムですが、アーキテクチャ対応状況の確認が必要です。 |
用途評価
| 用途 | 評価 | 根拠 |
|---|---|---|
| チャット | 情報不足 | 対話用途を裏付ける明確な情報を取得できませんでした。 |
| コーディング | 高 | コード生成・Coder系の記載があります。 |
| 推論・数学 | 情報不足 | 推論特化を示す明確な記載を取得できませんでした。 |
| 日本語 | 中 | 多言語対応の記載はありますが、日本語品質は個別確認が必要です。 |
| ツール利用・エージェント | 情報不足 | ツール利用を裏付ける明確な情報を取得できませんでした。 |
| 画像理解・マルチモーダル | 情報不足 | 画像入力対応を裏付ける明確な情報を取得できませんでした。 |
GGUFファイル
| 量子化 | ファイル | 容量 |
|---|---|---|
| Q4_K_M | nemotron-3.5-asr-streaming-0.6b-Q4_K_M.gguf | 472.9 MB |
| Q5_K_M | nemotron-3.5-asr-streaming-0.6b-Q5_K_M.gguf | 533.7 MB |
| Q6_K | nemotron-3.5-asr-streaming-0.6b-Q6_K.gguf | 592.6 MB |
| Q8_0 | nemotron-3.5-asr-streaming-0.6b-Q8_0.gguf | 716.3 MB |
| F16 | nemotron-3.5-asr-streaming-0.6b-F16.gguf | 1.2 GB |
| F32 | nemotron-3.5-asr-streaming-0.6b-F32.gguf | 2.4 GB |
発表・更新の内容
handy-computer氏により、nvidia/nemotron-3.5-asr-streaming-0.6bをベースとしたGGUF量子化モデルが公開されました。Q4_K_MやQ5_K_Mなどの量子化バリエーションが用意されており、transcribe.cppライブラリおよび自動音声認識パイプラインに対応しています。多言語の音声処理をローカル環境で効率的に実行するための選択肢となります。
タグ
GGUFHugging Facetranscribe.cppggufasrspeech-to-textparakeetconformerrnntstreaming
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。