モデルをダウンロードするとき何を選べばいい？
Hugging FaceやLM Studioでモデルを探すと、同じ名前なのにファイルが大量に並びます。このページでは「普通にチャットしたい人は結局どれを選ぶ？」という視点で説明します。
会話用途なら Instruct / Chat → WindowsやLinuxのLM StudioならまずGGUF → 量子化はQ4_K_M前後 → 自分のVRAM/RAMに余裕を残す。
モデル名を分解してみよう
Qwen3.8-27B-Instruct-Q4_K_M.ggufQwen3.8 = モデルのシリーズ
27B = パラメータ規模
Instruct = 指示・会話向け調整済み
Q4_K_M = 量子化方式
GGUF = ファイル形式
① BaseとInstruct / Chat
Instruct / Chat
普通に会話したいならこちら。質問への回答、指示追従、文章作成などがしやすいように調整されています。
Base
学習直後に近い基礎モデル。追加学習や研究用途では重要ですが、初心者の通常チャットにはInstruct版の方が扱いやすいことが多いです。
② GGUF / safetensors / MLX
GGUF
llama.cpp系で広く使われる形式。Windows/LinuxのLM Studioやllama.cppでローカルLLMを始めるときの定番です。
safetensors
元モデルやPyTorch/Transformers系でよく使われます。複数ファイルに分割される場合もあり、初心者がLM Studioで使うならGGUFの方が分かりやすいことが多いです。
MLX
Apple Silicon向け。LM StudioはMacでMLXモデルにも対応しています。
③ Q4_K_M、Q5_K_M、Q8_0は何が違う？
量子化が軽いほどファイルサイズとメモリ使用量を削減できますが、情報を圧縮するため品質が少し落ちる可能性があります。
| 量子化 | 特徴 | 初心者向け判断 |
|---|---|---|
| Q3系 | かなり軽い。メモリ節約を優先。 | どうしてもQ4が入らない場合。 |
| Q4_K_M | サイズと品質のバランスが良い定番。 | 迷ったらまず候補。 |
| Q5_K_M | Q4より大きいが、品質を少し重視。 | VRAM/RAMに余裕があるなら。 |
| Q6系 | さらに大きい。 | メモリに十分余裕がある場合。 |
| Q8_0 | かなり大きいが高精度。 | 小型モデルや大容量メモリ向け。 |
量子化方式はモデルや変換方法によって種類が異なります。「Q4_K_Mが全モデルで絶対に最良」という意味ではありません。
④ モデルサイズは「ファイルがVRAM以下」だけで決めない
推論にはモデル本体だけでなくKVキャッシュや計算用バッファも必要です。たとえばVRAM 16GBに15.8GBのモデルを入れようとすると、余裕不足でロードできない場合があります。
⑤ モデルカードを確認する
ダウンロード前に、開発元、対応言語、コンテキスト長、ライセンス、用途、必要なランタイムなどを確認します。
ダウンロード数が多い＝必ず自分に最適ではありません。公式モデルまたは信頼できる量子化配布元かどうかも確認しましょう。
⑥ マルチモーダルモデルは追加ファイルが必要な場合がある
画像を扱うモデルでは、手動運用時に画像エンコーダーやprojector相当の追加ファイルが必要になる場合があります。LM Studioの対応モデルではアプリ側が扱いやすくしていることもありますが、手動でllama.cppを使う場合はモデルカードを確認してください。
⑦ ライセンスも見る
「無料でダウンロードできる」ことと「何に使ってもよい」ことは別です。商用利用、再配布、派生モデル公開などの条件はモデルごとに異なります。
結局、初心者なら？
Instruct / Chat版
＋ GGUF
＋ Q4_K_M前後
＋ 自分のVRAMに余裕を持って収まるサイズ
LM Studioなら選択肢を絞りやすい
LM StudioのDiscoverではHugging Face上の対応モデルを検索でき、同じモデルの量子化違いも選べます。公式ドキュメントでも、可能なら4-bit以上を選ぶよう案内されています。