ローカルLLM選定チェックリスト
新しいモデルが出るたびに乗り換える必要はありません。最初に用途と制約を決め、動作条件を満たす候補だけを比較すると、ダウンロード後の失敗を大きく減らせます。
最短の判断順
用途を決める → 実行できる容量へ絞る → 対応ランタイムを確認する → ライセンスと入力データの扱いを確認する → 小さい量子化で試す
用途を決める → 実行できる容量へ絞る → 対応ランタイムを確認する → ライセンスと入力データの扱いを確認する → 小さい量子化で試す
1. 何に使うかを一つ決める
文章・要約
日本語品質、指示追従、コンテキスト長を優先。画像機能が不要ならテキスト専用モデルも有力です。
コード
対応言語、補完かエージェントか、ツール呼び出しの有無を確認します。
画像理解
本体だけでなくmmproj等の追加ファイル、対応ランタイム、画像入力時のメモリも確認します。
社内・個人データ
完全オフラインで動くか、ログや外部API送信がないか、利用規約と設定を確認します。
2. モデル本体がメモリへ収まるか
GGUFファイル容量は出発点です。実行時にはKVキャッシュ、コンテキスト、ランタイム、画像プロジェクタなどの追加メモリが必要です。ファイルがVRAMと同じ容量だからといって、そのまま全量GPUへ載るとは限りません。
| 確認項目 | 見る場所 | 判断 |
|---|---|---|
| 量子化ファイル容量 | モデルカードのFiles | RAM/VRAMへ余裕を残して収まる候補を選ぶ |
| コンテキスト長 | config・モデルカード | 最大値ではなく普段必要な長さで見積もる |
| MoEの総容量 | 総パラメータとactive parameter | 計算量が軽くても、重みの保存容量は大きい場合がある |
| マルチモーダル追加ファイル | mmproj等 | 本体以外の容量と互換性も足す |
3. 量子化はQ4付近から試す
初回はQ4_K_Mなど、容量と品質のバランスを取りやすい量子化から始めるのが一般的です。メモリに余裕があればQ5やQ6、厳しければIQ系やQ3を比較します。同じビット数でも方式やモデルによって品質差があるため、名称だけで優劣を断定しません。
4. 対応ランタイムを先に確認する
新しいアーキテクチャや量子化形式は、モデルファイルが公開されていても手元のOllama、LM Studio、llama.cppでまだ動かない場合があります。モデルカードの実行例と、ランタイム側のリリースノートを両方確認してください。
5. ライセンスを用途と照合する
- 商用利用できるか
- 再配布、派生モデル、ホスティングに条件があるか
- モデル独自ライセンスと、ベースモデルの条件が一致しているか
- 入力・出力の利用条件や禁止用途があるか
「open」「community」「公開ウェイト」は、必ずしもOSI準拠のオープンソースや無条件の商用利用を意味しません。
6. 最初の試験を小さくする
- 短いプロンプトで読み込みと日本語出力を確認する
- 普段使う長さで速度とメモリを確認する
- 同じ質問を複数回試し、品質のばらつきを見る
- 機密データを入れる前に、外部通信とログ設定を確認する
- 問題がなければ高品質量子化や長いコンテキストへ広げる
最終確認
ダウンロード前に確認できましたか？
目的／ファイル容量／追加メモリ／量子化／ランタイム／ライセンス／外部通信。この7項目に答えられないモデルは、いったん保留して一次情報を確認するのが安全です。
目的／ファイル容量／追加メモリ／量子化／ランタイム／ライセンス／外部通信。この7項目に答えられないモデルは、いったん保留して一次情報を確認するのが安全です。