ローカルLLMの始め方

基準日: 2026-08-26

ローカルLLMを初めて使う人向けに、「何を入れて、何をダウンロードして、どこを押せば会話できるのか」を順番に説明します。ここではGUIで分かりやすいLM Studioを例にします。

最短ルート
① LM Studioを入れる → ② 自分のPCに合うモデルを選ぶ → ③ Q4前後をダウンロード → ④ モデルをロード → ⑤ Chatで話しかける

0. まず「ローカルLLM」とは？

ChatGPTなどのクラウドAIとは違い、モデルファイルを自分のPCへ保存し、自分のCPU/GPU/RAMを使ってAIを動かします。モデルを取得した後は、構成によってはインターネットへ文章を送らずに使えます。

まだ「モデル」「GGUF」「量子化」が分からなくても大丈夫です。先に実際に動かしてから覚えても問題ありません。

WindowsでNVIDIA GPUを使っているなら、まずVRAM容量を確認しましょう。タスクマネージャー → パフォーマンス → GPUで確認できます。

LM Studio公式ではWindows x64環境でAVX2対応CPUが必要で、RAM 16GB以上、専用VRAM 4GB以上が推奨されています。MacはApple Siliconが対象です。

LM Studio公式サイトからWindows / macOS / Linux版を入手してインストールします。初回起動後は、モデルを探すためのDiscover画面を使います。

Discoverでモデル名を検索します。たとえばGemma、Qwen、gpt-ossなどです。最初は「一番強い巨大モデル」より、自分のメモリに余裕を持って収まるモデルを選ぶ方が快適です。

7B〜12B前後のQ4から始めると扱いやすいです。

12B〜20B級が選択肢。モデル構造や量子化によってはさらに大きいモデルもRAM併用で使えます。

20B〜32B級Q4など、大型モデルの選択肢がかなり広がります。

同じモデル名でも、Q4_K_M、Q5_K_M、Q8_0など複数のダウンロード候補が出ることがあります。

LM Studio公式は、PCに余裕があるなら4-bit以上の選択肢を推奨しています。初心者ならまずQ4_K_M前後を基準にすると、容量と品質のバランスを取りやすいです。

ダウンロードが終わったらChat画面を開き、モデルローダーからモデルを選びます。「ロード」はモデルをRAMやVRAMへ配置して、実際に推論できる状態にすることです。

最初はコンテキスト長を4K〜8K程度にしておくと、メモリ不足を起こしにくくなります。GPU offloadはLM Studioの自動設定から始めて構いません。

ロードできたらChat欄へ普通に質問を書くだけです。

最初のテスト例
「こんにちは。あなたができることを日本語で3つ教えてください。」

「この文章を100文字以内で要約してください。」

「Pythonで1から100まで足し算するコードを書いてください。」

モデル比較から、自分の用途に合うモデルを探します。

Q4→Q5や、より大きなモデルへ少しずつ広げます。

LM StudioはローカルAPIサーバーやOpenAI互換エンドポイントも提供しています。

モデルがロードできない、生成が遅い、GPUを使わないといった問題は珍しくありません。