はじめてのローカルLLM

「ローカルLLMに興味はあるけれど、モデル、GGUF、量子化、推論ランタイム……知らない言葉ばかり」という人向けの入門ページです。できるだけ専門用語を使わずに説明します。

最初にこれだけ
ローカルLLMは、インターネット上のAIサービスへ文章を送る代わりに、自分のPCの中でAIモデルを動かす使い方です。

LLMとは？

LLM（Large Language Model / 大規模言語モデル）は、大量の文章などから言葉のパターンを学習したAIです。質問への回答、文章作成、要約、翻訳、プログラミングなどを行えます。

かなり大ざっぱに例えるなら、LLMは「とても大量の文章を読んで、次にどんな言葉が来るかを予測するのが得意になった仕組み」です。

モデルは、AIが学習した結果をまとめた巨大なデータです。人間にたとえるなら「知識や考え方が入った脳」に近い存在です。

Googleが公開しているモデルファミリー。

Alibaba系のQwenチームが公開しているモデルファミリー。

Metaが公開しているオープンウェイトモデルファミリー。

同じシリーズでも「小さいモデル」「大きいモデル」「会話向け」「画像も読めるモデル」など、いくつもの種類があります。

モデル名にある 12B、27B、70B などのBは、Billion（10億）を表します。12Bなら約120億パラメータ、27Bなら約270億パラメータです。

一般には大きなモデルほど高性能になりやすい一方、必要なメモリも増えます。ただし最近はMoE（Mixture of Experts）という、巨大なモデルの一部だけを使って計算する方式もあるため、「総パラメータ数だけ」で重さを判断できない場合があります。

「推測ランタイム」ではなく、通常は推論（すいろん）ランタイムと呼びます。

モデルが「AIの脳」だとすると、推論ランタイムはその脳をPC上で実際に動かすエンジンです。

GGUFモデルをCPUやGPUで動かす代表的な推論エンジン。

モデルの取得や実行、API化を簡単に扱えるローカルLLM環境。

モデル検索・ダウンロード・チャット・ローカルAPIなどをGUIで扱いやすくしたアプリ。

高性能なLLMは、そのままだと非常に大きなメモリを必要とします。そこでモデルの数値表現を軽くして容量を減らすのが量子化です。

イメージとしては「巨大な高画質画像を、見た目をなるべく保ちながら圧縮する」ことに近いです。Q4、Q5、Q8、4bitなどの表記をよく見かけます。

強く圧縮するほど必要メモリは減りますが、精度が少し低下する場合があります。

GGUFは、llama.cpp系のランタイムで広く使われているモデルファイル形式です。ローカルLLMでは、量子化済みGGUFをダウンロードして使う方法がとても一般的です。

GPUに搭載されている高速な専用メモリ。モデルをGPUへ多く載せられるほど高速に動かしやすくなります。

PC本体のメモリ。VRAMへ収まりきらないモデルの一部をRAM側で扱う構成もあります。

初心者なら、最初は難しく考えなくても大丈夫です。

① LM Studioなどをインストール
↓
② 自分のPCで動かせるモデルを選ぶ
↓
③ ダウンロードしてチャットする

慣れてきたら、量子化方式、コンテキスト長、GPUオフロード、API、エージェントなどを少しずつ覚えていけば十分です。