ローカルLLM用語集
ローカルLLMの記事やモデル配布ページを見ていると、知らない言葉が次々に出てきます。このページでは「厳密な論文の定義」よりも、実際にローカルLLMを使うとき何を意味するのかを優先して説明します。
サイト上部の検索欄に「GGUF」「KVキャッシュ」「MoE」のように入力すると、この用語集も検索対象になります。
AI・LLMの基本
AI Artificial Intelligence / 人工知能
人間が行う判断、認識、文章生成などをコンピューターで行わせる技術の総称です。LLMはAIの一種です。
LLM Large Language Model / 大規模言語モデル
大量の文章などを学習し、文章生成、質問回答、要約、翻訳、コード生成などを行うAIモデルです。
モデル
AIが学習した結果を保存したデータです。ローカルLLMでは、Gemma、Qwen、Llamaなどの「モデル」をPCへダウンロードして使います。
パラメータ
モデルが学習によって調整した大量の数値です。モデル名の「12B」「27B」などはパラメータ規模を示します。
B Billion
10億を表します。12Bなら約120億、27Bなら約270億パラメータです。
トークン
LLMが文章を処理するときの細かな単位です。日本語では1文字＝1トークンとは限らず、単語や文字の一部に分割されます。
トークナイザー
文章をトークンへ分解したり、トークンを文章へ戻したりする仕組みです。モデルごとに方式が異なる場合があります。
コンテキスト長 Context Length / Context Window
モデルが一度の会話や処理で参照できるトークン量の上限です。長いほど大量の文章を扱えますが、メモリ使用量も増えやすくなります。
Open Weight / オープンウェイト
学習済みモデルの重みをダウンロードできる形で公開することです。「オープンウェイト」と「完全なオープンソース」は同じ意味ではありません。
ライセンス
モデルをどのような条件で利用・改変・再配布できるかを定めた規約です。商用利用できるかどうかもモデルごとに異なります。
モデル構造
Denseモデル
推論時に基本的にモデル全体のパラメータを使う一般的な構造です。12B Denseなら、おおむね12B規模全体を使って計算します。
MoE Mixture of Experts
巨大なモデルを複数の「専門家（Expert）」に分け、入力ごとに一部だけを動かす構造です。たとえば「30B total / 3B active」なら、重み全体は30B級でも1トークンの計算で使う部分は約3Bです。
Expert / エキスパート
MoEモデル内部にある複数の専門ネットワークです。毎回すべてを使うのではなく、必要なExpertが選択されます。
Active Parameters / アクティブパラメータ
MoEモデルが1トークンを処理するとき実際に使うパラメータ規模です。ただし、モデルの全重みを保存・ロードするためのメモリは別途必要です。
マルチモーダル
文章だけでなく、画像、音声、動画など複数種類の情報を扱えるモデルや仕組みです。
MTP Multi-Token Prediction
次の1トークンだけではなく、複数の将来トークンを予測する仕組みです。推論高速化やSpeculative Decodingと組み合わせられる場合があります。
Embedding / 埋め込み
文章などを数値ベクトルへ変換したものです。意味の近さを比較できるため、文書検索やRAGでよく使われます。
モデルファイル・量子化
GGUF
llama.cpp系で広く使われているモデルファイル形式です。量子化済みモデルの配布で非常によく見かけます。
safetensors
Hugging Faceなどで広く使われるモデル重みの保存形式です。元モデルやGPUサーバー向け配布でよく使われます。
量子化 Quantization
モデルの数値を低い精度で保存・計算し、ファイル容量と必要メモリを減らす技術です。ローカルLLMを家庭用PCで動かすうえで特に重要です。
Q4 / Q5 / Q6 / Q8
GGUFでよく見る量子化の大まかな精度区分です。数字が小さいほど軽くなりやすく、数字が大きいほど容量は増えますが品質を保ちやすくなります。迷ったらQ4〜Q5が定番です。
INT4 / INT8
4bit整数、8bit整数などを使う量子化表現です。INT4は特に大きくメモリを削減できます。
FP16 / BF16
16bit浮動小数点形式です。量子化版より大きい一方、学習済みモデルの高い精度を保ちやすく、GPUサーバーや高VRAM環境でよく使われます。
FP8
8bit浮動小数点形式です。対応GPUではメモリ削減と高速化を狙えますが、ハードウェアやランタイム側の対応が必要です。
AWQ / GPTQ / EXL2
主にGPU推論で使われる量子化方式・形式です。GGUF以外にも、目的やランタイムに応じてさまざまな量子化方式があります。
推論・ハードウェア
推論 Inference
学習済みモデルを使って実際に回答を生成する処理です。モデルをPCでチャットに使うのも推論です。
推論ランタイム
モデルを実際にCPU/GPUで動かすソフトウェア部分です。llama.cppなどが代表例です。
llama.cpp
CPUやさまざまなGPUでLLMを実行できる代表的なオープンソース推論エンジンです。GGUF形式の中心的なランタイムです。
LM Studio
モデル検索、ダウンロード、チャット、設定、ローカルAPIサーバーなどをGUIで扱えるアプリです。初心者がローカルLLMを始める方法の一つです。
Ollama
ローカルモデルを簡単なコマンドで取得・実行し、APIとして利用できる環境です。開発ツールとの連携でもよく使われます。
VRAM
GPUに搭載された専用メモリです。ローカルLLMでは「どのサイズのモデルをどのくらいGPUへ載せられるか」を決める重要な要素です。
RAM
PC本体のメモリです。VRAMに収まりきらないモデルをCPU側へ置くときやCPU推論で重要になります。
GPUオフロード
モデルの全部または一部をGPUへ載せて計算させることです。VRAMに入りきらない部分をRAM/CPU側へ残す構成もできます。
KVキャッシュ KV Cache
過去のトークンを効率よく参照するために保存するデータです。コンテキスト長を増やすほど大きくなり、VRAM/RAM使用量へ影響します。
Flash Attention
Attention計算を効率化し、速度やメモリ使用量を改善する技術です。モデル、GPU、ランタイムによって対応状況が異なります。
CUDA
NVIDIA GPU向けの計算プラットフォームです。NVIDIA製GPUでローカルLLMを高速化する際によく使われます。
ROCm
AMD GPU向けのGPU計算プラットフォームです。
Vulkan
さまざまなGPUで利用できる低レベルのグラフィックス・計算APIです。llama.cppなどで推論バックエンドとして利用されることがあります。
Metal
Apple製デバイス向けのGPU計算・グラフィックスAPIです。Apple Silicon MacでのローカルLLM高速化に使われます。
プロンプト・生成設定
Prompt / プロンプト
モデルへ渡す指示や質問です。「この文章を要約して」のような入力全体を指します。
System Prompt / システムプロンプト
会話の基本ルールや役割をモデルへ伝える特別な指示です。通常のユーザー入力より前に適用されます。
Temperature
出力のランダムさを調整する設定です。低いほど安定し、高いほど多様な表現が出やすくなります。
Top P
次のトークン候補を確率の合計で絞るサンプリング設定です。Temperatureと合わせて出力傾向を調整します。
Seed / シード
乱数の初期値です。同じモデル・設定・実装でSeedを固定すると、出力を再現しやすくなる場合があります。
Speculative Decoding
小さな補助モデルなどで複数トークンを先読みし、大きなモデルがまとめて確認することで生成を高速化する手法です。
機能・エージェント
Tool Calling / Function Calling
LLMが「この関数・ツールを使うべき」と判断し、外部プログラムへ構造化された指示を出す機能です。
Agent / エージェント
LLMが目標に向けて計画し、必要に応じて検索、コード実行、ファイル操作などのツールを使いながら複数ステップで作業する仕組みです。
RAG Retrieval-Augmented Generation
回答前に外部文書を検索し、その情報をLLMへ渡して回答させる方法です。社内文書や個人資料を扱う用途でよく使われます。
Fine-tuning / ファインチューニング
既存モデルを追加データで再学習し、特定分野や出力傾向へ適応させることです。
LoRA
モデル本体すべてを再学習せず、小さな追加パラメータだけを学習する効率的なファインチューニング手法です。