H2O Lightning 4B GGUFが公開、決定モデルのローカル推論に対応
H2O Lightning 4BのGGUF版がHugging Faceに公開されました。決定モデルとしての機能やllama.cppの拡張機能を利用した推論に対応しています。
重要度 高モデルGGUFHugging Facellama-cppggufjev調査・編集方針
Local LLM Wikiが情報を選び、確認し、記事として公開するまでの基準と、AI利用・訂正・検証範囲を説明します。
記事一覧
常設の解説記事と、一次情報を確認して公開基準を満たした新着記事をまとめています。
現在の掲載数
常設解説ページ: 11件
公開中の新着記事: 51件
常設解説ページ: 11件
公開中の新着記事: 51件
全62件
常設解説記事
ローカルLLM選定チェックリスト
話題性やパラメータ数だけで選ばず、目的、メモリ、量子化、ランタイム、ライセンス、安全性の順に候補を絞る実践的な確認表です。
ローカルLLM用語集
GGUF、MoE、KVキャッシュ、GPUオフロード、コンテキスト長など、ローカルLLMでよく見る言葉を初心者向けにまとめた用語集です。
主要ローカルLLMモデル比較
Gemma 4、Qwen3.8、gpt-oss、Nemotron、Llama 4、Mistral Small 4、DeepSeek V4、MiniMax M2.1、Kimi K2.5を用途や規模で比較します。
自分のPCでどのモデルが動く？
GPUのVRAMやPCのRAMから、ローカルLLMで現実的に動かしやすいモデルサイズと量子化の目安を初心者向けに説明します。
ローカルLLMの始め方
LM Studioを例に、インストール、モデル選び、ダウンロード、ロード、最初のチャットまでを初心者向けに順番に説明します。
モデルをダウンロードするとき何を選べばいい？
InstructとBase、GGUFとsafetensors、Q4_K_MやQ5_K_Mなど、モデル配布ページで何を選べばいいかを初心者向けに説明します。
ローカルLLM トラブルシューティング
モデルがロードできない、VRAM不足、生成が遅い、GPUを使わない、変な回答が出る、APIにつながらない場合の確認ポイントを症状別にまとめます。
はじめてのローカルLLM
LLM、モデル、推論ランタイム、量子化、VRAMなどを、AIに詳しくない人向けにやさしく説明します。
主要ローカルLLMモデル
2026年8月時点で注目されている主要なオープンウェイト／ローカルLLMモデルを初心者向けに紹介します。
このサイトについて
Local LLM Wikiの目的、自動更新の仕組み、編集方針、AI要約の扱いについて説明します。
新着記事
Laguna-XS-2.1 APEX GGUFモデルが公開、MoEモデルの量子化に対応
大規模なMoE構造を持つLaguna-XS-2.1のAPEXおよび標準GGUF量子化モデルが公開されました。動的・バンド認識型のビット割り当てによる効率的な量子化が行われています。
重要度 高モデルGGUFHugging FaceggufmoeapexAnthropic、フロンティアAIモデルの安全性評価で外部機関への従業員レベルのアクセス提供を発表
Anthropicは、モデルの安全性やリスク評価の透明性を高めるため、非営利組織のMETRをはじめとする外部評価チームに対し、自社モデルへの従業員レベルの深いアクセスを提供開始すると発表した。
重要度 高新技術・業界動向AnthropicAI業界動向公式発表Ollama v0.40.5リリース：NVIDIA Nemotron 3.5 Super等の対応とクラウド機能の拡充
Ollamaは最新バージョンv0.40.5を公開し、ビジョン・言語モデルのNVIDIA Nemotron 3.5 SuperおよびBoltへの対応や、クラウド経由の意思決定モデル利用機能などを追加した。
重要度 高フロントエンド・ランタイムOllamaGitHub ReleaseVisionTool CallingContextApple Silicon向けMLX形式の量子化済みモデル「Ternary-Bonsai-2-27B」派生版が公開
Apple Siliconで動作するMLX形式の2bit量子化モデル「3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit」が公開されました。バイナリサイズは約8.60GBとなっており、Apple製デバイスでの効率的なローカル推論をサポートします。
重要度 高モデルGGUFHugging Facemlxsafetensorsprism_hadamard_qwen35自己推論ヘッドをバンドルしたGGUF版「Ternary-Bonsai-2-27B-MTP-GGUF」が公開
NextN/MTP（Multi-Token Prediction）のドラフトヘッドを同梱したGGUF形式のモデル「ManniX-ITA/Ternary-Bonsai-2-27B-MTP-GGUF」が公開されました。追加のファイルや外部のドラフターを用意せず、単一ファイルで自己推論（スペキュレイティブ・デコーディング）を行います。
重要度 高モデルGGUFHugging FaceggufternarymtpHugging Face：nesoai/Ternary-Bonsai-2-27B-gguf
Qwen3.8-27Bをベースとした3値化（ternary）モデルのGGUF版が公開されました。llama.cppなどを通じてオンデバイスでの実行が可能です。
重要度 高モデルGGUFHugging Facellama.cppggufternaryQwen3.8ベースの非検閲版GGUFモデル「Huihui-Qwen3.8-Flash-Next-abliterated-GGUF」が公開
Qwen/Qwen3.8-Flash-Nextをベースに、アブリレーション処理（拒絶反応の除去）を施した非検閲版のGGUFモデルがHugging Faceで公開された。BF16から各種量子化フォーマット（IQ4_XSなど）に対応している。
重要度 高モデルGGUFHugging Facetransformersggufabliterated27Bパラメータで262kコンテキストをサポートする「Ternary-Bonsai-2-27B-262k-GGUF」が登場
PrismMLのTernary Bonsai 2 27Bをベースに、MTPドラフトヘッドを組み込んで長大なコンテキスト長に対応させたGGUF形式の量子化モデルが公開された。12GBのVRAMを搭載した単一のGPUでも効率的な動作を実現する。
重要度 高モデルGGUFHugging Faceggufllama.cppqwen3_5Anthropic、高速・低コストな小型モデル「Claude Haiku 5.5」を発表
Anthropicは、要約やサブエージェント、ブラウザ操作などの高負荷タスク向けに設計された最速・最小モデル「Claude Haiku 5.5」を発表した。前モデルと比較してコストが平均約75%削減されているほか、Sonnet 5.5のキャッシュ読み取り価格引き下げなども同時に行われている。
重要度 高新技術・業界動向AnthropicAI業界動向公式発表Anthropic、サイバーセキュリティ専門家向け「サイバー検証プログラム（CVP）」を拡充
Anthropicは、資格を持つセキュリティ専門家を対象に高度なサイバーセキュリティ機能と緩和されたブロック機能を提供する「Cyber Verification Program (CVP)」の拡充を発表しました。Claude Opus 5.5などの最高性能モデルへのアクセスが3つのティアで提供されます。
重要度 中新技術・業界動向AnthropicAI業界動向公式発表Tool CallingMistral AI、オープンウェイトの最大規模モデル「Mistral Large 4」のパブリックプレビューを発表
Mistral AIは、総パラメータ数1兆・アクティブパラメータ数490億を持つネイティブマルチモーダルモデル「Mistral Large 4」のプレビュー版を公開しました。コード生成やエージェント処理で優れた性能を示し、オープンウェイトモデルとして月末に重みの一般公開が予定されています。
重要度 高新技術・業界動向Mistral AIAI業界動向公式発表マルチモーダルllama.cpp v0.6.0リリース：拡張バッチAPIや新モデル・意思決定モデル対応を実装
llama.cpp v0.6.0がリリースされ、混合トークン/埋め込み入力用の新しい拡張バッチAPI「llama_batch_ext」の追加や、GLM-5.3-Flashなどの新モデルサポート、意思決定モデル向けのサーバーAPI実装が行われました。
重要度 高推論ランタイムllama.cppGitHub ReleaseVulkanMetal量子化HybridRMD、27Bパラメータの知識蒸留モデル「Ternary-Bonsai-2-27B-Heretic-Satellite」を公開
HybridRMDは、コンテキスト管理や対話に特化した27Bパラメータのモデル「Ternary-Bonsai-2-27B-Heretic-Satellite」を公開しました。Qwen3.5系をベースアーキテクチャとし、Layaモデルの知識蒸留によって作成されています。
重要度 高モデルGGUFHugging FacetransformerssafetensorsggufGLM-5.3-Flashの非検閲版GGUF「huihui-ai/GLM-5.3-Flash-abliterated-GGUF」が公開
zai-orgのGLM-5.3-Flashをベースに、アブリレーション技術を用いて拒絶応答を削除した非検閲版のGGUFモデルが公開されました。IQ1_SからBF16までの多様な量子化フォーマットが用意されています。
重要度 高モデルGGUFHugging FacetransformersggufabliteratedTernary Bonsai 2 27BのPTQ1_0量子化モデルにMTPヘッドを統合したGGUFが公開
PrismMLが提供する三値量子化されたTernary Bonsai 2 27Bモデルに対し、Qwen 3.8 27Bのマルチトークン予測（MTP）ヘッドを組み込んだGGUFファイルが公開されました。llama.cppの独自フォーク環境での高速な推論が期待できます。
重要度 高モデルGGUFHugging Facellama.cppggufqwen3_5LiquidAIベースの派生GGUFモデル「LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF」公開
LiquidAIのLFM2.5-2.6Bをベースにし、多様な推論・指示モードやTurbo Brillianceシステムを統合した派生GGUFモデルがHugging Faceに登場しました。IQ4_XSやQ3などの量子化版が提供されており、ローカル環境での実行検証が行われています。
重要度 中モデルGGUFHugging Faceggufliquidlfm2.5Qwen3.8-27Bの3bit量子化モデル向けドラフトモデル「Qwen3.8-27B-DFlash2-ternary-bonsai2」公開
Ternary-Bonsai-2-27Bなどの2bit/3bit量子化モデル向けに最適化された、DFlash2アーキテクチャ採用のドラフトモデルが公開されました。推測デコード（Speculative Decoding）によるローカル環境での高速化を目的としています。
重要度 中モデルGGUFHugging FacemlxsafetensorsggufHugging Face：Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-GGUFが公開
Prism-MLの三値量子化モデルをベースに、拒絶応答を無効化（アブレーション）したGGUF版モデルが公開されました。マルチトークン予測（MTP）ヘッドをオプションで追加し、推論の高速化を実現しています。
重要度 高モデルGGUFHugging Faceggufqwen3_5ternaryOpenAI、フロンティアAIモデルの独立した第三者評価に関する優先順位と原則を公表
OpenAIは、フロンティアAIモデルや安全性確保のための厳格かつ独立した第三者評価に関する優先順位と原則を公表しました。モデルのトレーニング、評価、デプロイの各段階において深いアクセスを提供し、独立した評価を支援する方針を示しています。
重要度 高新技術・業界動向OpenAIAI業界動向公式発表Hugging Face：Qwenベースの3値量子化モデル「Ternary-Bonsai-2-27B-abliterated」が公開
Qwen3.8-27Bをベースにした3値量子化モデル「Ternary-Bonsai-2-27B」に対し、拒絶応答を無効化するアブリレーション処理を施したコミュニティモデルが公開されました。
重要度 中モデルGGUFHugging FaceggufabliterationuncensoredQwen3.8-35BベースのMoE推論特化型GGUFモデルが公開
Qwen3.8-35Bをベースとしたカスタム量子化モデル「Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-GGUF」がHugging Faceで公開された。256Kの大規模コンテキストと高速なローカル実行をターゲットにしている。
重要度 高モデルGGUFHugging FaceggufquantizedquantizationNex-N2.5-mini-APEX-I-MiniPlus-V1-GGUFモデルが公開
IsValorumによるGGUFフォーマットの量子化モデル「Nex-N2.5-mini-APEX-I-MiniPlus-V1-GGUF」が公開されました。ファイルサイズは0.57GiB（Q8_0）で、多様な言語やマルチモーダル機能に対応しています。
重要度 中モデルGGUFHugging Faceggufquantizationquantizedguru-32Bのimatrix量子化GGUF版が公開
mradermacher氏により、IFM/guru-32Bをベースにした多様な量子化レベルのGGUFモデルが公開されました。IQ1からQ6_Kまで幅広い選択肢が用意されています。
重要度 中モデルGGUFHugging FacetransformersggufenOpenAI、法律業務向け基盤「Astra for Law」を発表
OpenAIは、法務事務所やリーガルテック企業向けにカスタムワークフローや接続された法データソースを提供する「Astra for Law」を発表しました。最新かつ最も強力なGPT-6 Astraモデルを基盤とし、専門的な法的業務向けのツールやプライバシー制御を備えています。
重要度 高新技術・業界動向OpenAIAI業界動向公式発表Tool CallingContextPrismMLがTernary Bonsai 2 27Bを公開、27Bモデルを約5.9GBに圧縮
PrismMLは、Qwen3.8 27Bを基盤とする三値化モデル「Ternary Bonsai 2 27B」を公開しました。同社によると実効1.76bit/weight、モデル容量約5.9GBで、262Kコンテキストとテキスト・画像入力に対応します。GGUF版も公式Hugging Faceで配布されています。
重要度 高モデルPrismMLBonsai 2TernaryGGUF量子化OpenAI、フラッグシップ「GPT-5.6」ファミリーを一般提供開始
OpenAIは、新フラッグシップモデル「Sol」を含む「GPT-5.6」ファミリーの一般提供を開始しました。日常業務向けの「Terra」や高コスト効率の「Luna」も含まれ、コーディングや科学分野などで優れた性能をより低いコストで実現します。
重要度 高新技術・業界動向OpenAIAI業界動向公式発表Ollama v0.34.2がリリース、初回セットアップ機能とMLX推論のメモリバグ修正
Ollamaの最新版v0.34.2が公開され、コマンド実行時の初回セットアップ機能が追加されました。また、macOSおよびWindowsのデスクトップアプリとの設定共有や、MLXを用いた speculative decoding（予測デコーディング）におけるメモリリークの修正が含まれています。
重要度 中フロントエンド・ランタイムOllamaGitHub ReleaseKoboldCpp v1.121リリース：Minimax H3のメディアリファレンス対応と各種バグ修正
ローカルLLMフロントエンドのKoboldCppがv1.121をリリースしました。Minimax H3モデルへのメディアリファレンス（音声クリップや複数画像の添付）対応や、Kimi・Deepseek V4 Flashモデルにおけるツール呼び出しの修正が行われています。
重要度 高フロントエンド・ランタイムKoboldCppGitHub ReleaseGGUFCUDATool CallingTypeSafe AIが意思決定特化モデル「Jev」を発表、文章生成ではなく型付き判断を返す新設計
TypeSafe AIは、ソフトウェア内の判断処理に特化した「System One Model」の第1弾としてJevを早期提供しました。一般的な生成LLMのように文章を1トークンずつ生成せず、選択肢、スコア、確率と信頼度を型付きデータとして並列に返す設計です。
重要度 高新技術・業界動向TypeSafe AIJevSystem One Model意思決定モデルAIエージェントOllama v0.34.1リリース：MLX safetensors作成の正式対応とApple Siliconメモリ管理の改善
ローカルLLMランタイムのOllamaがv0.34.1をリリースしました。Apple Silicon上のMLX safetensorsを用いたモデル作成が実験的機能から正式対応となり、メモリハンドリングやAPIの高速化が行われています。
重要度 高フロントエンド・ランタイムOllamaGitHub ReleaseGGUF量子化Tool Callingllama.cpp v0.4.1がリリース、新規モデルのサポートとコア機能の改善を実施
llama.cpp v0.4.1が公開され、Maple 20B-A1BやTencent Hy 4、Spark2.5のサポートが追加されました。また、ggmlがv0.24.0に更新され、JSONスキーマ処理やチャットパース、DeepSeek2やGLM-MoEなどのKVキャッシュ割り当てに関する修正が行われています。
重要度 高推論ランタイムllama.cppGitHub ReleaseContextNVIDIA Nemotron-3.5 ASR Streaming 0.6BのGGUF版が公開
NVIDIAの音声認識モデル「nemotron-3.5-asr-streaming-0.6b」のGGUF量子化モデルが公開されました。トランスクリプション向けの軽量なストリーミング音声認識に対応しています。
重要度 中モデルGGUFHugging Facetranscribe.cppggufasrGemma 4ベースのロールプレイ向けファインチューン「Artemis-31B-v1q-GGUF」が公開
Googleの「gemma-4-31B-it」をベースにしたロールプレイ特化モデル「Artemis-31B-v1q-GGUF」が公開されました。ローカル環境での利用を想定し、IQ4_XS量子化などが提供されています。
重要度 中モデルGGUFHugging Faceggufendpoints_compatibleregion:usQwen系MoEベースの非検閲モデル「Ornith-1.5-35B-A3B-Abliterated-GGUF」が公開
Qwen系MoEベースの「Huihui-Ornith-1.5-35B-A3B-abliterated」をベースにしたGGUFモデルが公開されました。独自のMTPv2ヘッドや重要度マトリクスを用いた調整が行われています。
重要度 中モデルGGUFHugging Faceggufllama.cppqwen35moeTiel-Coder-35B-A3B-GGUFの公開
Ornith-1.5-35B-A3Bをベースにした動的量子化GGUFモデル「peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF」が公開されました。Hugging Face上で多数のダウンロードと高い評価を獲得しています。
重要度 高モデルGGUFHugging Faceggufllama.cppqwen35moeNVIDIA Nemotron-3.5-Lightning-30BのGGUF版が公開
NVIDIAのNemotron-3.5-Lightning-30BをベースにしたGGUF形式の量子化モデルがHugging Faceに公開されました。研究再現性目的にて量子化されたものであり、Q2_KからQ8_0、BF16までの多様な量子化バリエーションが提供されています。
重要度 中モデルGGUFHugging FacetransformersggufnvidiaMetaの30Bマルチモーダルモデル「Muse-Glimmer-30B」のGGUF版が公開
Metaのマルチモーダルモデル「Muse-Glimmer-30B」に対応するGGUF形式の量子化モデルが公開されました。F16から各種IQ量子化、Q4_K_Mなどの幅広い量子化バリエーションが提供され、ローカル環境での実行が可能になっています。
重要度 中モデルGGUFHugging Facellama.cppggufmuse-glimmerllama.cpp v0.4.0がリリース、初期モデル対応やGGMLの更新を実施
llama.cppのバージョン0.4.0が公開され、Qwen3.8-Flash-NextやNemotron-3-Puzzleへの初期対応が行われました。また、GGMLが0.23.0に更新され、スパースFlash AttentionやRDMA関連の改善が含まれています。
重要度 高推論ランタイムllama.cppGitHub Release量子化マルチモーダルContextDeepSeek-V4-Flash-Vision-ExpのGGUF量子化モデルが公開
Unslothによる「DeepSeek-V4-Flash-Vision-Exp-GGUF」が公開されました。多様な量子化フォーマット（IQ4_XSやQ4_K_XLなど）が用意され、ローカル環境での実行に対応しています。
重要度 高モデルGGUFHugging FacetransformersggufunslothK2-Horizon-MoVA-36B-A4BのGGUF量子化モデルが登場
IFMの長コンテキスト対応Mixture-of-Expertsモデル「K2-Horizon-MoVA-36B-A4B」のGGUF量子化版が公開されました。利用には対応ビルドのllama.cppフォークが必要です。
重要度 中モデルGGUFHugging Faceggufllama.cppk2-horizonOpenAIがGPT-6 Astraを発表、コンピュータ操作・研究・開発作業を強化
OpenAIはGPT-6 Astraを発表し、ChatGPT、Codex、APIなどへ段階的に提供すると案内しました。コンピュータ操作、ブラウジング、ソフトウェア開発、科学研究、専門業務を横断する長い作業を重視したフロンティアモデルです。
重要度 高新技術・業界動向OpenAIGPT-6 Astraフロンティアモデルコンピュータ操作AIエージェントDirk-Qwen3.8-27B-GGUFの公開
Qwen3.8-27BをベースにしたGGUFフォーマットの量子化モデル「Dirk-Qwen3.8-27B-GGUF」が公開されました。多様な量子化オプションを取り揃え、Hugging Face上で多くのダウンロード数を集めています。
重要度 高モデルGGUFHugging Faceggufllama.cppqwen3_5AnthropicがClaude Fable 5.1とMythos 5.1を発表、用途別に安全策を分けて提供
Anthropicは、コーディングと知識作業を重視したClaude Fable 5.1とClaude Mythos 5.1を発表しました。両者は同じ基盤モデルを使いながら、一般提供版と、サイバーセキュリティ・生命科学向けの限定アクセス版で安全策と提供範囲を分けています。
重要度 高新技術・業界動向AnthropicClaude Fable 5.1Claude Mythos 5.1AI安全性アクセス制御Nemotron-3-Nano-Omni-30B系モデルのGGUF版が公開
Nemotron-3-Nano-Omni-30BをベースにしたAbliteratedマルチモーダルモデルのGGUF量子化版が公開されました。Q4_K_MやQ8_0などの量子化フォーマットが提供されています。
重要度 中モデルGGUFHugging Facegguflicense:otherendpoints_compatibleGLM-5.3-Flash-UNCENSOREDのGGUF量子化版が登場
GLM-5.3-Flash-UNCENSORED-FP8をベースにしたGGUF量子化モデルが公開されました。Q2_K_XL、Q3_K_XL、Q4_K_XLなどの量子化フォーマットが含まれています。
重要度 中モデルGGUFHugging Faceggufendpoints_compatibleregion:usKoboldCpp v1.120がリリース、DirectIO対応や新モデルのサポートを追加
KoboldCpp v1.120がリリースされ、モデルの読み込みモードにDirectIO（--usedirectio）が新たに追加されました。これに伴いmlockとmmapの併用が可能になったほか、Qwen3.8-Flash-NextやLing-3.0-flashなどの新しいモデル形式がサポートされています。また、アシスタント生成のプレフィルに関する不具合修正や、Kobold Liteの更新、画像生成機能の同期と修正なども含まれています。
重要度 高フロントエンド・ランタイムKoboldCppGitHub ReleaseGGUFCUDAROCmOllama v0.33.2リリース、macOS版の挙動やダークモードの修正を実施
Ollama v0.33.2が公開され、macOSアプリにおけるいくつかの不具合が修正されました。システムの外観設定への追従が再度有効化され、ダークモードのサポートが復元されています。さらに、すでに起動中のインスタンスがある場合に二重起動してしまう問題や、モデルカタログ更新時にClaude Desktopプロキシが進行中のリクエストを中断してしまう挙動が修正されました。
重要度 中フロントエンド・ランタイムOllamaGitHub ReleaseOllama v0.33.1がリリース、Qwen3.8 Flash NextのMLXサポートなどを追加
ローカルLLMランタイムのOllamaがv0.33.1をリリースしました。Apple Silicon（MLX）環境でのQwen3.8 Flash Nextサポート追加や、mlxrunnerにおける構造化出力への対応、Metal GPUのタイムアウト回避などが含まれています。
重要度 高フロントエンド・ランタイムOllamaGitHub ReleaseMetalNVIDIA Nemotron 3.5 Lightning 30B A3BのGGUF版が公開
NVIDIAの主要モデル「Nemotron-3.5-Lightning-30B-A3B」に対応するGGUF量子化モデルがggml-orgより公開されました。ローカル環境での効率的な推論と実行が可能になります。
重要度 高モデルGGUFHugging Faceggufquantizedtext-generationllama.cpp v0.3.0リリース：主要モデルの拡張とMetalカーネル強化
llama.cppのv0.3.0がリリースされ、dots3-noteマルチモーダルモデルやGLM-4.5-AirのMTP（複数トークン予測）に対応しました。また、DeepSeek 4向けのテンソル分割や複数シーケンスのロールバック修正、Metalでの並列コンパイルによるper-opカーネル最適化などが含まれています。
重要度 高推論ランタイムllama.cppGitHub ReleaseMetalマルチモーダルVision