H2O Lightning 4B GGUFが公開、決定モデルのローカル推論に対応
H2O Lightning 4BのGGUF版がHugging Faceに公開されました。決定モデルとしての機能やllama.cppの拡張機能を利用した推論に対応しています。
重要度 高モデルGGUFHugging Facellama-cppggufjevローカルLLMを、
選べる・動かせる知識に。
ローカルLLMを選び、動かし、更新するための日本語ガイド。一次情報を基に必要メモリ、量子化、対応ランタイムとAI業界の重要動向を整理します。
一次情報を優先公式発表・モデルカード・リポジトリを出発点にします。
ローカル判断へ変換容量・量子化・ランタイム・ライセンスの観点を加えます。
検証範囲を明示AI利用、概算値、実機未検証を記事内で区別します。
最終更新: 2026-10-18
公開基準を満たさない自動収集候補は一覧と検索エンジンから除外しています。調査・編集方針を見る
公開基準を満たさない自動収集候補は一覧と検索エンジンから除外しています。調査・編集方針を見る
目的から探す
初めての導入からモデル比較、トラブル対応まで、作業の順序に沿って読めます。
はじめてのローカルLLM
専門用語を避けながら、モデル・量子化・VRAMの基本を解説します。
主要ローカルLLMモデル
現在の主要モデルと、ローカル環境で扱うときの特徴を整理します。
自分のPCでどのモデルが動く？
VRAM・RAM容量から現実的なモデルサイズを判断します。
モデル比較
用途、規模、実行しやすさを横並びで比較します。
モデルの選び方
GGUFやQ4_K_Mなど、ダウンロード画面の見方を説明します。
トラブルシューティング
ロード失敗、VRAM不足、速度低下などを症状別に確認します。
モデル選定チェックリスト
目的、メモリ、量子化、互換性、ライセンスの順に候補を絞ります。
新技術・業界動向
大手AI開発元の主要発表と、Jevのような新しい技術潮流を追跡します。
注目記事
新着のうち、ローカル利用者への影響が特に大きい情報です。
H2O Lightning 4B GGUFが公開、決定モデルのローカル推論に対応
H2O Lightning 4BのGGUF版がHugging Faceに公開されました。決定モデルとしての機能やllama.cppの拡張機能を利用した推論に対応しています。
Laguna-XS-2.1 APEX GGUFモデルが公開、MoEモデルの量子化に対応
大規模なMoE構造を持つLaguna-XS-2.1のAPEXおよび標準GGUF量子化モデルが公開されました。動的・バンド認識型のビット割り当てによる効率的な量子化が行われています。
Anthropic、フロンティアAIモデルの安全性評価で外部機関への従業員レベルのアクセス提供を発表
Anthropicは、モデルの安全性やリスク評価の透明性を高めるため、非営利組織のMETRをはじめとする外部評価チームに対し、自社モデルへの従業員レベルの深いアクセスを提供開始すると発表した。
Ollama v0.40.5リリース：NVIDIA Nemotron 3.5 Super等の対応とクラウド機能の拡充
Ollamaは最新バージョンv0.40.5を公開し、ビジョン・言語モデルのNVIDIA Nemotron 3.5 SuperおよびBoltへの対応や、クラウド経由の意思決定モデル利用機能などを追加した。
最近の更新
Laguna-XS-2.1 APEX GGUFモデルが公開、MoEモデルの量子化に対応
大規模なMoE構造を持つLaguna-XS-2.1のAPEXおよび標準GGUF量子化モデルが公開されました。動的・バンド認識型のビット割り当てによる効率的な量子化が行われています。
重要度 高モデルGGUFHugging FaceggufmoeapexAnthropic、フロンティアAIモデルの安全性評価で外部機関への従業員レベルのアクセス提供を発表
Anthropicは、モデルの安全性やリスク評価の透明性を高めるため、非営利組織のMETRをはじめとする外部評価チームに対し、自社モデルへの従業員レベルの深いアクセスを提供開始すると発表した。
重要度 高新技術・業界動向AnthropicAI業界動向公式発表Ollama v0.40.5リリース：NVIDIA Nemotron 3.5 Super等の対応とクラウド機能の拡充
Ollamaは最新バージョンv0.40.5を公開し、ビジョン・言語モデルのNVIDIA Nemotron 3.5 SuperおよびBoltへの対応や、クラウド経由の意思決定モデル利用機能などを追加した。
重要度 高フロントエンド・ランタイムOllamaGitHub ReleaseVisionTool CallingContextApple Silicon向けMLX形式の量子化済みモデル「Ternary-Bonsai-2-27B」派生版が公開
Apple Siliconで動作するMLX形式の2bit量子化モデル「3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit」が公開されました。バイナリサイズは約8.60GBとなっており、Apple製デバイスでの効率的なローカル推論をサポートします。
重要度 高モデルGGUFHugging Facemlxsafetensorsprism_hadamard_qwen35自己推論ヘッドをバンドルしたGGUF版「Ternary-Bonsai-2-27B-MTP-GGUF」が公開
NextN/MTP（Multi-Token Prediction）のドラフトヘッドを同梱したGGUF形式のモデル「ManniX-ITA/Ternary-Bonsai-2-27B-MTP-GGUF」が公開されました。追加のファイルや外部のドラフターを用意せず、単一ファイルで自己推論（スペキュレイティブ・デコーディング）を行います。
重要度 高モデルGGUFHugging FaceggufternarymtpHugging Face：nesoai/Ternary-Bonsai-2-27B-gguf
Qwen3.8-27Bをベースとした3値化（ternary）モデルのGGUF版が公開されました。llama.cppなどを通じてオンデバイスでの実行が可能です。
重要度 高モデルGGUFHugging Facellama.cppggufternaryQwen3.8ベースの非検閲版GGUFモデル「Huihui-Qwen3.8-Flash-Next-abliterated-GGUF」が公開
Qwen/Qwen3.8-Flash-Nextをベースに、アブリレーション処理（拒絶反応の除去）を施した非検閲版のGGUFモデルがHugging Faceで公開された。BF16から各種量子化フォーマット（IQ4_XSなど）に対応している。
重要度 高モデルGGUFHugging Facetransformersggufabliterated