H2O Lightning 4B GGUFが公開、決定モデルのローカル推論に対応
H2O Lightning 4BのGGUF版がHugging Faceに公開されました。決定モデルとしての機能やllama.cppの拡張機能を利用した推論に対応しています。
重要度 高モデルGGUFHugging Facellama-cppggufjevモデル
モデルに関するローカルLLM記事の一覧です。
公開中 30件Laguna-XS-2.1 APEX GGUFモデルが公開、MoEモデルの量子化に対応
大規模なMoE構造を持つLaguna-XS-2.1のAPEXおよび標準GGUF量子化モデルが公開されました。動的・バンド認識型のビット割り当てによる効率的な量子化が行われています。
重要度 高モデルGGUFHugging FaceggufmoeapexApple Silicon向けMLX形式の量子化済みモデル「Ternary-Bonsai-2-27B」派生版が公開
Apple Siliconで動作するMLX形式の2bit量子化モデル「3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit」が公開されました。バイナリサイズは約8.60GBとなっており、Apple製デバイスでの効率的なローカル推論をサポートします。
重要度 高モデルGGUFHugging Facemlxsafetensorsprism_hadamard_qwen35自己推論ヘッドをバンドルしたGGUF版「Ternary-Bonsai-2-27B-MTP-GGUF」が公開
NextN/MTP（Multi-Token Prediction）のドラフトヘッドを同梱したGGUF形式のモデル「ManniX-ITA/Ternary-Bonsai-2-27B-MTP-GGUF」が公開されました。追加のファイルや外部のドラフターを用意せず、単一ファイルで自己推論（スペキュレイティブ・デコーディング）を行います。
重要度 高モデルGGUFHugging FaceggufternarymtpHugging Face：nesoai/Ternary-Bonsai-2-27B-gguf
Qwen3.8-27Bをベースとした3値化（ternary）モデルのGGUF版が公開されました。llama.cppなどを通じてオンデバイスでの実行が可能です。
重要度 高モデルGGUFHugging Facellama.cppggufternaryQwen3.8ベースの非検閲版GGUFモデル「Huihui-Qwen3.8-Flash-Next-abliterated-GGUF」が公開
Qwen/Qwen3.8-Flash-Nextをベースに、アブリレーション処理（拒絶反応の除去）を施した非検閲版のGGUFモデルがHugging Faceで公開された。BF16から各種量子化フォーマット（IQ4_XSなど）に対応している。
重要度 高モデルGGUFHugging Facetransformersggufabliterated27Bパラメータで262kコンテキストをサポートする「Ternary-Bonsai-2-27B-262k-GGUF」が登場
PrismMLのTernary Bonsai 2 27Bをベースに、MTPドラフトヘッドを組み込んで長大なコンテキスト長に対応させたGGUF形式の量子化モデルが公開された。12GBのVRAMを搭載した単一のGPUでも効率的な動作を実現する。
重要度 高モデルGGUFHugging Faceggufllama.cppqwen3_5HybridRMD、27Bパラメータの知識蒸留モデル「Ternary-Bonsai-2-27B-Heretic-Satellite」を公開
HybridRMDは、コンテキスト管理や対話に特化した27Bパラメータのモデル「Ternary-Bonsai-2-27B-Heretic-Satellite」を公開しました。Qwen3.5系をベースアーキテクチャとし、Layaモデルの知識蒸留によって作成されています。
重要度 高モデルGGUFHugging FacetransformerssafetensorsggufGLM-5.3-Flashの非検閲版GGUF「huihui-ai/GLM-5.3-Flash-abliterated-GGUF」が公開
zai-orgのGLM-5.3-Flashをベースに、アブリレーション技術を用いて拒絶応答を削除した非検閲版のGGUFモデルが公開されました。IQ1_SからBF16までの多様な量子化フォーマットが用意されています。
重要度 高モデルGGUFHugging FacetransformersggufabliteratedTernary Bonsai 2 27BのPTQ1_0量子化モデルにMTPヘッドを統合したGGUFが公開
PrismMLが提供する三値量子化されたTernary Bonsai 2 27Bモデルに対し、Qwen 3.8 27Bのマルチトークン予測（MTP）ヘッドを組み込んだGGUFファイルが公開されました。llama.cppの独自フォーク環境での高速な推論が期待できます。
重要度 高モデルGGUFHugging Facellama.cppggufqwen3_5LiquidAIベースの派生GGUFモデル「LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF」公開
LiquidAIのLFM2.5-2.6Bをベースにし、多様な推論・指示モードやTurbo Brillianceシステムを統合した派生GGUFモデルがHugging Faceに登場しました。IQ4_XSやQ3などの量子化版が提供されており、ローカル環境での実行検証が行われています。
重要度 中モデルGGUFHugging Faceggufliquidlfm2.5Qwen3.8-27Bの3bit量子化モデル向けドラフトモデル「Qwen3.8-27B-DFlash2-ternary-bonsai2」公開
Ternary-Bonsai-2-27Bなどの2bit/3bit量子化モデル向けに最適化された、DFlash2アーキテクチャ採用のドラフトモデルが公開されました。推測デコード（Speculative Decoding）によるローカル環境での高速化を目的としています。
重要度 中モデルGGUFHugging FacemlxsafetensorsggufHugging Face：Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-GGUFが公開
Prism-MLの三値量子化モデルをベースに、拒絶応答を無効化（アブレーション）したGGUF版モデルが公開されました。マルチトークン予測（MTP）ヘッドをオプションで追加し、推論の高速化を実現しています。
重要度 高モデルGGUFHugging Faceggufqwen3_5ternaryHugging Face：Qwenベースの3値量子化モデル「Ternary-Bonsai-2-27B-abliterated」が公開
Qwen3.8-27Bをベースにした3値量子化モデル「Ternary-Bonsai-2-27B」に対し、拒絶応答を無効化するアブリレーション処理を施したコミュニティモデルが公開されました。
重要度 中モデルGGUFHugging FaceggufabliterationuncensoredQwen3.8-35BベースのMoE推論特化型GGUFモデルが公開
Qwen3.8-35Bをベースとしたカスタム量子化モデル「Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-GGUF」がHugging Faceで公開された。256Kの大規模コンテキストと高速なローカル実行をターゲットにしている。
重要度 高モデルGGUFHugging FaceggufquantizedquantizationNex-N2.5-mini-APEX-I-MiniPlus-V1-GGUFモデルが公開
IsValorumによるGGUFフォーマットの量子化モデル「Nex-N2.5-mini-APEX-I-MiniPlus-V1-GGUF」が公開されました。ファイルサイズは0.57GiB（Q8_0）で、多様な言語やマルチモーダル機能に対応しています。
重要度 中モデルGGUFHugging Faceggufquantizationquantizedguru-32Bのimatrix量子化GGUF版が公開
mradermacher氏により、IFM/guru-32Bをベースにした多様な量子化レベルのGGUFモデルが公開されました。IQ1からQ6_Kまで幅広い選択肢が用意されています。
重要度 中モデルGGUFHugging FacetransformersggufenPrismMLがTernary Bonsai 2 27Bを公開、27Bモデルを約5.9GBに圧縮
PrismMLは、Qwen3.8 27Bを基盤とする三値化モデル「Ternary Bonsai 2 27B」を公開しました。同社によると実効1.76bit/weight、モデル容量約5.9GBで、262Kコンテキストとテキスト・画像入力に対応します。GGUF版も公式Hugging Faceで配布されています。
重要度 高モデルPrismMLBonsai 2TernaryGGUF量子化NVIDIA Nemotron-3.5 ASR Streaming 0.6BのGGUF版が公開
NVIDIAの音声認識モデル「nemotron-3.5-asr-streaming-0.6b」のGGUF量子化モデルが公開されました。トランスクリプション向けの軽量なストリーミング音声認識に対応しています。
重要度 中モデルGGUFHugging Facetranscribe.cppggufasrGemma 4ベースのロールプレイ向けファインチューン「Artemis-31B-v1q-GGUF」が公開
Googleの「gemma-4-31B-it」をベースにしたロールプレイ特化モデル「Artemis-31B-v1q-GGUF」が公開されました。ローカル環境での利用を想定し、IQ4_XS量子化などが提供されています。
重要度 中モデルGGUFHugging Faceggufendpoints_compatibleregion:usQwen系MoEベースの非検閲モデル「Ornith-1.5-35B-A3B-Abliterated-GGUF」が公開
Qwen系MoEベースの「Huihui-Ornith-1.5-35B-A3B-abliterated」をベースにしたGGUFモデルが公開されました。独自のMTPv2ヘッドや重要度マトリクスを用いた調整が行われています。
重要度 中モデルGGUFHugging Faceggufllama.cppqwen35moeTiel-Coder-35B-A3B-GGUFの公開
Ornith-1.5-35B-A3Bをベースにした動的量子化GGUFモデル「peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF」が公開されました。Hugging Face上で多数のダウンロードと高い評価を獲得しています。
重要度 高モデルGGUFHugging Faceggufllama.cppqwen35moeNVIDIA Nemotron-3.5-Lightning-30BのGGUF版が公開
NVIDIAのNemotron-3.5-Lightning-30BをベースにしたGGUF形式の量子化モデルがHugging Faceに公開されました。研究再現性目的にて量子化されたものであり、Q2_KからQ8_0、BF16までの多様な量子化バリエーションが提供されています。
重要度 中モデルGGUFHugging FacetransformersggufnvidiaMetaの30Bマルチモーダルモデル「Muse-Glimmer-30B」のGGUF版が公開
Metaのマルチモーダルモデル「Muse-Glimmer-30B」に対応するGGUF形式の量子化モデルが公開されました。F16から各種IQ量子化、Q4_K_Mなどの幅広い量子化バリエーションが提供され、ローカル環境での実行が可能になっています。
重要度 中モデルGGUFHugging Facellama.cppggufmuse-glimmerDeepSeek-V4-Flash-Vision-ExpのGGUF量子化モデルが公開
Unslothによる「DeepSeek-V4-Flash-Vision-Exp-GGUF」が公開されました。多様な量子化フォーマット（IQ4_XSやQ4_K_XLなど）が用意され、ローカル環境での実行に対応しています。
重要度 高モデルGGUFHugging FacetransformersggufunslothK2-Horizon-MoVA-36B-A4BのGGUF量子化モデルが登場
IFMの長コンテキスト対応Mixture-of-Expertsモデル「K2-Horizon-MoVA-36B-A4B」のGGUF量子化版が公開されました。利用には対応ビルドのllama.cppフォークが必要です。
重要度 中モデルGGUFHugging Faceggufllama.cppk2-horizonDirk-Qwen3.8-27B-GGUFの公開
Qwen3.8-27BをベースにしたGGUFフォーマットの量子化モデル「Dirk-Qwen3.8-27B-GGUF」が公開されました。多様な量子化オプションを取り揃え、Hugging Face上で多くのダウンロード数を集めています。
重要度 高モデルGGUFHugging Faceggufllama.cppqwen3_5Nemotron-3-Nano-Omni-30B系モデルのGGUF版が公開
Nemotron-3-Nano-Omni-30BをベースにしたAbliteratedマルチモーダルモデルのGGUF量子化版が公開されました。Q4_K_MやQ8_0などの量子化フォーマットが提供されています。
重要度 中モデルGGUFHugging Facegguflicense:otherendpoints_compatibleGLM-5.3-Flash-UNCENSOREDのGGUF量子化版が登場
GLM-5.3-Flash-UNCENSORED-FP8をベースにしたGGUF量子化モデルが公開されました。Q2_K_XL、Q3_K_XL、Q4_K_XLなどの量子化フォーマットが含まれています。
重要度 中モデルGGUFHugging Faceggufendpoints_compatibleregion:usNVIDIA Nemotron 3.5 Lightning 30B A3BのGGUF版が公開
NVIDIAの主要モデル「Nemotron-3.5-Lightning-30B-A3B」に対応するGGUF量子化モデルがggml-orgより公開されました。ローカル環境での効率的な推論と実行が可能になります。
重要度 高モデルGGUFHugging Faceggufquantizedtext-generation