llama.cpp v0.6.0リリース：拡張バッチAPIや新モデル・意思決定モデル対応を実装
llama.cpp v0.6.0がリリースされ、混合トークン/埋め込み入力用の新しい拡張バッチAPI「llama_batch_ext」の追加や、GLM-5.3-Flashなどの新モデルサポート、意思決定モデル向けのサーバーAPI実装が行われました。
重要度 高推論ランタイムllama.cppGitHub ReleaseVulkanMetal量子化推論ランタイム
推論ランタイムに関するローカルLLM記事の一覧です。
公開中 4件llama.cpp v0.4.1がリリース、新規モデルのサポートとコア機能の改善を実施
llama.cpp v0.4.1が公開され、Maple 20B-A1BやTencent Hy 4、Spark2.5のサポートが追加されました。また、ggmlがv0.24.0に更新され、JSONスキーマ処理やチャットパース、DeepSeek2やGLM-MoEなどのKVキャッシュ割り当てに関する修正が行われています。
重要度 高推論ランタイムllama.cppGitHub ReleaseContextllama.cpp v0.4.0がリリース、初期モデル対応やGGMLの更新を実施
llama.cppのバージョン0.4.0が公開され、Qwen3.8-Flash-NextやNemotron-3-Puzzleへの初期対応が行われました。また、GGMLが0.23.0に更新され、スパースFlash AttentionやRDMA関連の改善が含まれています。
重要度 高推論ランタイムllama.cppGitHub Release量子化マルチモーダルContextllama.cpp v0.3.0リリース：主要モデルの拡張とMetalカーネル強化
llama.cppのv0.3.0がリリースされ、dots3-noteマルチモーダルモデルやGLM-4.5-AirのMTP（複数トークン予測）に対応しました。また、DeepSeek 4向けのテンソル分割や複数シーケンスのロールバック修正、Metalでの並列コンパイルによるper-opカーネル最適化などが含まれています。
重要度 高推論ランタイムllama.cppGitHub ReleaseMetalマルチモーダルVision