llama.cpp v0.4.0がリリース、初期モデル対応やGGMLの更新を実施
llama.cppのバージョン0.4.0が公開され、Qwen3.8-Flash-NextやNemotron-3-Puzzleへの初期対応が行われました。また、GGMLが0.23.0に更新され、スパースFlash AttentionやRDMA関連の改善が含まれています。
根拠公式リポジトリ／リリース
作成方法AIによる要約補助を使用
検証範囲実機での速度・品質・互換性は未検証です。
ローカル利用者への判断
主要な新モデルへの対応や推論ランタイムの基盤であるGGMLのアップデートが行われ、対応モデルの拡大と処理効率の向上が期待されます。
主要な新モデルへの対応や推論ランタイムの基盤であるGGMLのアップデートが行われ、対応モデルの拡大と処理効率の向上が期待されます。
発表・更新の内容
llama.cpp v0.4.0では、新たにQwen3.8-Flash-NextやNemotron-3-Puzzleのサポートが追加されました。加えて、オンデマンドのテンソル読み込み、スロットごとのサーバーコンテキスト制限、動画入力オプションなどが導入されています。さらにGGMLが0.23.0へと更新され、スパースFlash AttentionやRDMAに関わる重要な変更が組み込まれており、APIの変更や量子化パラメータの追加なども行われています。
タグ
llama.cppGitHub Release量子化マルチモーダルContextFlash Attention
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。