llama.cpp v0.6.0リリース：拡張バッチAPIや新モデル・意思決定モデル対応を実装
llama.cpp v0.6.0がリリースされ、混合トークン/埋め込み入力用の新しい拡張バッチAPI「llama_batch_ext」の追加や、GLM-5.3-Flashなどの新モデルサポート、意思決定モデル向けのサーバーAPI実装が行われました。
根拠公式リポジトリ／リリース
作成方法AIによる要約補助を使用
検証範囲実機での速度・品質・互換性は未検証です。
ローカル利用者への判断
ローカルLLMの推論性能や対応アーキテクチャが大きく拡張され、特に混合バッチ処理やMTP、最新のハイブリッドモデル・意思決定モデルをローカル環境で直接実行・検証できるようになります。
ローカルLLMの推論性能や対応アーキテクチャが大きく拡張され、特に混合バッチ処理やMTP、最新のハイブリッドモデル・意思決定モデルをローカル環境で直接実行・検証できるようになります。
発表・更新の内容
本バージョンでは、`llama_process`を含む拡張バッチAPIが導入され、MTPやディープスタックモデル向けの「状態」埋め込み処理がサポートされました。また、320BのGLM-5.3-FlashやClef意思決定モデルへの対応、Metal/Vulkanにおけるフラッシュアテンションの最適化が含まれます。すべてローカルでの実行が可能ですが、大規模モデルの動作には適切なハードウェアリソースが必要です。
タグ
llama.cppGitHub ReleaseVulkanMetal量子化VisionFlash Attention
この記事は一次情報を日本語で整理したものです。開発元が公表した性能値は独立検証済みとは限りません。導入・購入・ライセンス判断の前に、リンク先の最新版も確認してください。