VLLM v0.24.0 バージョンの詳細分析：新エンジン、新アーキテクチャ、および大規模サービススイートのアップグレード


v0.24.0 バージョンの詳細分析：新エンジン、新アーキテクチャ、および大規模サービススイートのアップグレード

今回の v0.24.0 バージョンは 6 月 28 日にリリースされ、v0.23.0 からわずか 16 日後のことでした。史上最大規模の単一バージョンアップデートの一つ（571 件のコミット、256 人のコントリビューターを含む）として、今回のアップデートでは新モデル、新エンジン、新アーキテクチャ、新ハードウェアがすべて揃い、ハードウェアを跨ぐ推論性能と大規模デプロイ能力が全面的に最適化されました。

一、主要な新機能：MiniMax-M3の初対応

今回のアップデートでは、前バージョンで不足していた部分を補完し、MiniMax-M3モデルに対して、多数の低レベルな専用最適化を提供しました。企業ユーザーは、コストを管理しながら直接デプロイすることができ、煩雑な公式の適応ソリューションを待つ必要はありません。

1.1 主な最適化項目一覧

  • MSAによるBF16/FP8インデクサー：マルチモーダル検索の高速化により、検索効率を大幅に向上。
  • MXFP4のサポート：新しい低精度量子化を導入し、GPUメモリ使用量をさらに削減。
  • FP8 スパース GQA：スパース化推論をサポートし、計算スループットを著しく向上させます。
  • AMD/ROCm 向け専用チューニング ：gfx950、MI300X などの AMD グラフィックスカードに対して、徹底的な最適化を実施しました。

1.2 モデルの量子化と高速化の比較

さまざまな精度および高速化手法において、MiniMax-M3がもたらす効果は以下の通りです：

最適化技術 適用範囲 主な効果
MXFP4 ビデオメモリ使用量が極めて少ないシナリオ VRAM使用量が大幅に低減され、スループットはほぼ同水準を維持
FP8 sparse GQA 高並行推論シナリオ 推論遅延を低減し、並行処理の上限を向上
MSA Indexer マルチモーダル検索シナリオ BF16/FP8 検索の高速化

二、DeepSeek-V4 のハードウェア横断的なきめ細かな性能最適化

DeepSeek-V4 アーキテクチャは、NVIDIA、AMD、Intel の 3 大 GPU エコシステム上で安定した動作を実現しています。今回のアップデートでは SM120 サポートが有効化され、XPU および ROCm パスが全面的に補完されました。

2.1 性能向上データ

低レベルカーネルの再構築とビデオメモリ割り当ての最適化を導入した結果、エンドツーエンドの性能が大幅に向上しました：

  • FlashInfer スパースインデックスキャッシュ ：最初の単語までの遅延（TTFT）が 2～4% 短縮されました。
  • プリフィル・チャンクプランニングの最適化 ：エンドツーエンドのスループットが 4% 向上しました。
  • 低レベルカーネルおよびビデオメモリの最適化 ：
    • クラスタ協調型 topK カーネル（低レイテンシ最適化）。
    • ブロックごとの連続した KV 割り当て（GPUメモリの断片化を低減）。
    • block-FP8 における TEP=16（FP8 演算効率の全面的な向上）。
    • ネイティブ DSA インデクサーのデコード（SM100 専用の高速化）。

三、新アーキテクチャと実行エンジン：MRv2 と Streaming Parser

3.1 Model Runner V2 (MRv2) の全面展開

次世代モデル実行エンジン MRv2 が、「実験的」段階から「デフォルトエンジン」へと正式に移行しました。これは以下の4つの主要なシナリオをカバーしています：

  1. 量子化モデル：デフォルトでサポートされ、導入後すぐに利用可能です。
  2. MoEモデル：GraniteMoEがデフォルトで有効化され、QwenおよびDeepSeek-V2へのシームレスな移行が完了しました。
  3. 密モデル：従来のLLM実行ロジックを全面的に引き継ぎます。
  4. 推論デコード ：初めて DFlash を統合し、生成速度を大幅に向上させました。

3.2 Streaming Parser Engine：ストリーミング解析の新アーキテクチャ

モデルを横断する tool-call（ツール呼び出し）と reasoning（論理推論）の解析ロジックを統一しました。

  • 対応モデル ：Qwen3、MiniMax-M2、GLM-4.7/5.1/5.2、Nemotron V3。
  • メリット：ストリーミング処理により遅延を低減し、解析精度を向上させると同時に、上級ユーザーがカスタマイズ可能なプラグイン式の解析ロジックを実装できるようサポートします。

4. 新しいパラダイムの実用化：Diffusion LLM と基盤となる計算能力の向上

4.1 まったく新しいモデルパラダイム：Diffusion LLM

DiffusionGemmaを初めてサポートし、従来の自己回帰（AR）モデルの生成方式を打破しました。

  • 中核メカニズム：並列ノイズ除去によるテキスト生成により、理論上、推論を大幅に高速化できます。
  • 高い制御性：開発者は同一エンジン内で、ARとDiffusionという全く異なる2つの生成パラダイムを比較できるようになりました。
  • ハードウェア互換性：現在、CPUパスが完全に利用可能です。

4.2 カーネルと基盤性能の飛躍

  • NVIDIA カーネル ：H100/B200 向けの SM90 CUTLASS FP8 mm odd-M による加速は 180～290% に達しました；Qwen3-Next-80B の H100 における推論性能は 25% 向上しました。
  • Stable ABI への移行：低レベル層が特定の PyTorch バージョンの内部 API に依存しなくなり、互換性と独立性が大幅に向上しました。
  • CPU パス ：マルチスレッド ASR（音声認識）の前処理速度が 2.5 倍 に向上しました。

5. 量子化と大規模分散サービス

5.1 オンライン動的量子化と低精度行列

量子化のハードルを下げるため、今回のアップデートではオンライン動的量子化メカニズムが導入されました：

  • オンラインFP8 PTPC量子化：推論時の動的量子化をサポートし、時間のかかるオフライン変換ステップが不要で、精度の損失は極めて小さい。
  • 旧アーキテクチャの汎用性 ：modelopt_mixed が SM89+ (Ada)、SM80-86 (Ampere)、SM75 (Turing) まで拡張されました。
  • より低精度のサポート ：MiniMax-M3 が MXFP4 をサポート； FlashInferにNVFP4バックエンドが追加されました；MXFP8コアは準備完了です。

5.2 分散エキスパート並列処理とRustフロントエンド

マルチノードクラスタ展開向けに、徹底的な本番環境向け改良が施されました：

  • DeepEP v2 の統合 ：DeepSeek アーキテクチャ向けに特別に設計されており、ノード間の通信オーバーヘッドを大幅に低減し、柔軟なエキスパート割り当てをサポートします。
  • NIXL Expert Parallel：まったく新しいノード間ソリューションで、動的なバッチオフロードをサポートし、マルチノード環境におけるビデオメモリのボトルネックを効果的に低減します。
  • Rustフロントエンドの本番環境対応：APIキー認証やCORSをネイティブにサポートし、/pause、/abort_requestsといった実行時制御機能や単語分割エンドポイントを提供するため、Nginxなどのリバースプロキシ層への依存が不要となります。

Rustフロントエンドサービスの起動例：

# APIキー認証とクロスドメイン対応を備えたRustフロントエンドを起動
./server --port 8080 \\
         --enable-auth \\
         --api-key 「your_secret_key」 \\
         --enable-cors

6. 互換性のない変更（Breaking Changes）：アップグレード時の注意事項

今回のメジャーバージョンアップには、一部の互換性のない変更が含まれています。アップグレードの際は、以下の対応事項に必ずご留意ください：

  • GPUの割り当て方法の変更 ：内部設定として CUDA_VISIBLE_DEVICES（ROCmでも非推奨）を使用することはなくなり、統一して --device-ids を使用するようになりました。
  • 重みのレイアウトの標準化 ：FP8の重みレイアウトは、(K, N)に統一されました。重みを独自に保存・読み込むロジックがある場合は、コードの調整が必要です。
  • コンポーネントの分離 ：GGUFの量子化関連機能は独立したプラグインに移行されました。別途、pip install を実行してインストールする必要があります。
  • コンパイル環境の要件 ：CUDA Dockerfile が GCC 12 にアップグレードされ、コードは C++20 標準に準拠する必要があります。

バージョン依存関係の更新コード例（Transformers は v5 以上にアップグレードする必要があることに注意）：

# 最新バージョンのコアライブラリと独立した GGUF プラグインをインストール
# Transformers v4 は完全に非推奨となっており、v5 以上にアップグレードする必要があります
!pip install transformers>=5.0.0
!pip install inference-engine-gguf-plugin

注意 ：今回の更新により、Transformers v4 のサポートは正式に廃止され、ERNIE、Xverse、Dots1 など、6つの旧式モデルが削除されました。本番環境でこれらのモデルを使用している場合は、直接アップグレードしないでください。

まとめ

v0.24.0 は、極めて画期的な「オールインワン」アップデートです。初回リリース時の MiniMax-M3 サポートから、基盤となる MRv2 エンジンのデフォルト化、さらには Rust フロントエンドの本番環境対応に至るまで、このエンジンはエンタープライズレベルのハイコンカレント環境や、多様なハードウェアエコシステムに対応するスケジューリング能力を完全に備えるようになりました。

今後の推奨事項：

  1. シングルカード／シングルマシン開発者 ：Online FP8 PTPCの動的量子化および旧アーキテクチャ（Ampere／Turing）のアクセラレーションサポートに重点を置いてください。
  2. クラスター／エンタープライズ級展開：Rustフロントエンドによる従来のNginxプロキシ層の置き換えを早急にテストし、NIXL Expert Parallelのマルチノード展開におけるメリットを評価してください。
  3. アップグレード前：必ず「Breaking Changes」を確認し、環境変数と Dockerfile を修正してください（特に GCC 12 および C++20 の依存関係）。