vllm/docs/source/features/compatibility_matrix.md

(compatibility-matrix)=

Compatibility Matrix

The tables below show mutually exclusive features and the support on some hardware.

The symbols used have the following meanings:

• ✅ = Full compatibility
• 🟠 = Partial compatibility
• ❌ = No compatibility

:::{note} Check the ❌ or 🟠 with links to see tracking issue for unsupported feature/hardware combination. :::

Feature x Feature

:::{raw} html

<style> /* Make smaller to try to improve readability */ td { font-size: 0.8rem; text-align: center; } th { text-align: center; font-size: 0.8rem; } </style>

:::

:::{list-table} :header-rows: 1 :stub-columns: 1 :widths: auto :class: vertical-table-header

• • Feature
  • CP
  • APC
  • LoRA
  • prmpt adptr
  • SD
  • CUDA graph
  • pooling
  • enc-dec
  • logP
  • prmpt logP
  • async output
  • multi-step
  • mm
  • best-of
  • beam-search
  • guided dec
• • CP
  • ✅
• • APC
  • ✅
  • ✅
• • LoRA
  • ✅
  • ✅
  • ✅
• • prmpt adptr
  • ✅
  • ✅
  • ✅
  • ✅
• • SD
  • ✅
  • ✅
  • ❌
  • ✅
  • ✅
• • CUDA graph
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • pooling
  • ❌
  • ❌
  • ❌
  • ❌
  • ❌
  • ❌
  • ✅
• • enc-dec
  • ❌
  • ❌
  • ❌
  • ❌
  • ❌
  • ✅
  • ✅
  • ✅
• • logP
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ✅
  • ✅
• • prmpt logP
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ✅
  • ✅
  • ✅
• • async output
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ✅
  • ❌
  • ❌
  • ✅
  • ✅
  • ✅
• • multi-step
  • ❌
  • ✅
  • ❌
  • ✅
  • ❌
  • ✅
  • ❌
  • ❌
  • ✅
  • ✅
  • ✅
  • ✅
• • mm
  • ✅
  • 🟠
  • 🟠
  • ❔
  • ❔
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❔
  • ✅
• • best-of
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ✅
  • ❌
  • ✅
  • ✅
  • ✅
  • ❔
  • ❌
  • ✅
  • ✅
• • beam-search
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ✅
  • ❌
  • ✅
  • ✅
  • ✅
  • ❔
  • ❌
  • ❔
  • ✅
  • ✅
• • guided dec
  • ✅
  • ✅
  • ❔
  • ❔
  • ❌
  • ✅
  • ❌
  • ❔
  • ✅
  • ✅
  • ✅
  • ❌
  • ❔
  • ✅
  • ✅
  • ✅ :::

(feature-x-hardware)=

Feature x Hardware

:::{list-table} :header-rows: 1 :stub-columns: 1 :widths: auto

• • Feature
  • Volta
  • Turing
  • Ampere
  • Ada
  • Hopper
  • CPU
  • AMD
• • CP
  • ❌
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • APC
  • ❌
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • LoRA
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • prmpt adptr
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ✅
• • SD
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • CUDA graph
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ✅
• • pooling
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❔
• • enc-dec
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
• • mm
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • logP
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • prmpt logP
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • async output
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ❌
• • multi-step
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ❌
  • ✅
• • best-of
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • beam-search
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
• • guided dec
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅
  • ✅ :::