vLLM.
Motor y servidor de inferencia para integrar modelos compatibles en aplicaciones y servicios propios.
Documentación consultada el . Las capacidades y requisitos pueden cambiar entre versiones.
Dónde encaja
Servir un modelo a varios clientes y controlar la configuración de inferencia, los formatos de respuesta y las opciones del despliegue.
Requisitos e integración
Elegir una combinación admitida de modelo, plataforma, dependencias y hardware. Comprobar la documentación de la versión que se va a ejecutar.
Límites que condicionan la decisión
La compatibilidad con formatos de la API de OpenAI no acredita equivalencia de todas las operaciones ni envía por sí sola peticiones a OpenAI. Los requisitos cambian entre versiones.
Decisiones de uso
- Servidor frente a modelo
- Fijar el identificador de los pesos y la versión del motor por separado.
- Migración verificable
- Comprobar cliente, CORS, dependencias y streaming antes de cambiar un servicio en uso.
Documentación y recursos
- Servidor y parámetros admitidos ↗
Documentación vigente: contrastar con la versión instalada.
- Versiones publicadas ↗
Notas de cambios y condiciones de actualización.
Novedades en el archivo
Artículos relacionados: 2 · Fechas originales de los acontecimientos. Este archivo no sustituye el changelog oficial.
vLLM 0.32 incorpora decisiones estructuradas y cambia requisitos del servidor
La versión incorpora /v1/systemone, amplía opciones de memoria y endurece el servidor. Al actualizar hay que revisar Python, CORS y los clientes de Responses.
Nemotron 3.5 Super VL llega a los despliegues locales: qué memoria y motor exige
NVIDIA publica pesos BF16 y NVFP4 de un modelo de 120.000 millones de parámetros, con 12.000 millones activos por token. Las recetas y el catálogo de Ollama muestran por qué no es una descarga para cualquier portátil.