vLLM sirve modelos desde infraestructura propia y ofrece una API a las aplicaciones que los utilizan.
vLLM 0.32 incorpora decisiones estructuradas y cambia requisitos del servidor
La versión incorpora /v1/systemone, amplía opciones de memoria y endurece el servidor. Al actualizar hay que revisar Python, CORS y los clientes de Responses.
Contexto esencialCómo encajan el modelo, el servidor y el cliente, y qué significa actualizar cada una de esas piezas.Minimizar
El modelo no es el servidor
Los pesos representan lo aprendido durante el entrenamiento. Para utilizarlos hace falta un motor que cargue esos datos y ejecute las operaciones. Un servidor añade una interfaz para recibir peticiones de otras aplicaciones. vLLM ocupa esa capa de ejecución y servicio; actualizarlo no equivale a entrenar ni sustituir el modelo.
El cliente puede ser una interfaz de chat o un proceso que resume documentos. Aunque dos servidores acepten un formato de petición parecido, hay que comprobar qué operaciones, modelos y respuestas admite cada uno. La compatibilidad se comprueba sobre el recorrido completo.
Responder con texto o tomar una decisión estructurada
En una conversación suele ser útil una explicación libre. En un flujo de clasificación interesa una salida que el programa pueda interpretar sin adivinar dónde termina una frase. Por ejemplo, un sistema podría escoger una categoría entre varias previamente definidas. El consumidor de la respuesta necesita conocer el formato esperado y tratar los casos que no permitan decidir.
La estructura facilita integrar el resultado, pero no demuestra que la clasificación sea correcta. El diseño debe separar la forma de la respuesta, su calidad y las consecuencias de actuar con ella.
Por qué una actualización puede afectar a la interfaz
Un navegador identifica el origen de una web por protocolo, dominio y puerto. Las reglas CORS determinan qué lecturas entre orígenes permite. Por eso una interfaz puede dejar de leer respuestas aunque el motor siga funcionando. El diagnóstico debe distinguir un rechazo del navegador de un error al cargar el modelo.
Un ensayo útil antes de migrar
Como prueba orientativa, conserva una petición representativa y comprueba por separado carga del modelo, respuesta normal, streaming y acceso desde tu interfaz. Registra versiones y configuración para poder comparar. Este procedimiento no se ha ejecutado aquí: sirve para evitar atribuir todos los fallos al mismo componente y para decidir con qué evidencia cambiar el servicio.
vLLM 0.32.0 añade un endpoint para decisiones estructuradas: /v1/systemone permite plantear preguntas de elección, sí/no y puntuación sobre un estado. Es una vía distinta de pedir un párrafo y extraer después su respuesta; requiere un modelo compatible.
La actualización también amplía la caché KV de baja precisión y añade parsers genéricos que leen response_template del checkpoint. La compatibilidad depende del modelo, del hardware y de la configuración: no convierte cualquier servidor en equivalente ni garantiza las mejoras de rendimiento publicadas.
Hay cambios que afectan a una migración real. Se retira Python 3.10 y CORS deja de aceptar todos los orígenes por defecto. Además, cambian nombres de eventos de razonamiento en streaming de Responses. Conviene comprobar el entorno, el dominio de la interfaz web y cómo procesa esos eventos el cliente antes de sustituir un servicio en uso.
A tener en cuenta
No se ha desplegado ni medido esta versión aquí. Los resultados de las notas pertenecen a configuraciones concretas de sus autores.