SGLang.
Servidor de inferencia para integrar modelos de lenguaje y multimodales con distintas rutas de ejecución.
Documentación consultada el . Las capacidades y requisitos pueden cambiar entre versiones.
Dónde encaja
Ofrecer un modelo a aplicaciones propias y estudiar su compatibilidad, planificación y consumo bajo una configuración reproducible.
Requisitos e integración
Modelo, backend, hardware y dependencias compatibles. Revisar la documentación de la versión instalada y los límites específicos de cada ruta.
Límites que condicionan la decisión
Que el proyecto admita una plataforma no significa paridad de funciones entre sus motores. Una nota de rendimiento no garantiza resultados para otra carga o equipo.
Decisiones de uso
- Elegir la ruta antes de descargar
- Comprobar formato de pesos y funciones solicitadas en el backend concreto.
- Separar corrección y rendimiento
- Revisar primero el resultado de una muestra y después latencia, memoria y concurrencia.
Documentación y recursos
- Versiones y compatibilidad ↗
Cambios y requisitos por versión.
- Integración MPS para Mac ↗
Diseño y restricciones de la ruta estándar PyTorch.
Novedades en el archivo
Artículos relacionados: 2 · Fechas originales de los acontecimientos. Este archivo no sustituye el changelog oficial.
SGLang 0.5.22 permite usar PyTorch en Mac, con límites distintos de MLX
La versión incorpora la ruta estándar de PyTorch sobre MPS en Apple silicon y exige Python 3.11 o posterior. Esa ruta todavía excluye pesos cuantizados, modelos multimodales y varias opciones avanzadas.
Nemotron 3.5 Super VL llega a los despliegues locales: qué memoria y motor exige
NVIDIA publica pesos BF16 y NVFP4 de un modelo de 120.000 millones de parámetros, con 12.000 millones activos por token. Las recetas y el catálogo de Ollama muestran por qué no es una descarga para cualquier portátil.