SGLang sirve modelos a otras aplicaciones; en Mac puede utilizar motores diferentes para aprovechar la GPU de Apple.
SGLang 0.5.22 permite usar PyTorch en Mac, con límites distintos de MLX
La versión incorpora la ruta estándar de PyTorch sobre MPS en Apple silicon y exige Python 3.11 o posterior. Esa ruta todavía excluye pesos cuantizados, modelos multimodales y varias opciones avanzadas.
Contexto esencialCómo encajan servidor, motor y modelo, y por qué una nueva ruta en Mac no equivale a compatibilidad universal.Minimizar
El servidor organiza el trabajo
Un modelo aporta pesos y una arquitectura; el servidor recibe solicitudes de las aplicaciones, organiza su ejecución y entrega resultados. Separar estas capas permite cambiar la aplicación cliente sin sustituir necesariamente los pesos. También permite localizar si un problema aparece antes de cargar el modelo o durante la respuesta.
Para un desarrollador, importa que el servidor pueda reproducir el comportamiento que necesita estudiar. Una demostración que genera texto no comprueba por sí sola las opciones que utilizará después una integración real.
Qué significa elegir un backend
El backend conecta las operaciones del programa con el equipo que las ejecuta. PyTorch permite colocar datos y operaciones en un dispositivo MPS; ese trabajo utiliza la tecnología Metal de Apple. MLX constituye otra ruta, con sus propias decisiones de ejecución.
Por tanto, la elección no es solo Mac frente a otro sistema. Hay que combinar equipo, motor, pesos y funciones solicitadas. La disponibilidad general de un backend no acredita que todas las funciones de una aplicación estén implementadas sobre él.
La compatibilidad se comprueba por capas
Antes de una comparación conviene fijar qué se va a observar: que el modelo cargue, que responda correctamente a una tarea o que mantenga una latencia aceptable. Son preguntas diferentes. Un equipo puede superar una y no otra. El tamaño de la conversación y el trabajo simultáneo también forman parte de la configuración.
Un ejemplo de evaluación útil
Imagina que mantienes un cliente que consulta un servidor local. Un ensayo orientativo empezaría con un modelo admitido y una solicitud pequeña cuyo resultado puedas revisar. Después añadirías únicamente las opciones necesarias para tu caso y anotarías el punto donde deja de funcionar. Es una propuesta de comprobación, no una prueba realizada por este diario. Su utilidad es evitar atribuir al modelo una limitación del motor o cambiar de hardware antes de identificar la causa.
SGLang 0.5.22 añade la ejecución en Apple silicon mediante el motor estándar de PyTorch, además de la ruta MLX existente. La versión requiere Python 3.11 o posterior. Interesa a desarrolladores que quieren trabajar con el planificador y el ejecutor principal del servidor desde un Mac.
La integración MPS calcula la capacidad con el presupuesto recomendado por Metal, en lugar de asumir que toda la memoria física está disponible para la GPU. El cambio conserva la ruta MLX y rechaza de antemano configuraciones no admitidas: entre ellas, pesos cuantizados, multimodalidad y decodificación especulativa en la ruta estándar MPS.
La compatibilidad debe evaluarse por motor y modelo. Esta incorporación no significa que cualquier checkpoint utilizado con MLX funcione también en PyTorch, ni acredita mayor velocidad. Antes de trasladar un servicio, comprueba la versión efectiva, las restricciones y una muestra de respuestas de tu tarea.
A tener en cuenta
No se ha instalado ni medido aquí. Los límites descritos corresponden a la ruta estándar MPS, no a una retirada de funciones de MLX.