llama.cpp 0.7 aprovecha la GPU para expertos MoE que no caben completos en ella

llama.cpp 0.7.0, publicada el 15 de octubre, incorpora una caché de GPU para expertos de modelos MoE conservados en la memoria principal. En lugar de procesarlos siempre fuera de la GPU, mantiene un conjunto reutilizable y transfiere los expertos que faltan. El ajuste se expone como --moe-cache-mib, expresado en MiB.

La propuesta original documenta mejoras de generación con una configuración concreta de Qwen3.8-Flash-Next, una CPU EPYC y GPU RTX 4090 o 5090. Es una técnica interesante cuando los expertos no caben completos en VRAM; esos ensayos no demuestran la misma ganancia en cualquier tarjeta, modelo o contexto. La descripción limita la ruta de caché a lotes pequeños y conserva otra ruta para los grandes.

La versión añade además soporte para nuevos modelos, mejoras de restauración de caché de prompts y técnicas de generación especulativa. No hay que confundir los requisitos de estas funciones: una caché de expertos y un modelo auxiliar de especulación utilizan memoria de forma distinta.

Hay un cambio inmediato para las integraciones: llama-server pasa de 8080 a 9931 como puerto predeterminado, mientras las imágenes Docker mantienen 8080 dentro del contenedor. Antes de actualizar, revisa la URL de los clientes y el mapeo de puertos. Una aplicación que incorpora llama.cpp como dependencia no adopta automáticamente esta versión ni sus nuevos valores.

Para evaluar la caché, conserva el modelo y su cuantización, la longitud de contexto y la carga de peticiones; compara memoria, tiempo de respuesta y velocidad de generación con y sin ella. Las notas de la versión y la propuesta original permiten reproducir el punto de partida, pero no sustituyen una prueba en tu equipo.