Historial de revisiones.

Categoría: IA local · Sección: IA local

Fecha de la noticia: 2026-10-15

Contexto del titular: llama.cpp es un motor de inferencia para ejecutar modelos descargados y ofrecerlos mediante un servidor local.

llama.cpp 0.7 aprovecha la GPU para expertos MoE que no caben completos en ella

Una nueva caché mantiene en GPU los expertos más utilizados aunque los pesos residan en RAM. La actualización también cambia el puerto predeterminado del servidor a 9931; Docker conserva 8080 dentro del contenedor.

Resumen: Más opciones cuando la VRAM es el límite; atención al puerto de tus clientes.

Por qué importa: Permite evaluar otra forma de repartir memoria entre CPU y GPU, conservando trazabilidad de los resultados.

llama.cpp 0.7.0, publicada el 15 de octubre, incorpora una caché de GPU para expertos de modelos MoE conservados en la memoria principal. En lugar de procesarlos siempre fuera de la GPU, mantiene un conjunto reutilizable y transfiere los expertos que faltan. El ajuste se expone como --moe-cache-mib, expresado en MiB.

La propuesta original documenta mejoras de generación con una configuración concreta de Qwen3.8-Flash-Next, una CPU EPYC y GPU RTX 4090 o 5090. Es una técnica interesante cuando los expertos no caben completos en VRAM; esos ensayos no demuestran la misma ganancia en cualquier tarjeta, modelo o contexto. La descripción limita la ruta de caché a lotes pequeños y conserva otra ruta para los grandes.

La versión añade además soporte para nuevos modelos, mejoras de restauración de caché de prompts y técnicas de generación especulativa. No hay que confundir los requisitos de estas funciones: una caché de expertos y un modelo auxiliar de especulación utilizan memoria de forma distinta.

Hay un cambio inmediato para las integraciones: llama-server pasa de 8080 a 9931 como puerto predeterminado, mientras las imágenes Docker mantienen 8080 dentro del contenedor. Antes de actualizar, revisa la URL de los clientes y el mapeo de puertos. Una aplicación que incorpora llama.cpp como dependencia no adopta automáticamente esta versión ni sus nuevos valores.

Para evaluar la caché, conserva el modelo y su cuantización, la longitud de contexto y la carga de peticiones; compara memoria, tiempo de respuesta y velocidad de generación con y sin ella. Las notas de la versión y la propuesta original permiten reproducir el punto de partida, pero no sustituyen una prueba en tu equipo.

A tener en cuenta: Resultados atribuidos al autor de la implementación, sin pruebas propias. No es una ampliación física de VRAM ni una aceleración garantizada.

Estado en esta versión: Contrastada con fuentes.

Herramientas relacionadas: llama-cpp

Fuentes conservadas

• llama.cpp: versión 0.7.0
• Implementación y pruebas de la caché de expertos
• Cambio del puerto predeterminado