llama.cpp.
Motor de inferencia en C/C++ para modelos descargados, con servidor local y backends para distintas CPU y GPU.
Documentación consultada el . Las capacidades y requisitos pueden cambiar entre versiones.
Dónde encaja
Servir modelos a una interfaz o aplicación y comparar directamente variantes, reparto de memoria y parámetros de ejecución.
Requisitos e integración
Elegir una versión y binario compatibles con sistema, GPU y modelo. Reservar memoria para pesos, contexto, cachés y concurrencia; los requisitos cambian con la cuantización.
Límites que condicionan la decisión
Las aplicaciones que lo integran pueden distribuir otra versión. Las notas upstream no demuestran que una función esté ya disponible en LM Studio u Ollama.
Decisiones de uso
- Versión antes que función
- Fijar versión semántica o build exacta, modelo y backend. Comprobar que las opciones utilizadas existen en ese binario.
- Medir la combinación completa
- Comparar el mismo trabajo y contexto; registrar memoria, latencia inicial y velocidad. Una mejora publicada para otra GPU no es una predicción de la propia.
Documentación y recursos
- Repositorio y documentación del proyecto ↗
Punto de entrada oficial para instalación, modelos y backends.
- Versión 0.7.0 ↗
Cambios de octubre: caché de expertos, modelos y puerto del servidor.
Novedades en el archivo
Artículos relacionados: 4 · Fechas originales de los acontecimientos. Este archivo no sustituye el changelog oficial.
LM Studio en Mac y Windows: qué motor elegir y cómo conectar tus aplicaciones
La elección entre llama.cpp, MLX y Splash depende del equipo y del modelo. La versión 0.4.26 añade CUDA 13 en Windows ARM y mejora la convivencia con Bionic; una guía de AMD concreta la configuración de memoria en Ryzen AI.
Mac Studio para IA local: cuándo importa la memoria y cuándo el motor
M5 Max llega hasta 128 GB y M5 Ultra anuncia hasta 512 GB, con distinta disponibilidad. Para elegir conviene cruzar pesos, contexto y motor compatible, en lugar de comparar solo cifras de potencia.
llama.cpp 0.7 aprovecha la GPU para expertos MoE que no caben completos en ella
Una nueva caché mantiene en GPU los expertos más utilizados aunque los pesos residan en RAM. La actualización también cambia el puerto predeterminado del servidor a 9931; Docker conserva 8080 dentro del contenedor.
Ollama cambia la preparación de modelos propios
En la versión estable 0.34.1, crear modelos MLX desde safetensors deja de ser experimental. Para generar GGUF a partir de esos pesos, la conversión y cuantización pasan a herramientas externas.