llama.cpp ejecuta modelos en distintos procesadores; SYCL es una de sus vías para utilizar GPU Intel compatibles.
llama.cpp corrige respuestas corruptas y cierres con IQ3 en el backend SYCL de Intel
La compilación b11784 incorpora la corrección de IQ3_S e IQ3_XXS. El autor documenta el fallo en una Intel Arc Pro B70; no es una reparación general de cualquier error de inferencia.
Contexto esencialCómo distinguir modelo, cuantización, backend y compilación al investigar un fallo de IA local.Minimizar
Cuatro nombres que responden a preguntas diferentes
El nombre del modelo describe una familia o variante. La cuantización indica cómo se representan sus pesos. El backend selecciona la implementación de cálculo para el hardware. La compilación identifica el código concreto ejecutado. Un informe útil conserva esas cuatro piezas, porque cambiar una sola puede modificar el comportamiento.
Por eso no basta con decir que un modelo funciona mal en un ordenador. La misma familia puede utilizar otro archivo o una ruta de ejecución diferente, y una aplicación puede incluir una compilación anterior del motor.
Una optimización también cambia la representación
Para acelerar el cálculo se pueden reorganizar los datos sin cambiar la finalidad matemática del modelo. Esa reorganización exige que las operaciones posteriores sepan cómo leerlos. Si una ruta conserva una interpretación anterior, el resultado puede ser incorrecto aunque los archivos originales no estén dañados.
En un caso así, descargar de nuevo los mismos pesos no demuestra que se haya resuelto la causa. Primero hay que relacionar el síntoma con la implementación y la configuración descritas por la corrección.
Texto generado no significa cálculo correcto
Un servidor puede devolver texto y, aun así, producir resultados corruptos. Los cierres son visibles; una salida numéricamente incorrecta puede ser más difícil de identificar. Por eso el diagnóstico técnico utiliza pruebas de operaciones y casos reproducibles además de una conversación informal.
Un ejemplo para comprobar sin mezclar cambios
Una comparación orientativa mantendría la misma petición, archivo de modelo y opciones, modificando únicamente la compilación que contiene el arreglo. Después revisaría resultado, errores y estabilidad. No se ha hecho esa prueba aquí. Su valor es evitar atribuir una diferencia a la reparación cuando también se ha cambiado el modelo, la precisión o el hardware.
llama.cpp ha integrado la corrección #30604 en la compilación preliminar b11784. Afecta al backend SYCL y a cómo determinadas operaciones leen tensores IQ3_S e IQ3_XXS después de reorganizar sus datos.
La propuesta describe respuestas corruptas, valores no válidos y cierres del servidor en la configuración analizada. El autor aporta pruebas sobre una Intel Arc Pro B70 y añade comprobaciones de regresión. Son resultados de ese entorno, no mediciones propias ni una afirmación sobre todas las GPU Intel.
Para una instalación afectada, comprueba que el binario realmente contiene el cambio y conserva modelo, cuantización y opciones al comparar. Que el proyecto publique una compilación no implica que LM Studio, Ollama u otra aplicación ya la haya incorporado. La etiqueta b11784 sigue marcada como pre-release.
A tener en cuenta
No se propone cambiar producción a una compilación preliminar sin validar el caso. No se conocen aquí todos los equipos o binarios afectados.