Hugging Face incorpora soporte para modelos GGUF cuantizados de llama.cpp en transformers

Hugging Face anunció que la librería transformers ahora ejecuta modelos en formato GGUF, permitiendo cargar checkpoints optimizados en memoria mediante las interfaces habituales de transformers. Según la publicación, basta con elegir un archivo GGUF en el Hub, cargarlo con from_pretrained y comenzar a generar texto localmente. GGUF, desarrollado por el equipo de llama.cpp, es un formato ampliamente usado para inferencia local que empaqueta pesos del modelo, metadatos, información del tokenizador y plantillas de chat opcionales en un solo archivo, con distintos niveles de cuantización que intercambian precisión por menor uso de memoria.

Hugging Face detalla que variantes de cuantización como Q4_K_M combinan precisiones de tensores, manteniendo la mayoría de los pesos en 4 bits mientras conservan mayor precisión en los tensores más sensibles; como ejemplo, citan el modelo Qwen3.5-4B de Unsloth, que pasa de 8,42 GB sin cuantizar a 2,74 GB en Q4_K_M. La documentación recomienda comenzar con Q4_K_M y probar variantes de mayor precisión si se dispone de más memoria. Cargar un modelo GGUF requiere un Mac con Apple Silicon, una versión compatible de PyTorch y la última versión de transformers, que carga automáticamente kernels de Metal compatibles con ggml y usa ggml-org/ggml-attn como implementación de atención, con alternativas de respaldo disponibles.

Los mismos checkpoints pueden servirse mediante transformers serve, que expone una API compatible con OpenAI, permitiendo conectar clientes como Jan o Pi mediante un proveedor personalizado. En pruebas comparativas con tres checkpoints GGUF en una MacBook Pro M2 Max, Hugging Face reporta que transformers se acerca al desempeño de llama.cpp en los tres modelos evaluados, aunque la compañía señala que llama.cpp sigue siendo el motor recomendado para inferencia local eficiente, mientras que la integración con transformers facilita experimentar con GGUF en Python, inspeccionar activaciones intermedias, evaluar checkpoints cuantizados y ajustar modelos a partir de checkpoints cuantizados.

Entre las limitaciones actuales, la ruta de inferencia empaquetada es inicialmente exclusiva de MPS, los lotes con relleno (padding) requieren optimización adicional, y la cobertura de arquitecturas se centra por ahora en las variantes densas y de mezcla de expertos de Qwen3.5, con expansión gradual planificada.