Hugging Face lanza tokenizers v1, una reescritura hasta 30 veces más rápida que la anterior

Hugging Face lanzó tokenizers v1, una reescritura de su librería de tokenización motivada porque, a medida que los modelos aceleran y las cargas de trabajo escalan, el tokenizador puede convertirse en un cuello de botella computacional que priva de datos a los modelos durante entrenamiento con datasets masivos o servicio de solicitudes concurrentes.

Según la empresa, el esfuerzo de optimización abarcó las cuatro etapas del pipeline —normalización, pre-tokenización, inferencia del modelo y post-procesamiento— e incorporó ideas de proyectos como gigatoken, tiktoken y kitoken. Entre los cambios arquitectónicos, el crate único se dividió en componentes separados (tk-encode, tk-serialize, tk-convert y tk-train) para que las aplicaciones enlacen solo las dependencias necesarias. Un nuevo sistema llamado bitcannon reemplaza la división basada en expresiones regulares por operaciones de bitstream con instrucciones SIMD, procesando 64 bytes por operación de registro para identificar límites de pre-tokens. Además, una caché de palabras local por hilo evita operaciones de fusión redundantes para palabras repetidas, y el bucle de fusión fue reescrito para usar un buffer de trabajo propiedad del llamador y arreglos planos enlazados por índices posicionales, en lugar de reconstruir colas de prioridad en cada llamada.

La empresa reporta que, con una metodología de benchmarking que incluye bucles de tiempo idénticos entre motores, verificación mediante hashing FNV-1a y fijación a núcleos físicos, v1 logra una codificación entre 3 y 30 veces más rápida en un solo hilo sobre diez familias de modelos, con una escalabilidad del 76% de linealidad en ocho núcleos gracias a mejoras de paralelismo nativo.

Hugging Face destaca que v1 mantiene compatibilidad total hacia atrás, produciendo los mismos IDs de token que v0.23 y preservando APIs, vocabularios y rankings de fusión existentes. Entre las prioridades futuras antes del lanzamiento de la versión 1.0.0 se cuentan ampliar el soporte a más familias de modelos, unificar las implementaciones de codificación y desarrollar codificación acelerada por GPU. Fuente: Hugging Face, 21 de septiembre de 2026.