Chunking: dividir bien los documentos para que la IA los encuentre
El chunking consiste en dividir documentos largos en pasajes pequeños y coherentes, llamados chunks o fragmentos, antes de indexarlos. Es un paso discreto de un RAG, pero a menudo decide la calidad de las respuestas.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|
Qué es
Dicho de forma sencilla: no se puede buscar con eficacia en un manual largo de una sola pieza, así que se divide en fichas. En un RAG, cada fragmento se convierte en un embedding y se guarda en una base de datos vectorial; ante una pregunta, solo los fragmentos más cercanos se envían al modelo. El tamaño se mide en tokens, y nuestro estimador de tokens ayuda a hacerse una idea de lo que ocupa un pasaje.
Las principales estrategias
- Tamaño fijo: cortar cada N tokens, a menudo con solapamiento. Sencillo y rápido, pero a veces corta a mitad de frase.
- División recursiva: intentar cortar primero por títulos, luego por párrafos y después por frases, hasta respetar un tamaño máximo.
- Según la estructura: seguir las secciones HTML o Markdown, las cláusulas de un contrato, las funciones de un archivo de código.
- Semántica: cortar donde cambia el tema, detectado por la variación de significado entre frases consecutivas.
La trampa del fragmento huérfano
El problema más habitual es la pérdida de contexto. Anthropic pone el ejemplo de un pasaje que indica que los ingresos crecieron respecto al trimestre anterior, sin decir de qué empresa ni de qué periodo se trata. Aislado, ese fragmento resulta casi imposible de recuperar. En su estudio sobre la Contextual Retrieval (septiembre de 2024), Anthropic propone que un modelo redacte un breve contexto de situación que se añade al principio de cada fragmento antes de indexarlo, lo que redujo claramente los fallos de recuperación en sus conjuntos de prueba.
Un ejemplo concreto
Una aseguradora de salud indexa sus condiciones generales. Divididas a tamaño fijo, la cláusula de «exclusiones» queda separada de su título: una pregunta sobre tratamientos dentales no cubiertos devuelve un pasaje sin contexto. Divididas de nuevo cláusula por cláusula, con el título de la sección repetido al inicio de cada fragmento, las mismas preguntas devuelven la cláusula correcta.
Errores frecuentes
- Elegir un tamaño al azar sin medir: pruebe varios ajustes con un conjunto de preguntas.
- Fragmentos demasiado grandes: diluyen el significado y ocupan sin necesidad la ventana de contexto.
- Fragmentos demasiado pequeños: pierden el contexto necesario para entenderlos.
- Olvidar los metadatos: fuente, fecha y sección ayudan a filtrar y a citar.
Términos relacionados: RAG, búsqueda híbrida, embedding, base de datos vectorial.
Términos relacionados
- RAG (generación aumentada por recuperación) · Técnica que primero busca pasajes relevantes en sus documentos y luego se los entrega al modelo para que base en ellos su respuesta.
- Embedding (vector semántico) · Lista de números (un vector) que representa el significado de un texto o una imagen para comparar contenidos según su cercanía de sentido.
- Base de datos vectorial · Base de datos que guarda embeddings y encuentra muy rápido los más cercanos a una consulta, es decir, los contenidos más relevantes.
- Ventana de contexto · Cantidad máxima de texto (en tokens) que un modelo puede leer y producir de una sola vez, incluida su propia respuesta.
- Búsqueda híbrida · Búsqueda que combina palabras clave exactas y búsqueda por significado (embeddings), y después fusiona ambas listas en una sola clasificación.
- Token · Pequeño fragmento de texto (palabra, parte de palabra o signo) que lee y produce un modelo de IA; unidad de medida, límite y precio.
Para probar
Todo el glosario
Preguntas frecuentes
¿Qué tamaño de fragmento conviene elegir?
No existe un tamaño ideal universal. Anthropic señala que los fragmentos suelen tener como máximo unos cientos de tokens. La elección correcta depende de sus documentos y se valida probando la búsqueda con preguntas reales.
¿Para qué sirve el solapamiento entre fragmentos?
Repetir algunas frases en la frontera entre dos fragmentos evita que una idea partida en dos se pierda. La contrapartida: más duplicados en el índice y algo más de almacenamiento.
¿Los modelos de contexto largo hacen innecesario el chunking?
Con pocos documentos, enviar el texto completo puede bastar. Con una gran base documental, dividir y seleccionar suele ser más económico y preciso, porque el modelo lee menos texto irrelevante.
¿Cómo se fragmenta una tabla o un código?
Respetando su estructura: una tabla conviene que quede entera con sus encabezados, y una función de código no debe cortarse por la mitad. Aquí los divisores que siguen la estructura del documento funcionan mejor que el corte de tamaño fijo.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.