Reranking: llevar los pasajes correctos al primer puesto

Definición

Dicho de forma sencilla: la primera búsqueda echa una red amplia y rápida; el reranking ordena después la captura con cuidado. Se habla de búsqueda en dos etapas, retrieve then rerank.

La primera etapa usa embeddings calculados de antemano, palabras clave o ambos mediante la búsqueda híbrida. Es rápida pero aproximada: la pregunta y los documentos nunca se «ven» directamente. El reranker, a menudo un cross-encoder, recibe en cambio la pregunta y un pasaje en la misma entrada y produce una puntuación de pertinencia. Capta matices (negaciones, nivel de detalle pedido, contexto) que la similitud entre vectores pasa por alto.

Referencias históricas

Reordenar resultados es una idea antigua en recuperación de información. Su aplicación a los modelos de lenguaje modernos la popularizó el artículo de Nogueira y Cho, publicado en arXiv en enero de 2019, en el que un modelo BERT usado como reranker alcanzó el primer puesto en la clasificación de MS MARCO. El banco de pruebas BEIR (2021) mostró después que los modelos de reranking están entre los que mejor generalizan, a cambio de un coste de cálculo elevado.

Un ejemplo concreto

Un despacho de abogados consulta su base: «Plazo de preaviso cuando el inquilino rescinde un arrendamiento de local comercial». La búsqueda vectorial devuelve veinte pasajes parecidos, varios sobre alquileres de vivienda y uno sobre la rescisión por parte del arrendador. El reranker relee cada pasaje junto a la pregunta y sube el que trata exactamente del inquilino y del local comercial. El modelo de un RAG recibe entonces los tres mejores pasajes en lugar de veinte aproximados: respuesta más precisa y prompt más corto.

Por qué importa

• Precisión: Anthropic indica, en sus conjuntos de prueba de septiembre de 2024, que añadir reranking a su método redujo todavía más los fallos de recuperación.
• Coste: enviar menos pasajes, pero mejores, reduce los tokens consumidos.
• Contrapartida: cada candidato reordenado añade cálculo y, por tanto, latencia.

Ideas falsas habituales

• «Basta con un buen modelo de embeddings.» Las dos etapas cumplen funciones distintas: primero cobertura, después precisión.
• «Más candidatos siempre es mejor.» A partir de cierto punto, la ganancia queda anulada por la latencia.

Términos relacionados: búsqueda semántica, búsqueda híbrida, RAG, embedding.