Búsqueda híbrida: lo mejor de las palabras clave y del significado

Definición

Dicho de forma sencilla: se consulta a dos motores a la vez, uno que busca las palabras exactas y otro que busca el significado, y se combinan sus respuestas. La búsqueda por palabras clave (normalmente con el algoritmo BM25) destaca con términos raros e identificadores. La búsqueda semántica compara embeddings, vectores que representan el significado, y encuentra las paráfrasis. Cada una tiene puntos ciegos que la otra cubre.

Cómo se fusionan los resultados

Las dos puntuaciones no son comparables: una nota BM25 y una similitud coseno no usan la misma escala. Predominan dos familias de fusión:

• Fusión por posiciones: la más conocida es la Reciprocal Rank Fusion (RRF), descrita por Cormack y sus coautores en 2009. En cada lista, un documento recibe 1 / (k + posición) y luego se suman las contribuciones. En la documentación de Elasticsearch, k vale 60 por defecto. Ventaja: no hay que calibrar las puntuaciones.
• Fusión por puntuaciones normalizadas: cada puntuación se lleva a una escala común antes de ponderarla. Weaviate ofrece ambos enfoques, con un parámetro alpha para equilibrar vectores y palabras clave.

Un ejemplo concreto

El soporte de un fabricante de impresoras recibe: «Mi impresora muestra E-4012 y ya no enciende». La búsqueda semántica encuentra artículos sobre «problemas de alimentación», pero clasifica mal la ficha que menciona exactamente el código E-4012. BM25 encuentra esa ficha, pero se le escapa una guía titulada «el equipo no arranca». La fusión coloca ambas arriba y el modelo de un RAG recibe el contexto adecuado.

Por qué importa

El banco de pruebas BEIR (2021) mostró que BM25 sigue siendo una referencia robusta frente a modelos de recuperación densa en dominios variados. Y en su estudio sobre la Contextual Retrieval (septiembre de 2024), Anthropic indica que combinar embeddings y BM25 redujo los fallos de recuperación más que los embeddings solos, en sus conjuntos de prueba. La calidad final depende también de la fragmentación de los documentos y de una posible etapa de reranking.

Ideas falsas habituales

• «Los embeddings han dejado obsoletas las palabras clave.» Con códigos, nombres y referencias exactas, a menudo ocurre lo contrario.
• «Híbrido significa el doble de lento.» Las dos consultas se ejecutan en paralelo; en la práctica, el coste añadido suele ser pequeño frente a la llamada al modelo.
• «Un ajuste sirve para cualquier corpus.» El equilibrio adecuado depende de sus documentos y de sus preguntas, y hay que medirlo.

Términos relacionados: base de datos vectorial, búsqueda semántica, reranking, RAG.