Qué son los embeddings y para qué se utilizan

Un embedding es una forma de representar el significado de algo —una palabra, una frase, un documento e incluso una imagen— como una lista de números, técnicamente llamada vector. Existe porque las computadoras no entienden el lenguaje como nosotros, solo saben operar con números, de modo que hace falta un puente entre el significado y algo que la máquina pueda manipular. Un modelo entrenado se encarga de convertir cada texto en esa lista de números, y lo hace de una manera muy particular: construye los vectores de modo que los textos con significado parecido queden representados por listas de números parecidas, y los de significado distinto por listas alejadas. Se puede imaginar como asignarle a cada texto una posición en un enorme mapa donde la cercanía entre dos puntos refleja cuán parecido es su significado. Gracias a esa propiedad, comparar significados se vuelve tan simple como medir distancias entre vectores, que es algo que una computadora hace con enorme facilidad y rapidez.

Lo hacen a través de un modelo de embeddings entrenado sobre enormes cantidades de texto. Al procesar millones y millones de ejemplos de cómo se usan las palabras en su contexto, el modelo aprende qué significados están relacionados entre sí y organiza su representación interna de modo que ubica cerca los conceptos parecidos y lejos los distintos. El resultado, para cada texto que se le da, es una lista que puede contener desde cientos hasta miles de números, donde cada uno aporta una fracción de la representación del significado. Es importante entender que estos números no son interpretables uno por uno: no tiene sentido preguntarse qué representa el número en la posición cincuenta, porque el significado está codificado en el conjunto y en la posición global del vector, no en valores individuales. Lo que importa, y lo que hace útiles a los embeddings, es esa propiedad del conjunto: que la ubicación del vector en el espacio refleja el significado del texto, de manera que comparar ubicaciones equivale a comparar significados.

La búsqueda semántica es la que encuentra resultados por lo que significan, y no por la coincidencia exacta de las palabras. La búsqueda tradicional, por palabra clave, funciona comparando los términos de la consulta con los términos de los textos: si buscás dar de baja, no encontrará un documento que dice cancelar suscripción, porque las palabras no coinciden, aunque el significado sea prácticamente el mismo. La búsqueda semántica, apoyada en embeddings, resuelve exactamente ese problema: convierte tanto la consulta como los textos en vectores y busca los que están más cerca en significado, de modo que reconoce que dar de baja el servicio y cancelar la suscripción se refieren a lo mismo aunque no compartan ni una palabra. Esto la hace mucho más potente para casos donde las personas expresan la misma idea de formas muy variadas, como en atención al cliente, documentación o bases de conocimiento. La contrapartida es que requiere generar y almacenar embeddings, y para grandes volúmenes, una base de datos vectorial que permita encontrar los vectores más cercanos con rapidez.

Los embeddings son el motor que hace posible RAG, que es la técnica de responder preguntas apoyándose en documentos propios. El desafío de RAG es, dada una pregunta, encontrar entre muchos documentos los fragmentos que realmente contienen la información relevante para responderla, y hacerlo por significado y no por coincidencia de palabras. Ahí entran los embeddings: al preparar el sistema, se dividen los documentos en fragmentos y se calcula el embedding de cada uno, guardándolos en una base de datos vectorial. Cuando llega una pregunta, se calcula su embedding y se buscan los fragmentos cuyos vectores están más cerca, es decir los más parecidos en significado a la pregunta. Esos fragmentos recuperados se le entregan luego a un modelo de lenguaje junto con la pregunta, para que construya la respuesta basándose en información real en lugar de en su memoria general. Sin embeddings no habría forma eficiente de recuperar por significado, así que constituyen la base sobre la que se apoya todo el enfoque de RAG.

Es un tipo de base de datos diseñada específicamente para almacenar embeddings y, sobre todo, para encontrar con rapidez los vectores más cercanos a uno dado. El problema que resuelve es de escala: cuando se tienen millones de embeddings, comparar la consulta contra todos ellos uno por uno para hallar los más parecidos sería demasiado lento. Las bases de datos vectoriales usan estructuras e índices especializados que permiten localizar los vecinos más cercanos de forma aproximada pero muy veloz, sin necesidad de recorrer todo el conjunto. Además suelen ofrecer funcionalidades pensadas para estos usos, como filtrar por metadatos junto con la búsqueda por similitud. Existen tanto bases de datos vectoriales dedicadas como extensiones que agregan esta capacidad a bases de datos tradicionales. Para proyectos pequeños puede alcanzar con soluciones simples en memoria, pero a medida que el volumen crece, una base de datos vectorial se vuelve la pieza que hace viable la búsqueda semántica y sistemas como RAG a gran escala.

No en el sentido en que una persona entiende, y conviene ser claro con esto para no atribuirles capacidades que no tienen. Los embeddings capturan patrones estadísticos de cómo se usan las palabras y los conceptos en grandes cantidades de texto, y esa captura es lo bastante buena como para que la cercanía entre vectores refleje muy bien la similitud de significado en la mayoría de los casos. Pero eso no es comprensión real: el modelo no sabe qué es un perro ni tiene experiencia del mundo, solo ha aprendido regularidades del lenguaje. En la práctica esto tiene consecuencias que hay que tener presentes. A veces dos textos pueden quedar cerca por un parecido superficial más que por una verdadera equivalencia de sentido, y la calidad de los embeddings depende enteramente del modelo que los genera, de modo que un modelo pobre produce representaciones pobres. Por eso, en aplicaciones donde los errores importan, los resultados de una búsqueda por similitud deben verificarse y no tomarse como una verdad absoluta, sino como una muy buena aproximación.