M365Con 2027 – conferencia online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

El problema de los mil millones de vectores en Azure AI Search

By ·

Te damos la bienvenida a nuestro análisis en profundidad de uno de los desafíos más urgentes de la inteligencia artificial empresarial actual: escalar la búsqueda vectorial a miles de millones de registros. Si has trabajado con sistemas modernos de generación aumentada por recuperación (RAG), motores de búsqueda semántica o asistentes de IA, seguramente has visto la velocidad a la que se acumulan

Automatically translated with AI from the original post. Read the English original

Te damos la bienvenida a nuestro análisis en profundidad de uno de los desafíos más urgentes de la inteligencia artificial empresarial actual: escalar la búsqueda vectorial a miles de millones de registros. Si has trabajado con sistemas modernos de generación aumentada por recuperación (RAG), motores de búsqueda semántica o asistentes de IA, seguramente has visto la velocidad a la que se acumulan los datos. Cuando las organizaciones ingieren millones (y, a veces, miles de millones) de documentos, imágenes e interacciones de usuarios, las arquitecturas de búsqueda tradicionales empiezan a ceder bajo la presión. Por eso, entender cómo funciona la indexación de vectores a escala de miles de millones ya no es opcional para arquitectos y desarrolladores; es esencial.

En esta entrada, analizaremos los obstáculos técnicos de los espacios vectoriales de alta dimensión, compararemos dos de los algoritmos de indexación basados en grafos más destacados del sector, el Hierarchical Navigable Small World (HNSW) y el DiskANN de Microsoft, y veremos cómo Azure AI Search te permite manejar estas cargas de trabajo de forma eficiente. Tanto si estás ajustando parámetros de memoria, intentando controlar los costes de infraestructura de hardware o buscando maximizar el recall de las búsquedas, esta guía te proporcionará la hoja de ruta técnica que necesitas. Si prefieres una explicación en formato audio de estos conceptos, no te pierdas el episodio de podcast relacionado HNSW vs DiskANN for Vector Search in Azure AI Search en M365 FM.

El problema de los mil millones de vectores en Azure AI Search

Desafíos de la búsqueda vectorial a escala de miles de millones

Te enfrentas al problema de los mil millones de vectores cuando necesitas indexar y buscar en conjuntos de datos masivos dentro de la IA empresarial. Trabajar con miles de millones de vectores plantea retos técnicos específicos. Debes construir sistemas de indexación eficientes que puedan procesar datos a gran escala sin ralentizarse. Las actualizaciones en tiempo real son importantes porque quieres que los resultados de búsqueda sigan siendo actuales y relevantes. Gestionar los embeddings de alta dimensión también es clave para obtener resultados precisos.

Cuando trabajas con conjuntos de datos de escala de miles de millones, te encuentras con varias limitaciones:

  • La alta dimensionalidad aumenta los costes computacionales y puede ralentizar el rendimiento de la búsqueda.
  • La brecha semántica entre las representaciones vectoriales y el significado real puede provocar imprecisiones.
  • La recolección de elementos no utilizados es difícil, lo que complica eliminar información obsoleta de los índices.
  • La calidad de los vectores depende del modelo de embeddings que elijas, y eso afecta a la precisión de la búsqueda.
  • La escalabilidad dispara los requisitos de memoria y puede aumentar los tiempos de búsqueda.
  • El problema del arranque en frío dificulta buscar elementos nuevos sin buenas representaciones vectoriales.
  • La interpretabilidad es baja, así que entender por qué aparece un resultado de búsqueda puede resultar complicado.

Estos desafíos hacen que el problema de los mil millones de vectores sea uno de los más complejos de la IA moderna.

Por qué importa la elección del algoritmo

La elección del algoritmo influye directamente en cómo resuelves el problema de los mil millones de vectores. Si optas por un algoritmo como HNSW, obtienes un acceso rápido y búsquedas eficientes sobre grandes conjuntos de datos. Sin embargo, necesitas mucha RAM, lo que puede elevar los costes. Otros algoritmos, como el KNN exhaustivo, ofrecen una gran precisión, pero requieren mucho más cómputo, por lo que son más adecuados para conjuntos de datos pequeños. El algoritmo adecuado te ayuda a equilibrar velocidad, precisión y uso de recursos. Puedes optimizar el rendimiento de tu aplicación específica ajustando el algoritmo a tus necesidades. Esta decisión determina lo bien que gestionas conjuntos de datos masivos y cuánto gastas en hardware.

Descripción general de Azure AI Search

Azure AI Search te ofrece una plataforma potente para abordar el problema de los mil millones de vectores. Puedes preprocesar tus datos con herramientas avanzadas de limpieza y enriquecimiento, lo que mejora la calidad de tus vectores antes de indexarlos. La plataforma organiza tu información en una base de datos vectorial diseñada para tareas de recuperación y para las necesidades actuales de búsqueda. Además, cuentas con funciones robustas de búsqueda y recuperación, incluido el procesamiento de lenguaje natural para la comprensión semántica. La seguridad es sólida, con cifrado y controles de acceso que protegen tus datos.

Azure AI Search se integra sin problemas con otros servicios de Microsoft Azure y con plataformas de terceros. Puedes usar la búsqueda híbrida, que combina la búsqueda por palabras clave y la búsqueda vectorial para obtener los mejores resultados. La clasificación y el ajuste de relevancia te permiten modificar la forma en que aparecen los resultados de búsqueda, haciéndolos más útiles para tus usuarios. La plataforma también ofrece experiencias de búsqueda inteligentes, como el autocompletado y los resultados sugeridos. Construido sobre la infraestructura global de Azure, Azure AI Search ofrece la escala y la fiabilidad que necesitas para conjuntos de datos masivos y proyectos de datos a gran escala.

Índice basado en grafos: HNSW y DiskANN

Graph-Based Index: HNSW and DiskANN

Qué es HNSW

Es posible que hayas oído hablar de HNSW, que significa hierarchical navigable small world (mundo pequeño navegable jerárquico). Este algoritmo de índice basado en grafos te ayuda a encontrar vectores similares con rapidez en conjuntos de datos grandes. HNSW construye una estructura de grafo multicapa que conecta los puntos de datos de forma que la búsqueda sea rápida y precisa. Cada capa del grafo tiene una densidad distinta: las capas superiores tienen menos nodos y las inferiores tienen más. Este diseño te permite empezar la búsqueda desde arriba y descender, reduciendo los resultados a medida que avanzas. HNSW está optimizado para la búsqueda vectorial en memoria, por lo que mantiene todo el grafo en RAM. Este enfoque ofrece resultados con baja latencia, pero también significa que necesitas mucha memoria cuando el conjunto de datos crece.

Qué es DiskANN

DiskANN es la respuesta de Microsoft a los desafíos de la búsqueda vectorial a escala de miles de millones. Este índice basado en grafos utiliza un enfoque híbrido que combina memoria y almacenamiento SSD. DiskANN te permite almacenar la mayor parte del índice en SSD, que son mucho más baratos que la RAM. Solo mantienes en memoria los datos de navegación más importantes. Este diseño te ayuda a gestionar conjuntos de datos masivos sin costes de hardware elevados. DiskANN utiliza el algoritmo de grafo Vamana para guiar tu búsqueda a través de los datos. También emplea un método de poda especial para mantener el grafo diverso y eficiente. El DiskANN de Microsoft impulsa Azure AI Search y otros servicios, lo que lo convierte en una innovación clave para la IA empresarial.

InnovaciónDescripción
Búsqueda ANN de alta velocidadLa arquitectura de DiskANN permite una búsqueda ANN eficiente en SSD, lo que ayuda a reducir los costes de hardware.
Sistema de memoria híbridaDiskANN utiliza una combinación de DRAM y SSD para gestionar miles de millones de puntos en una sola máquina.
Almacenamiento rentableDiskANN almacena el índice ANN en disco, ofreciendo una solución económica para el manejo de datos de alta dimensión.

Cómo funciona HNSW

Construcción del grafo

HNSW construye su índice basado en grafos creando una jerarquía de grafos de búsqueda. Empiezas con una estructura vacía. El primer vector que añades se convierte en el único nodo de la capa superior. Para cada nuevo vector, HNSW decide en cuántas capas debe incluirse mediante un proceso aleatorio. El nuevo vector se conecta con sus vecinos más cercanos en cada capa, hasta el máximo asignado. La capa superior tiene menos nodos, lo que la convierte en un buen punto de partida para la búsqueda. Las capas inferiores tienen más nodos, lo que permite búsquedas más detalladas. HNSW puede actualizar su grafo sin una reconstrucción completa, así que puedes añadir datos nuevos a medida que crecen tus necesidades.

Proceso de búsqueda

Cuando buscas con HNSW, empiezas en la capa superior del grafo. Usas enlaces de largo alcance para avanzar rápidamente hacia la zona donde podría estar tu vector objetivo. A medida que desciendes por cada capa, las conexiones se vuelven más densas. Esto te ayuda a afinar la búsqueda y acercarte a la mejor coincidencia. En la capa más baja, HNSW utiliza una búsqueda por haz (beam search) para encontrar los vecinos más cercanos. Este proceso ofrece resultados rápidos y precisos, especialmente cuando todo el grafo cabe en memoria.

  • Principios de diseño de HNSW:
    • Optimizado para operaciones en memoria, con baja latencia y alto recall.
    • Utiliza una estructura de grafo multicapa basada en redes de mundo pequeño.
    • Emplea una estrategia de poda para eliminar aristas redundantes y favorecer la diversidad.
    • El proceso de búsqueda consiste en descender por las capas, empezando por enlaces dispersos de largo alcance y terminando con una búsqueda por haz en la capa base.

Como ves, tanto HNSW como DiskANN usan un índice basado en grafos, pero sus diseños responden a necesidades distintas. HNSW funciona mejor cuando puedes mantenerlo todo en memoria. DiskANN te permite escalar a miles de millones de vectores gracias a los SSD, lo que lo hace ideal para cargas de trabajo empresariales en Azure AI Search.

Cómo funciona DiskANN

Arquitectura híbrida de memoria y SSD

Te encuentras con un enfoque único cuando usas DiskANN para la búsqueda de mil millones de vectores. DiskANN combina memoria y almacenamiento SSD para crear una arquitectura híbrida. Este diseño te permite almacenar la mayor parte de tu índice vectorial en SSD, que cuestan menos que la RAM. Solo mantienes en memoria los datos de navegación esenciales. Este método te permite escalar tu búsqueda a miles de millones de vectores sin necesitar hardware caro.

DiskANN utiliza dos técnicas principales para optimizar el almacenamiento y la velocidad:

  • Grafo Vamana: Usas esta estructura para navegar de forma eficiente por el índice.
  • Cuantización de producto (PQ): Comprimes los vectores en memoria, lo que reduce el uso de RAM.

Te beneficias de un proceso de ejecución de consultas en dos fases. En la primera fase, DiskANN usa vectores comprimidos con PQ en RAM para identificar rápidamente un conjunto de candidatos. No necesitas leer del disco durante este paso. En la segunda fase, DiskANN obtiene de la SSD los vectores de precisión completa del conjunto de candidatos. Después calculas las distancias exactas para encontrar las mejores coincidencias. Este proceso te ofrece un alto recall y baja latencia, a la vez que mantiene bajos los requisitos de memoria.

Consejo: La arquitectura híbrida de memoria y SSD de DiskANN permite la búsqueda a escala web en hardware convencional. Puedes almacenar los índices vectoriales en SSD en lugar de en RAM, lo que hace que las aplicaciones a gran escala sean más asequibles.

Proceso de búsqueda

Inicias una búsqueda en DiskANN navegando por el grafo Vamana con vectores comprimidos en memoria. Este paso te ayuda a encontrar candidatos prometedores rápidamente. En esta etapa evitas las lecturas de disco, lo que acelera el proceso. Una vez que tienes el conjunto de candidatos, DiskANN pasa a la siguiente fase.

Obtienes de la SSD los vectores de precisión completa de cada candidato. Calculas las distancias exactas entre tu consulta y estos candidatos. Este proceso en dos fases garantiza que obtengas resultados precisos sin ralentizar la búsqueda. Consigues un alto recall porque DiskANN examina en detalle los mejores candidatos. Además, mantienes la latencia baja porque la mayor parte del trabajo se realiza en memoria.

El proceso de búsqueda de DiskANN funciona bien para conjuntos de datos masivos. Puedes manejar miles de millones de vectores sin necesitar enormes cantidades de RAM. Obtienes resultados rápidos y fiables aunque tus datos crezcan. Esto convierte a DiskANN en una opción sólida para cargas de trabajo de IA empresariales en Azure AI Search.

PasoQué hacesBeneficio
Fase 1: NavegaciónUsar vectores comprimidos con PQ en RAM para encontrar candidatosBúsqueda rápida, sin lecturas de disco
Fase 2: RefinamientoObtener de la SSD los vectores de precisión completa y calcular distanciasAlto recall, baja latencia

Ves que la arquitectura híbrida y el proceso de búsqueda de DiskANN te ayudan a resolver de forma eficiente el problema de los mil millones de vectores. Puedes escalar tu búsqueda, reducir costes y mantener el rendimiento a medida que crecen tus datos.

Ventajas y desventajas

Ventajas y desventajas de HNSW

A menudo eliges HNSW para la recuperación de vectores porque ofrece una velocidad de búsqueda de última generación y un alto recall. Cuando ajustas HNSW correctamente, obtienes resultados rápidos y coincidencias precisas. Manejas bien datos vectoriales de alta dimensionalidad, algo importante para las cargas de trabajo de IA actuales. También te beneficias de las adiciones incrementales, así que puedes actualizar tu índice sin reconstruirlo todo.

Este es un resumen rápido de las ventajas y desventajas de HNSW:

VentajasDesventajas
Velocidad de búsqueda de última generación y alto recall cuando se ajusta correctamente.Alto consumo de memoria debido al almacenamiento de los enlaces del grafo para cada vector.
Maneja bien datos de alta dimensionalidad.Tiempo de construcción del índice prolongado con parámetros de construcción de alta calidad.
Admite adiciones incrementales de forma eficiente.La eliminación compleja de elementos puede degradar el rendimiento con el tiempo.

Escalas HNSW de forma eficiente porque utiliza O(N log N) para construir el índice. La construcción en paralelo te permite usar procesadores multinúcleo, lo que acelera el proceso. El uso de memoria escala linealmente con el tamaño del conjunto de datos, así que puedes predecir las necesidades de almacenamiento. Sin embargo, debes mantener todo el grafo en RAM, lo que limita la escalabilidad para conjuntos de datos de mil millones de vectores.

Ventajas y desventajas de DiskANN

Recurres a DiskANN cuando necesitas escalar la recuperación de vectores más allá de lo que puede manejar la RAM. DiskANN optimiza el uso de SSD, lo que reduce los costes de hardware y te permite gestionar conjuntos de datos masivos. Obtienes alta precisión y baja latencia combinando búsquedas en memoria con lecturas por lotes de SSD. DiskANN admite actualizaciones en tiempo real y búsqueda híbrida, así que puedes filtrar y recuperar vectores de forma eficiente.

Ten en cuenta estos puntos sobre DiskANN:

  • Escalabilidad rentable al usar SSD en lugar de RAM.
  • Alta precisión y baja latencia a escala mediante búsquedas en memoria y lecturas de SSD.
  • Actualizaciones en tiempo real y recuperación híbrida de vectores con filtrado.
  • Los tiempos de construcción son lentos porque la construcción del grafo Vamana es muy exigente desde el punto de vista computacional.
  • El rendimiento depende del throughput y la latencia de los SSD.
  • Las actualizaciones son más costosas en comparación con estructuras en memoria como HNSW.
  • La implementación y el ajuste requieren una optimización cuidadosa.

Te beneficias de la capacidad de DiskANN para trabajar con vectores cuantizados, lo que comprime los datos y mejora la búsqueda eficiente en memoria. Puedes usar DiskANN para cargas de trabajo de miles de millones de vectores sin preocuparte por los límites de RAM.

Eficiencia de memoria y almacenamiento

Debes tener en cuenta la eficiencia de memoria y almacenamiento al elegir entre HNSW y DiskANN para la recuperación de vectores. HNSW funciona bien con conjuntos de datos que caben en la RAM de tu servidor. Obtienes un acceso rápido y un alto rendimiento, pero no puedes escalar más allá de los límites de tu memoria. DiskANN te permite ampliar el tamaño de tu conjunto de datos hasta la capacidad del disco, a cambio de algo de velocidad. Almacenas la mayor parte de tu índice en SSD, lo que hace que DiskANN sea ideal para conjuntos de datos vectoriales masivos.

CaracterísticaHNSWDiskANN
Eficiencia de memoriaMuy eficiente para conjuntos de datos que caben en la caché del servidor (RAM).Diseñado para conjuntos de datos demasiado grandes para caber en la RAM.
Eficiencia de almacenamientoLimitada por la cantidad de RAM disponible.Amplía el tamaño del conjunto de datos hasta la capacidad del disco, a cambio de algo de velocidad.
Optimización del rendimientoAprovecha el acceso rápido a memoria para ganar velocidad.Minimiza las penalizaciones de rendimiento del almacenamiento en disco, más lento.
Idoneidad para el conjunto de datosAdecuado para conjuntos de datos que caben en RAM.Adecuado para conjuntos de datos masivos que superan la capacidad de RAM.

Usas vectores cuantizados tanto en HNSW como en DiskANN para reducir las necesidades de almacenamiento y mejorar la velocidad de recuperación. La arquitectura híbrida de DiskANN te permite escalar la búsqueda vectorial manteniendo los costes bajos. Consigues una búsqueda eficiente en memoria para tareas de recuperación a gran escala, especialmente cuando trabajas con vectores cuantizados y almacenamiento SSD.

Comparación de algoritmos de búsqueda vectorial

Vector Search Algorithm Comparison

Rendimiento a escala

Necesitas medir cómo se comporta un algoritmo de búsqueda vectorial a medida que crece tu conjunto de datos. HNSW y DiskANN buscan ambos ofrecer un alto recall y velocidad, pero sus estrategias difieren. HNSW se basa en grafos en memoria, lo que significa que obtienes una búsqueda de vecinos más cercanos rápida cuando tus vectores caben en RAM. DiskANN utiliza un enfoque híbrido de memoria y SSD, por lo que puedes escalar el rendimiento de tu búsqueda sin preocuparte por los límites de memoria.

Cuando ejecutas una búsqueda de vecinos más cercanos sobre millones de vectores, HNSW te ofrece recuperación de alta velocidad y baja latencia. Puedes ajustar los parámetros para equilibrar recall y velocidad. DiskANN mantiene un recall y una velocidad altos incluso cuando tu conjunto de datos crece. Almacenas la mayor parte de tu índice en SSD, lo que te permite manejar miles de millones de vectores. Utilizas una búsqueda en dos etapas para equilibrar velocidad y precisión. La primera etapa encuentra candidatos en memoria y la segunda refina los resultados usando SSD.

Consigues un recall y una velocidad altos con ambos algoritmos, pero DiskANN te permite escalar el rendimiento de tu búsqueda más allá de los límites de la RAM.

Escalabilidad para miles de millones de vectores

Te enfrentas a nuevos desafíos cuando tu conjunto de datos pasa de millones a miles de millones de vectores. HNSW funciona bien hasta 50 millones de vectores. Usas HNSW como algoritmo de búsqueda vectorial predeterminado y ajustas los parámetros para el recall. Cuando llegas a 50-500 millones de vectores, implementas sharding y cuantización escalar. Puedes usar una recuperación en dos fases para mayor eficiencia. Para conjuntos de datos de más de 500 millones de vectores, necesitas recuperación jerárquica y arquitecturas multinivel. Utilizas una cuantización agresiva para los datos fríos.

Rango de número de vectoresEstrategia de HNSW
1-50 MUsa HNSW como algoritmo predeterminado, asegúrate de que los vectores quepan en RAM y ajusta los parámetros para el recall.
50-500 MImplementa sharding, activa la cuantización escalar y considera la recuperación en dos fases para mayor eficiencia.
500 M o másUsa recuperación jerárquica, arquitecturas multinivel y cuantización agresiva para los datos fríos.

DiskANN cambia las reglas del juego para la búsqueda vectorial a escala de miles de millones. Almacenas la mayor parte de tu índice en SSD, así que no necesitas preocuparte por los límites de RAM. Usas cuantización de producto para comprimir los vectores y mantienes los datos de navegación en memoria. Escalas tu búsqueda de vecinos más cercanos a miles de millones de vectores sin sacrificar rendimiento. DiskANN admite búsqueda aproximada basada en clustering y recuperación híbrida, lo que te ayuda a gestionar conjuntos de datos masivos.

DiskANN te permite escalar tu algoritmo de búsqueda vectorial a miles de millones de vectores, lo que lo hace ideal para cargas de trabajo empresariales.

Latencia de consulta y rendimiento

Te interesan la latencia de las consultas y el rendimiento cuando ejecutas búsquedas vectoriales a escala. HNSW ofrece baja latencia en la búsqueda de vecinos más cercanos porque mantiene todo el grafo en memoria. Obtienes respuestas rápidas y un alto rendimiento para conjuntos de datos que caben en RAM. Cuando el conjunto de datos crece, la latencia aumenta a medida que particionas los datos (sharding) o usas arquitecturas multinivel.

DiskANN utiliza un proceso de búsqueda en dos etapas. Primero buscas en vectores comprimidos en memoria, lo que permite seleccionar candidatos con rapidez. Después refinas la consulta recuperando vectores de precisión completa desde SSD. Este enfoque mantiene la latencia baja y un alto rendimiento, incluso con conjuntos de datos de miles de millones de vectores. Optimizas la recuperación agrupando las lecturas de SSD y usando estructuras de navegación eficientes.

Con DiskANN consigues alta exhaustividad (recall) y velocidad, incluso cuando aumenta el volumen de consultas. No tienes que preocuparte por los límites de memoria, así que puedes escalar el rendimiento de búsqueda para aplicaciones empresariales.

Con DiskANN obtienes latencia y rendimiento de consulta fiables, lo que lo convierte en una opción sólida para la búsqueda de vecinos más cercanos a gran escala.

Impacto en coste y recursos

Debes tener en cuenta el coste y el impacto en recursos al elegir un algoritmo de búsqueda vectorial para Azure AI Search. La forma en que cada algoritmo usa memoria y almacenamiento afecta a tu presupuesto y a tu capacidad de escalar.

DiskANN destaca en cargas de trabajo con miles de millones de vectores. Puedes almacenar la mayor parte del índice en SSD, que cuestan menos que la RAM. Este diseño te permite escalar de miles a miles de millones de vectores sin un aumento importante de los costes de memoria. DiskANN funciona bien para cargas de trabajo de IA en producción porque aprovecha eficientemente los SSD y mantiene en memoria solo los datos más importantes.

HNSW funciona mejor con conjuntos de datos de tamaño mediano. Necesitas mantener todo el índice en RAM. Este requisito limita hasta dónde puedes escalar. Si el conjunto de datos crece demasiado, puedes enfrentarte a costes operativos elevados. HNSW también está limitado a 2.000 dimensiones, lo que puede restringir tus casos de uso.

Tipo de índiceAdecuado para cargas de trabajo de miles de millones de vectoresRequisitos de memoriaCostes operativos
DiskANNSí, diseñado para el rendimiento de SSDEscala de miles a miles de millones de vectoresRecomendado para cargas de trabajo de IA en producción
HNSWNo, adecuado para conjuntos de datos medianosRequiere que el índice quepa en RAMLimitado a 2.000 dimensiones

Consejo: Si quieres controlar los costes y escalar tu búsqueda a miles de millones de vectores, DiskANN te da una ventaja clara. Puedes usar SSD asequibles y mantener bajas tus necesidades de memoria.

Casos de uso reales

Puedes ver el valor de estos algoritmos en aplicaciones reales. Muchas organizaciones usan DiskANN y HNSW para distintos tipos de problemas de búsqueda vectorial.

  • Puedes usar un método híbrido y rentable para la búsqueda aproximada de vecinos más cercanos. Este enfoque combina almacenamiento en SSD con estructuras de grafo en memoria.
  • Puedes desplegar DiskANN para conjuntos de datos estáticos, como corpus de investigación, donde los datos no cambian con frecuencia.
  • Puedes elegir DiskANN para despliegues sensibles al coste. Funciona bien en aplicaciones a escala de miles de millones de vectores en las que necesitas controlar los gastos.
  • Puedes usar DiskANN para consultas que toleren latencias inferiores a 10 milisegundos. Esta velocidad es suficiente para muchas tareas de búsqueda empresarial.
  • Puedes combinar HNSW con archivos invertidos respaldados por disco (HNSW-IF) para la búsqueda híbrida. Este método consigue alta exhaustividad y mantiene la latencia baja.
Caso de usoDescripción
Conjuntos de datos estáticosIdeal para corpus de investigación donde los datos no cambian con frecuencia.
Despliegues sensibles al costeAdecuado para aplicaciones a escala de miles de millones en las que el coste es un factor importante.
Consultas tolerantes a la latenciaFunciona bien para consultas que toleran latencias inferiores a 10 ms.

Nota: Muchas organizaciones alcanzan un 90 % de exhaustividad con una latencia de 10 ms usando métodos híbridos. Este rendimiento cubre las necesidades de la mayoría de las aplicaciones empresariales de búsqueda con IA.

Puedes ajustar la elección del algoritmo a tu carga de trabajo. Si necesitas escalar, controlar los costes y mantener la latencia baja, DiskANN te ofrece la flexibilidad y la eficiencia que necesitas.

Cuándo usar HNSW o DiskANN

Elegir el algoritmo adecuado para tu carga de trabajo de Azure AI Search puede marcar una gran diferencia en velocidad, coste y precisión. Debes analizar tus datos, tu hardware y con qué frecuencia cambian. Veamos los principales criterios de decisión para que elijas la mejor herramienta para tus necesidades de búsqueda vectorial.

Criterios de decisión

Tamaño del conjunto de datos

Lo primero que debes hacer es revisar el tamaño de tu conjunto de datos. Si trabajas con millones de vectores, HNSW te ofrece resultados de búsqueda rápidos y precisos. Funciona mejor cuando tus datos caben en memoria. Cuando tu conjunto de datos crece hasta miles de millones de vectores, DiskANN se convierte en la mejor opción. Utiliza SSD para almacenar la mayor parte del índice, así que no tienes que preocuparte por quedarte sin RAM.

CriterioHNSWDiskANN
Tamaño del conjunto de datosIndicado para millones de vectoresDestaca con miles de millones de vectores

Como puedes ver, HNSW se adapta a cargas de trabajo más pequeñas, mientras que DiskANN maneja conjuntos de datos masivos sin ralentizarse.

Hardware y coste

Tu hardware y tu presupuesto también desempeñan un papel importante. HNSW necesita mucha RAM porque mantiene todo el grafo en memoria. Esto puede resultar caro a medida que crece tu base de datos vectorial. DiskANN te ayuda a ahorrar dinero al almacenar la mayor parte del índice en SSD, que cuestan menos que la RAM. Solo necesitas suficiente memoria para la parte de navegación del índice.

CriterioHNSWDiskANN
InfraestructuraRequisitos de RAMReduce los costes de memoria

Si quieres mantener los costes bajos y, aun así, buscar entre miles de millones de vectores, DiskANN te ofrece una clara ventaja.

Necesidades de latencia

Debes pensar en la rapidez con la que necesitas obtener los resultados de búsqueda. HNSW ofrece una latencia muy baja porque busca en memoria. Puedes obtener resultados en apenas unos milisegundos si tus datos caben en la RAM. DiskANN equilibra velocidad y escala. Utiliza un proceso de búsqueda en dos pasos, por lo que sigue obteniendo resultados rápidos incluso con conjuntos de datos enormes. En la mayoría de las aplicaciones empresariales, DiskANN mantiene los tiempos de consulta por debajo de 10 milisegundos.

  • HNSW es la mejor opción para cargas de trabajo en las que cada milisegundo cuenta.
  • DiskANN funciona bien cuando necesitas buscar en conjuntos de datos grandes con rapidez y puedes aceptar un ligero aumento de la latencia.

Patrones de actualización

La frecuencia con la que cambian tus datos influye en tu elección. HNSW funciona bien con datos estáticos o que cambian lentamente. Si actualizas tus vectores con frecuencia, es posible que tengas que reconstruir el índice, lo que requiere tiempo. DiskANN se adapta mejor a las actualizaciones frecuentes. Mantiene la precisión y el recall estables, incluso cuando añades o modificas vectores con frecuencia.

CaracterísticaHNSWDiskANN
Latencia de actualizaciónRequiere reconstrucciones completas del índiceSe adapta de forma eficiente a los cambios
RecallAlto, pero afectado por los cambiosPrecisión estable con modificaciones frecuentes

Si tu aplicación necesita gestionar muchas actualizaciones, DiskANN te ofrece más flexibilidad.

Escenarios de ejemplo

Puedes utilizar escenarios reales para ayudarte a decidir qué algoritmo se ajusta a tus necesidades.

MétricaHNSWDiskANN
Recall medio0.60.7
Precisión de extremo a extremo0.9720.933
Robustez-0.2@100.9980.984
Robustez-0.90.840.81
  • HNSW ofrece un recall alto y un rendimiento de consultas rápido. En conjuntos de datos como SIFT1M, puedes alcanzar aproximadamente un 95 % de recall@10 en solo 1-2 milisegundos por consulta en una CPU.
  • DiskANN muestra un recall medio más alto, lo que significa que encuentra más coincidencias reales en conjuntos de datos grandes. Mantiene una precisión alta, incluso a medida que crecen tus datos.
  • HNSW funciona mejor en sistemas de recomendación o motores de búsqueda en los que necesitas la máxima precisión y velocidad.
  • DiskANN encaja en búsquedas a gran escala, como la búsqueda entre miles de millones de imágenes de productos o documentos, en las que necesitas equilibrar velocidad, coste y escala.

HNSW destaca en cargas de trabajo que necesitan la búsqueda más rápida posible sobre conjuntos de datos más pequeños. DiskANN brilla cuando necesitas buscar en cantidades masivas de datos sin disparar el presupuesto.

Migración y enfoques híbridos

No tienes que elegir un único algoritmo para todas las situaciones. Muchas organizaciones empiezan con HNSW para conjuntos de datos más pequeños. A medida que su base de datos vectorial crece, pasan a DiskANN para manejar más datos y mantener los costes bajos. También puedes usar un enfoque híbrido. Por ejemplo, podrías mantener en memoria tus vectores más populares o recientes con HNSW, mientras almacenas los más antiguos o menos utilizados en SSD con DiskANN.

  • Empieza con HNSW para prototipado rápido y cargas de trabajo pequeñas.
  • Migra a DiskANN cuando tu conjunto de datos supere los límites de memoria.
  • Combina ambos métodos para lograr la mejor mezcla de velocidad y escala.

Consejo: revisa tu carga de trabajo con regularidad. A medida que cambian tus datos y tus necesidades, puedes ajustar tu enfoque para obtener el mejor rendimiento y valor.

Si entiendes el tamaño de tu conjunto de datos, tu hardware, tus necesidades de latencia y tus patrones de actualización, podrás elegir con criterio entre HNSW y DiskANN. Esto te ayuda a construir un sistema de búsqueda vectorial que se ajuste a tus objetivos y crezca con tu negocio.

Mejores prácticas para la búsqueda vectorial en Azure

Consejos de configuración del índice

Puedes lograr un alto rendimiento en Azure AI Search siguiendo algunos consejos importantes de configuración. Empieza por asegurarte de que el tamaño de tu índice cabe en una sola unidad de búsqueda vectorial. Así mantienes tus búsquedas rápidas y fiables. Procura minimizar el tamaño de tus incrustaciones. Las incrustaciones más pequeñas mejoran los tiempos de consulta y aumentan el número de consultas por segundo. Usa consultas de vecino más próximo aproximado (ANN) para ser más eficiente, ya que aceleran la búsqueda sin sacrificar mucha precisión.

Mantén el número de resultados por consulta entre 10 y 100. Este rango reduce la latencia y mantiene tu búsqueda con buena capacidad de respuesta. Evita usar endpoints de modelo que escalen a cero en producción. Los arranques en frío pueden ralentizar la búsqueda y frustrar a los usuarios. Planifica los picos de consultas para que tu sistema pueda asumir aumentos repentinos del tráfico de búsqueda. Usa entidades de servicio con tokens de OAuth para una autenticación segura y eficiente. Utiliza siempre la última versión del SDK de Python para beneficiarte de las mejoras de rendimiento. Si necesitas más capacidad de procesamiento, escala tu endpoint o paraleliza la carga entre varios endpoints.

Consejo: un índice bien configurado es la base de una búsqueda vectorial optimizada en Azure.

Supervisión y optimización

Necesitas supervisar y optimizar tu sistema de búsqueda para mantener un alto rendimiento, sobre todo con cargas de trabajo de mil millones de vectores. La siguiente tabla muestra algunas técnicas eficaces:

TécnicaDescripción
Índices multinivelUsa índices rápidos para los datos activos y comprime los datos fríos para ahorrar espacio.
Control de fan-outGestiona las interacciones entre shards y clústeres para reducir los saltos de red.
CuantizaciónReduce el tamaño de los vectores con métodos como IVF-PQ para ajustarlos a los límites de memoria.
Ajuste de centroidesAjusta el número de centroides para equilibrar la precisión de recuperación y la sobrecarga.
Cálculo de distancia asimétricaAcelera la búsqueda comparando consultas de precisión completa con vectores comprimidos.
Enrutamiento intencionado de consultasUsa metadatos y agrupación en clústeres para evitar difusiones innecesarias durante la búsqueda.
Minimizar las cargas de redTransfiere solo los identificadores y las puntuaciones, no los vectores completos, entre nodos.
Agregación jerárquicaAgrega los resultados localmente para reducir la coordinación y estabilizar la latencia.
Predominio de memoriaAsegúrate de que los vectores quepan en memoria para lograr el mejor rendimiento de búsqueda.
Uso situacional de GPUUsa GPU para la indexación si es necesario, pero comprueba si mejoran la capacidad de procesamiento de tu búsqueda.
Calidad de la redSupervisa las condiciones de la red, ya que afectan a la latencia de búsqueda.

Nota: la supervisión periódica te ayuda a detectar problemas a tiempo y a mantener tu búsqueda funcionando sin contratiempos.

Errores comunes

Puedes encontrarte con algunos errores comunes al configurar o escalar tu sistema de búsqueda en Azure. Uno de ellos es dejar que el índice crezca demasiado para una sola unidad de búsqueda. Esto puede ralentizar las consultas y hacer que la búsqueda sea menos fiable. Usar incrustaciones grandes también puede perjudicar el rendimiento. Mantén siempre tus incrustaciones lo más pequeñas posible para tu caso de uso.

Otro error es ignorar los picos de consultas. Si no planificas los aumentos repentinos del tráfico de búsqueda, tu sistema podría fallar bajo presión. Depender de endpoints que escalan a cero puede provocar retrasos por arranque en frío, que ralentizan la búsqueda. No actualizar el SDK o no usar tokens de OAuth puede generar riesgos de seguridad y dejar pasar mejoras de rendimiento.

Recuerda: evita estos errores para que tu búsqueda sea rápida, segura y fiable.

Siguiendo estas buenas prácticas, podrás crear una experiencia de búsqueda robusta y eficiente en Azure. Gestionarás grandes conjuntos de datos sin dificultad y ofrecerás a tus usuarios resultados rápidos y precisos.


Resuelves el problema de los mil millones de vectores en Azure AI Search eligiendo el algoritmo adecuado para tus necesidades. DiskANN ofrece una escalabilidad rentable para conjuntos de datos masivos, mientras que HNSW proporciona resultados rápidos para cargas de trabajo más pequeñas. Ajusta el algoritmo a tu carga de trabajo, escala y presupuesto. La siguiente tabla te ayuda a seleccionar el mejor endpoint:

Tipo de SKUDescripción del caso de uso
Endpoints estándarIdeales para necesidades de latencia críticas con índices de menos de 320 M de vectores.
Endpoints optimizados para almacenamientoIdeales para más de 10 M de vectores, cuando toleras cierta latencia y necesitas eficiencia de coste.
  • Calcula tus necesidades de almacenamiento probando con unos pocos documentos.
  • Planifica las actualizaciones y el volumen total de contenido.

Azure AI Search te ofrece flexibilidad y es compatible con las innovaciones de Microsoft para la IA empresarial. Para relacionar todas estas perspectivas técnicas con la arquitectura cloud del mundo real, no dejes de escuchar el episodio de podcast complementario HNSW vs DiskANN for Vector Search in Azure AI Search.

Preguntas frecuentes

¿Cuál es la principal diferencia entre HNSW y DiskANN?

Tú usas HNSW para la búsqueda vectorial en memoria. DiskANN te permite almacenar la mayor parte del índice en SSD. Eso hace que DiskANN sea más adecuado para manejar miles de millones de vectores sin costes elevados de memoria.

¿Puedes usar DiskANN en aplicaciones en tiempo real?

Sí. DiskANN ofrece búsquedas de baja latencia, a menudo por debajo de 10 milisegundos. Puedes usarlo para tareas de búsqueda de IA en tiempo real, incluso con conjuntos de datos muy grandes.

¿Cómo decides qué algoritmo usar en Azure AI Search?

Elige HNSW para conjuntos de datos más pequeños que caben en RAM. Elige DiskANN para conjuntos de datos masivos que necesitan un escalado rentable. Ten en cuenta el tamaño de tus datos, el hardware y los requisitos de latencia.

¿DiskANN requiere hardware especial?

No. Puedes ejecutar DiskANN en servidores estándar con SSD. No necesitas equipos costosos con mucha memoria. Esto facilita y abarata el escalado.

¿Cómo protege Azure AI Search tus datos?

Azure AI Search utiliza cifrado y controles de acceso. Tú decides quién puede acceder a tus datos. Las funciones de seguridad de Microsoft te ayudan a proteger la información confidencial.

¿Puedes actualizar tu índice vectorial sin tiempo de inactividad?

Puedes actualizar tanto los índices HNSW como los DiskANN. DiskANN admite actualizaciones eficientes para conjuntos de datos grandes. Mantienes tus resultados de búsqueda actualizados sin desconectar tu sistema.

¿Cuáles son algunas buenas prácticas para optimizar el rendimiento de la búsqueda vectorial?

Usa incrustaciones más pequeñas, mantén tu índice dentro de una única unidad de búsqueda y supervisa la latencia de las consultas. Actualiza siempre tu SDK y prevé picos de consultas para mantener un rendimiento alto.


🎧 Escucha este episodio

¿Quieres una explicación práctica de HNSW frente a DiskANN para la búsqueda vectorial en Azure AI Search? Este episodio desglosa el tema con un lenguaje claro y muestra por qué importa para Microsoft 365, Azure, Power Platform, la seguridad, la IA y el trabajo moderno.

Escucha este episodio si quieres:

  • Entender los conceptos clave detrás de HNSW frente a DiskANN para la búsqueda vectorial en Azure AI Search
  • Ver cómo encaja en el ecosistema tecnológico más amplio de Microsoft
  • Descubrir dónde puede aportar valor práctico a tu organización

También te puede interesar estos episodios relacionados de M365 FM:

Descubre más conversaciones prácticas sobre Microsoft en M365 FM.

Última revisión: julio de 2026.

A quién va dirigido

Este episodio está pensado para administradores de Microsoft, arquitectos, desarrolladores, profesionales de seguridad y líderes de negocio que necesitan una base práctica antes de tomar decisiones de implementación, operación o gobernanza.

🎧 También te recomendamos escuchar

Entities in this article

DiskANN Azure AI Search Vector search Retrieval-augmented generation (RAG) Cold start Embeddings Semantic model

Related articles

RSS