(Cumbre de creaciones artísticas/Shutterstock)
Kinetica ha iniciado el desarrollo de una plataforma de datos basada en GPU para brindar visualizaciones y consultas SQL rápidas a clientes militares y gubernamentales de EE. UU. Sin embargo, con un par de anuncios en la conferencia GTC de Nvidia la semana pasada, la empresa está demostrando que está lista para la próxima generación de aplicaciones de IA generativa, especialmente aquellas que utilizan técnicas de generación de lenguaje aumentada (RAG) para procesar fuentes de datos únicas.
Hoy en día, las empresas buscan maneras de aprovechar el potencial de los grandes modelos de lenguaje (LLM) con sus propios datos privados. Algunas organizaciones envían sus datos a la nube de OpenAI u otros proveedores de inteligencia artificial basados en la nube, mientras que otras están desarrollando sus propios LLM.
No obstante, cada vez más empresas están adoptando el enfoque RAG, que ha surgido como posiblemente la mejor solución intermedia entre no tener que construir su propio modelo (lo cual es tedioso y costoso) o enviar sus datos a la nube (lo cual plantea problemas de privacidad y seguridad).
Con RAG, los datos relevantes se integran directamente en el contexto antes de enviarlos al LLM para su procesamiento, lo que brinda mayor personalización y contexto en la respuesta del LLM. Junto con una ingeniería eficiente, RAG se ha convertido en un método efectivo y de bajo riesgo para obtener beneficios de la Generación de IA.
El aumento de VRAM en la GPU Blackwell de Nvidia ayudará a Kinetica a mantener el procesador alimentado con datos, dijo Negahban.
Kinetica ahora también se adentra en la diversión RAG al convertir su plataforma de datos esencialmente en una plataforma de datos vectorial que puede generar y proporcionar incrustaciones de vectores a LLM, además de realizar búsquedas de similitud de vectores para optimizar los datos enviados al LLM.
Según su anuncio de la semana pasada, Kinetica es capaz de ofrecer incrustaciones de vectores 5 veces más rápido que otras bases de datos, un número que, según afirma, proviene del benchmark VectorDBBench. La compañía asegura que logra esa velocidad aprovechando la tecnología RAPIDS RAFT de Nvidia.
Esa ventaja de velocidad basada en la GPU beneficiará a los clientes de Kinetica al permitirles analizar más datos, incluidos los datos en tiempo real recién agregados a la plataforma, sin necesidad de realizar mucho trabajo adicional, comentó Nima Negahban, cofundadora y directora ejecutiva de Kinetica.
"Resulta complicado para un LLM o un RAG tradicional responder a una pregunta sobre algo que está ocurriendo en el momento, a menos que se haya planificado previamente para tipos de datos específicos", señaló Negahban a datanami en la conferencia GTC la semana pasada. "Con Kinetica, podremos ayudar analizando todos los datos relacionales, generando SQL sobre la marcha y, en última instancia, proporcionando al LLM un conjunto de datos simples que el LLM pueda comprender y utilizar para responder a la pregunta".
En esencia, esto brinda a los usuarios la capacidad de explorar su conjunto completo de datos empresariales relacionales sin necesidad de planificar de antemano.
"Esa es la gran ventaja", continuó, "porque en el caso de los enfoques RAG tradicionales, todavía se necesita una cantidad considerable de trabajo, ya que se requiere el modelo de integración adecuado, hay que probarlo y verificar que funcione para su caso de uso".
Kinetica también puede conectarse con otras bases de datos y actuar como un motor federado de consultas, además de realizar la vectorización convencional de datos que los clientes ingresan en Kinetica, agregó Negahban. La plataforma de datos está diseñada para utilizarse con datos operativos, como series temporales, telemetría o datos de telecomunicaciones. Con el soporte de los microservicios NVIDIA NeMo Retriever, la empresa puede integrar esos datos en un flujo de trabajo RAG.
Pero para Kinetica, todo se reduce a la GPU. Sin el poder de cómputo extremo de la GPU, la empresa simplemente tendría otra aproximación a RAG.
"Básicamente, necesitas ese motor acelerado por GPU para que todo funcione al final del día, porque debe ser rápido", comentó Negahban. "Añadimos toda esa orquestación para tener los metadatos necesarios, conectarnos con otras bases de datos y hacer que todo sea más sencillo para el usuario final, de modo que pueda comenzar a aprovechar todos esos datos empresariales relacionales en su interacción con LLM".
Artículos relacionados:
El banco reemplaza cientos de nodos de transmisión Spark con Kinetica