En 2023, Rockset presentó una innovadora arquitectura en la nube para búsqueda y análisis que separa el almacenamiento y el procesamiento. Esta arquitectura permite a los usuarios separar la carga de ingesta y la de consulta, mientras acceden a los mismos datos en tiempo real. Este enfoque representa un hito en las arquitecturas desagregadas en tiempo real, abriendo nuevas posibilidades para crear aplicaciones de forma más sencilla y económica en Rockset.
Hoy, Rockset lanza nuevas funciones que hacen que la búsqueda y el análisis sean más accesibles que nunca:
- Clase de instancia de propósito general: una nueva configuración de recursos informáticos y de memoria adecuada para diversas cargas de trabajo, con un precio un 30% más bajo.
- Instancia virtual Xsmall: una opción de bajo costo para instancias virtuales dedicadas desde $232 al mes.
- Instancias virtuales con escalado automático: escala automáticamente según la demanda basada en la utilización de la CPU.
- Microprocesamiento: permite la ingestión por lotes según los requisitos de latencia del caso de uso.
- Materializaciones incrementales: capacidad de crear colecciones derivadas que se actualizan incrementalmente a partir de un conjunto base de colecciones.
En este artículo, se analizan en detalle cada una de estas características y cómo proporcionan a los usuarios un mayor control sobre los costos de sus aplicaciones de búsqueda e inteligencia artificial.
Clase de instancia de propósito general
Rockset introduce el concepto de clase de instancia, que ofrece diferentes combinaciones de recursos informáticos y de memoria para las instancias virtuales. Las dos clases disponibles son:
- Propósito general: proporciona una proporción equilibrada de memoria y CPU para una amplia gama de cargas de trabajo.
- Memoria optimizada: duplica la cantidad de memoria en comparación con la clase de propósito general para un tamaño específico de instancia virtual.
Se recomienda a los usuarios probar el rendimiento de Rockset con la clase de instancia de propósito general, que tiene un 30% de descuento en el precio. Si la carga de trabajo muestra falta de memoria con un uso moderado de la CPU, se puede cambiar a la clase optimizada para memoria, ideal para consultas que manejan grandes conjuntos de datos o requieren un amplio espacio de trabajo debido al procesamiento de consultas complejas.
Rockset también ofrece una nueva instancia virtual de tamaño XSmall a partir de $232 al mes. A pesar de contar con una edición para desarrolladores desde $9 al mes, que utiliza instancias virtuales compartidas con rendimiento variable, la introducción del tamaño XSmall garantiza un rendimiento constante para las aplicaciones a un costo inicial más bajo.
Instancias virtuales con escalado automático
Las instancias virtuales de Rockset pueden cambiar de tamaño de manera automática con solo una llamada a la API o con un clic. Gracias al escalado automático, este ajuste se realiza automáticamente en función del uso de la CPU.
Rockset supervisa la carga de CPU de la instancia virtual para determinar cuándo ajustar su tamaño de forma automática. Utiliza un algoritmo de decaimiento que se enfoca en mediciones recientes para tomar decisiones de escalado automático. Las configuraciones clave son:
- El crecimiento automático ocurre cuando la reducción del uso de la CPU supera el 75%.
- La reducción automática de escala se activa si la disminución del uso de la CPU es inferior al 25%.
Los tiempos de espera posteriores a un aumento automático son de 3 minutos, y de 1 hora tras una reducción. Rockset puede aumentar o disminuir el tamaño de una instancia virtual en tan solo 10 segundos, gracias a la separación de almacenamiento y computación. Un cliente de Rockset logró reducir su factura mensual en un 50% al activar el escalado automático, lo que le permitió ajustarse dinámicamente a los cambios en la carga de CPU de su aplicación sin necesidad de una gestión adicional.
La arquitectura nativa en la nube de Rockset contrasta con la de Elasticsearch, que está más estrechamente acoplada. Mientras que el escalado automático de Elastic Cloud permite definir políticas de monitorización del clúster, la responsabilidad de añadir o eliminar recursos sigue recayendo en el usuario. Esta operación no es completamente automatizada e implica la transferencia de datos entre nodos.
Microprocesamiento
Rockset es reconocido por su capacidad de indexación e ingestión de datos de transmisión en tiempo real con baja latencia. En comparación con Elasticsearch, Rockset ha demostrado hasta 4 veces más rapidez en la ingestión de datos en streaming.
Aunque muchos usuarios eligen Rockset por sus capacidades en tiempo real, existen escenarios donde los requisitos de latencia de los datos son menos críticos. En tales casos, donde las aplicaciones de análisis y búsqueda se basan en datos actualizados cada pocos minutos u horas, la ingestión en streaming puede ser costosa en términos de recursos.
El microprocesamiento permite programar la ingestión en intervalos de 10 minutos a 2 horas. La instancia virtual encargada de la ingesta se activa para procesar los datos por lotes entrantes y se desactiva una vez completada la operación. Veamos cómo los microlotes pueden reducir los costos de computación de la ingestión.
Imaginemos que un usuario tiene una instancia virtual grande para la ingestión de datos, con una velocidad de 10 MB por segundo y una latencia de 30 minutos. Cada media hora se acumulan 18.000 MB de datos. Dado que la instancia maneja 18 MB por segundo, se necesitan 16,7 minutos para procesar los datos por lotes, lo que representa un ahorro del 44% en la ingestión de datos.
| Ejemplo de microprocesamiento | |
|---|---|
| Tamaño del lote (10 MB por segundo * 60 segundos * 30 minutos) | 18.000MB |
| Tiempo de procesamiento por lotes (tamaño de lote de 18.000 MB dividido por una velocidad de 18 MB por segundo) |
| La velocidad de transmisión por secuencia es (máxima de transmisión por secuencias ÷ 60 segundos/minuto) |
16,7 minutos |
| El ahorro de cálculo de ingesta es (1-((16,7 minutos ahorrados * 2 veces por hora)/(60 minutos/hora))) |
44% |
El microbatch es un ejemplo adicional de cómo Rockset brinda más controles de costos a los usuarios para ahorrar recursos según los requisitos de su caso de uso.
Materialización incremental
La materialización incremental es una técnica utilizada para optimizar el rendimiento de las consultas.
Las materializaciones son colecciones precalculadas, como tablas, creadas a partir de una consulta SQL en una o más colecciones base. La idea detrás de las materializaciones es almacenar el resultado de una consulta computacional costosa en una colección para poder recuperarlo rápidamente, sin necesidad de volver a calcular la consulta original cada vez que se necesitan los datos.
Las materializaciones incrementales abordan uno de los desafíos de las materializaciones: la capacidad de mantenerse actualizado cuando los datos subyacentes cambian con frecuencia. Con las materializaciones incrementales, solo se calculan los cambios periódicos de datos en lugar de tener que volver a calcular toda la materialización.
En Rockset, las materializaciones incrementales se pueden actualizar con una frecuencia de hasta una vez por minuto. A menudo vemos materializaciones incrementales utilizadas para consultas complejas con SLA estrictos en menos de 100 MS.
Utilicemos un ejemplo de materialización incremental para una aplicación SaaS multiinquilino, registrando recuentos de pedidos y ventas por vendedor. En Rockset, utilizamos el comando INSERTAR EN para crear una colección derivada.
Contenido integrado: https://gist.github.com/julie-mills/150cbe7ed6c524c6eb6cc3afbd2b6027
Guardamos esta materialización como consulta lambda. Las lambdas de consulta permiten a los usuarios guardar cualquier consulta SQL y ejecutarla como un punto final REST dedicado. Las lambdas de consulta ahora pueden ser programadas para ejecución automática y se pueden configurar determinadas acciones en función de sus resultados. Para crear materializaciones incrementales utilizando lambdas de consulta programada, establezca un intervalo de tiempo mediante el cual se ejecuta la consulta con la acción de insertar el resultado en una colección usando el comando INSERT INTO.
Con materializaciones incrementales, la consulta de la aplicación se puede simplificar para lograr una baja latencia de consulta.
Contenido integrado: https://gist.github.com/julie-mills/ec916f94ed41de0cdd518d070f4b24f4
Rockset puede lograr materializaciones incrementales utilizando lambdas de consulta programadas y el comando INSERT INTO, lo que permite a los usuarios mantener la complejidad de la consulta y al mismo tiempo lograr un mejor rendimiento de precios.
Velocidad y eficiencia a escala
Rockset continúa reduciendo la barrera de costos para las aplicaciones de búsqueda e inteligencia artificial con instancias virtuales de propósito general, escalado automático, microbatch y materializaciones incrementales.
Si bien esta versión brinda a los usuarios más controles de costos, Rockset continúa abstrayendo las partes difíciles de la búsqueda y la inteligencia artificial, incluida la indexación, la administración de clústeres, las operaciones de escalado y más. Como resultado, los usuarios pueden crear aplicaciones sin incurrir en los costos informáticos y humanos que tradicionalmente han acompañado a sistemas como Elasticsearch.
La capacidad de escalar aplicaciones genAI de manera eficiente en la nube es lo que permitirá a los equipos de ingeniería continuar construyendo e iterando aplicaciones de próxima generación. La nube nativa es la forma más eficiente de construir.
Recent Articles
Related Stories
© Copyright 2024 - gelipsis.com. All rights reserved.