La redacción de este artículo ha sido realizada en colaboración con Amir Souchami y Fabian Szenkier de Unity.
Aura de unidad (anteriormente ironSource) destaca en el mercado por ofrecer experiencias atractivas en dispositivos y por captar y retener clientes. Con sus potentes soluciones, Aura facilita una transformación digital total que permite a los operadores promocionar servicios clave fuera de la tienda, directamente en los dispositivos.
Amazon Redshift es un servicio ideal para cargas de trabajo de procesamiento analítico en línea (OLAP), como almacenes de datos en la nube, data marts y otros almacenes de datos analíticos. Proporciona un acceso instantáneo, granular y de alto rendimiento a los datos sin necesidad de copiar o mover entre múltiples almacenes de datos de Redshift en la misma o diferentes cuentas de AWS y en todas las regiones de AWS. Por otro lado, Redshift Serverless simplifica la ejecución y escalabilidad de análisis en segundos sin la complejidad de configurar y administrar clústeres de almacenamiento de datos.
En este artículo, se describe la exitosa adopción de Redshift Serverless por parte de Aura, lo que les ha permitido reducir el tiempo de comercialización de sus campañas publicitarias de 24 horas a 2 horas. Se analizan los motivos que llevaron a esta elección y los desafíos tecnológicos que se superaron en el proceso.
El flujo de datos inicial de Aura
Aura ha liderado el uso de clústeres Redshift RA3 con intercambio de datos para cargas de trabajo de extracción, transformación y carga (ETL) y BI. Uno de los procesos fundamentales de Aura es la licitación de campañas publicitarias, optimizadas a través de un proceso de oferta basado en inteligencia artificial que involucra cientos de consultas analíticas por campaña en un clúster Redshift provisto por RA3.
La infraestructura integrada incorpora varios servicios de AWS:
La siguiente imagen ilustra esta arquitectura.
Reto de la arquitectura inicial
Las consultas para cada campaña se dividen en dos etapas: una consulta de preparación y una consulta principal que ejecuta la lógica basada en los resultados de la primera. Con el incremento en el número de campañas, el equipo de datos de Aura se enfrentó al desafío de ejecutar cientos de consultas simultáneas para cada etapa. Dado que el clúster actual de Aura estaba sobrecargado con otras cargas de trabajo, buscaron opciones rentables para aislar esta carga de trabajo con recursos informáticos dedicados.
Tras evaluar diversas alternativas, optaron por una arquitectura de múltiples clústeres utilizando intercambio de datos y Redshift Serverless. Esta decisión les permitió disponer de recursos dedicados para esta carga de trabajo específica, alta concurrencia, escalabilidad automática, facturación basada en el uso y un proceso de aprovisionamiento rápido y sencillo.
Prueba piloto
Tras la evaluación, el equipo decidió llevar a cabo una prueba utilizando Redshift Serverless como consumidor de su clúster principal, compartiendo únicamente las tablas necesarias para las consultas. Redshift Serverless se escala en unidades de procesamiento (RPU), con la opción de ajuste automático según la demanda. Durante la prueba, comenzaron con un punto final de 256 RPU y ajustaron este valor para equilibrar costos y tiempo de ejecución de las consultas.
Finalmente, establecieron un punto final de 128 RPU como base, con escalado automático para soportar cientos de consultas simultáneas.
La nueva solución de Aura con Redshift Serverless
Tras una prueba exitosa, la configuración de producción incluyó la transición desde el clúster Redshift provisto hacia el punto final de Redshift Serverless. Esta transición se activaba según la cantidad de consultas en cola, ejecutando las pequeñas en el clúster convencional y las grandes en el punto final sin servidor. La solución actual hace uso de Amazon MWAA para configuración, DynamoDB para información, EKS para trabajos de pod y Redshift Serverless para capacidades informáticas.
La siguiente imagen muestra la arquitectura de la solución.
Resultados
El tiempo de ejecución del proceso se redujo de forma significativa, pasando de 24 a 2 horas, lo que implica una mejora en la eficiencia del 1,200%. La integración de Redshift Serverless ha permitido a Aura optimizar sus campañas publicitarias de manera destacada.
La combinación de Serverless con intercambio de datos ha resultado en una disminución del 90% en el tiempo de procesamiento, eliminando la necesidad de duplicar datos o reescribir consultas. Además, al introducir un consumidor dedicado como recurso informático exclusivo, se ha reducido en gran medida la carga sobre el clúster productor, lo que ha posibilitado ejecutar consultas a pequeña escala de forma aún más veloz.
"Serverless Redshift y el intercambio de datos nos han permitido escalar nuestra capacidad de almacenamiento de datos de manera ágil para lograr un rendimiento rápido, alta concurrencia y manejar cargas de trabajo de aprendizaje automático desafiantes con un esfuerzo mínimo".
– Amir Souchami, arquitecto principal de sistemas técnicos de Aura.
Lecciones aprendidas
El equipo de datos de Aura se centra en operar de forma rentable y, por lo tanto, ha puesto en marcha diversos controles de costos en su entorno de Redshift Serverless:
- Establecer un límite de uso general definiendo un máximo de horas de RPU (por día, semana, mes) para el grupo de trabajo. Aura fijó este límite para que, al alcanzarse, Amazon Redshift envíe una alerta al equipo de administradores correspondiente. Esta característica también permite registrar un evento en una tabla del sistema e incluso deshabilitar consultas de usuarios.
- Utilizar una configuración máxima de RPU, que establece el límite superior de recursos informáticos que Redshift Serverless puede utilizar en un momento dado. Al definir el tope máximo de RPU para el grupo de trabajo, Redshift Serverless se adapta dentro de ese límite para seguir ejecutando la carga de trabajo.
- Implementar reglas de monitoreo de consultas que ayuden a prevenir el desperdicio de recursos y los costos descontrolados provocados por consultas mal optimizadas.
Conclusión
Un almacén de datos es esencial para cualquier empresa moderna centrada en datos, ya que permite abordar preguntas comerciales complejas y ofrecer información valiosa. La evolución de Amazon Redshift ha permitido a Aura adaptarse rápidamente a los requisitos comerciales al integrar el intercambio de datos entre almacenes de datos tradicionales y Redshift Serverless. El recorrido de Aura con Redshift Serverless resalta el amplio potencial de la integración tecnológica estratégica para impulsar la eficiencia y la excelencia operativa.
Si el recorrido de Aura ha captado su interés y está considerando implementar una solución similar en su organización, aquí hay algunos pasos estratégicos que puede tener en cuenta:
- Comience por comprender a fondo las necesidades de datos de su organización y cómo una solución como esta puede abordarlas.
- Consulte con los expertos de AWS, quienes pueden ofrecerle orientación basada en sus experiencias. Considere participar en seminarios, talleres o foros en línea que traten estas tecnologías. Se recomiendan los siguientes recursos para dar los primeros pasos:
- Una parte esencial de este proceso sería realizar una prueba piloto. Esta experiencia práctica proporcionará información valiosa antes de pasar a la producción.
Mejore su experiencia en Redshift. ¿Ya está aprovechando todo el potencial de Amazon Redshift? Mejore su recorrido de datos con las últimas características y la guía de expertos. Comuníquese con su equipo exclusivo de cuentas de AWS para recibir un soporte personalizado, descubrir capacidades avanzadas y desbloquear un valor aún mayor de sus datos con Amazon Redshift.