Apoyando una estrategia de documentación de clase mundial con Atlan
La serie Pioneros de Metadatos Activos presenta a los clientes de Atlan que han realizado una evaluación exhaustiva del mercado de Gestión de Metadatos Activos. ¡Compartir lo aprendido con el próximo líder de datos es el verdadero espíritu de la comunidad de Atlan! Por eso, están aquí para compartir la valiosa perspectiva ganada sobre un mercado en evolución, lo que constituye su moderna pila de datos, casos de uso innovadores para metadatos y más.
En esta entrega de la serie, conocemos a Tina Wang, directora de ingeniería analítica de Tala, una plataforma de servicios financieros digitales con ocho millones de clientes, incluida en la lista FinTech 50 de Forbes durante ocho años consecutivos. Ella comparte su trayectoria de dos años con Atlan y cómo la sólida cultura de documentación respalda su migración a una nueva plataforma de datos de última generación.
Esta entrevista ha sido editada para mayor concisión y claridad.
¿Podría hablarnos un poco sobre usted, su experiencia y lo que lo atrajo a Datos & Analytics?
Desde el principio, me interesaron los negocios, la economía y los datos, razón por la cual opté por una doble especialización en Economía y Estadística en UCLA. He estado involucrado en el ámbito de los datos desde entonces. Mi trayectoria profesional ha estado en empresas emergentes y, en anteriores experiencias, siempre he sido el primer responsable del equipo de datos, lo que implicaba configurar toda la infraestructura, elaborar informes, descubrir ideas y mantener una comunicación constante con las personas. En Tala, colaboro con un equipo para idear y construir una nueva infraestructura de datos. Este trabajo me resulta sumamente interesante y gratificante, por eso sigo en este campo.
¿Podría describir a Tala y cómo su equipo de datos respalda a la organización?
Tala es una empresa de tecnología financiera. En Tala, entendemos que la infraestructura financiera actual no satisface las necesidades de la mayoría de la población mundial. Estamos aplicando tecnología avanzada y creatividad humana para abordar lo que las instituciones tradicionales no pueden o no quieren resolver, liberando así el potencial económico de la Mayoría Global.
El equipo de Ingeniería Analítica actúa como puente entre los equipos de ingeniería backend y diversos analistas de negocios. Nos encargamos de construir infraestructuras, limpiar datos, configurar tareas y garantizar que los datos sean fáciles de encontrar y estén listos para ser utilizados. Nos aseguramos de que los datos estén limpios, confiables y reutilizables para que los analistas de áreas como Marketing y Operaciones puedan enfocarse en análisis avanzados y generar conocimiento.
¿Cómo es la estructura de sus datos?
Principalmente utilizamos dbt para desarrollar nuestra infraestructura, Snowflake para la selección y Looker para la visualización. Ha sido excelente que Atlan se conecte a los tres y respalde nuestro proceso de documentar los archivos YAML desde dbt y sincronizarlos automáticamente con Snowflake y Looker. Valoramos mucho esa automatización, donde el equipo de Ingeniería Analítica no necesita entrar en Atlan para actualizar información, simplemente fluye desde dbt y nuestros usuarios comerciales pueden utilizar directamente Atlan como su fuente de datos.
¿Puede compartir su experiencia hasta ahora con Atlan? ¿Quién se beneficia al utilizarlo?
Llevamos más de dos años trabajando con Atlan y creo que fuimos uno de sus primeros usuarios. Ha sido extremadamente útil para nosotros.
Comenzamos a construir una capa de presentación con dbt hace un año y anteriormente utilizamos Atlan para documentar manualmente toda nuestra infraestructura anterior. Antes, la documentación era inconsistente entre los equipos y a menudo resultaba difícil entender el significado de una tabla o columna.
Ahora, mientras desarrollamos esta capa de presentación, nuestro objetivo es documentar cada columna y tabla expuesta al usuario final, y Atlan nos ha sido de gran ayuda. La documentación es sencilla y fácil de comprender para los usuarios comerciales. Pueden acceder a Atlan y buscar una tabla o columna, e incluso buscar descripciones, como por ejemplo: "Muestre todas las columnas relacionadas con información personal".
Normalmente, el equipo de Ingeniería Analítica es responsable de mantener esa documentación. Cuando creamos tablas, nos coordinamos con los responsables del servicio que diseñaron la base de datos para comprender el esquema, y al crear columnas, las organizamos de manera clara y las integramos en un archivo YAML de dbt que se conecta automáticamente con Atlan. Además, ingresamos a Atlan y añadimos archivos README si es necesario.
Los usuarios comerciales no utilizan dbt y Atlan es su única fuente para acceder a la documentación de Snowflake. Acceden a Atlan, buscan una tabla o columna específica, leen la documentación y identifican al propietario. También pueden revisar el linaje para comprender cómo se relaciona una tabla con otra y qué códigos generan la tabla. Lo destacado del Linaje es su total automatización, resultando invaluable en la exploración de datos cuando alguien no está familiarizado con una nueva fuente de datos.
¿Cuáles son los siguientes pasos para usted y su equipo? ¿Hay algún proyecto emocionante en desarrollo?
Durante el último año, nos hemos centrado en la capa semántica de dbt. Esto nos ayudará a centralizar aún más las definiciones de métricas comerciales y evitar duplicidades entre varios equipos de análisis de la empresa. Una vez finalizada nuestra capa de presentación, integraremos la capa semántica de dbt para mejorar la fluidez de los informes y visualizaciones.
¿Tiene algún consejo que desee compartir con sus colegas a partir de su experiencia?
Documente. ¡Definitivamente documente!
En uno de mis empleos anteriores, no se disponía de documentación en la base de datos, aunque esta era muy pequeña. Siendo el primer empleado, abogué fervientemente por la documentación y me dediqué a documentarlo todo, pero depender de una hoja de cálculo de Google no es sostenible para organizaciones más grandes con millones de tablas.
Al unirme a Tala, me encontré con una cantidad abrumadora de información que resultaba complicada de gestionar. Por eso, iniciamos el proceso de documentación antes de construir la nueva infraestructura. Durante un año, documentamos nuestra infraestructura previa, lo cual no fue en vano, ya que al construir la nueva infraestructura, consultar la documentación anterior resultó sencillo.
Por ello, insisto en la importancia de la documentación. Cuando comienzas, es el momento ideal para centralizar el conocimiento, de modo que cuando alguien se vaya, el conocimiento permanezca y sea fácil para los nuevos integrantes. No habrá lugar para confusiones. Todo estará centralizado y claro.
En ocasiones, distintos equipos pueden emplear definiciones diversas para términos similares. Incluso en esos casos, utilizamos SQL para documentar y asegurarnos de que todo esté claro, por ejemplo, diciendo "Esta fórmula deriva la definición de Beneficio".
Deseamos reducir al máximo las interpretaciones erróneas. Esa es la clave que deseo enfatizar.
¿Hay algo más que le gustaría compartir?
Aún conservo la hoja de cálculo que utilicé hace dos años para investigar herramientas de documentación. Analicé 20 proveedores diferentes y todas las herramientas disponibles. Para mí, era crucial encontrar una plataforma que se integrara con todas las herramientas que ya estábamos utilizando, como dbt, Snowflake y Looker, y que contara con un sólido equipo de soporte. Sabía que al principio tendríamos muchas preguntas al configurar permisos y conexiones de datos, por lo que un equipo de soporte eficaz sería fundamental.
Recuerdo que al comenzar a trabajar con el equipo de Atlan, todas las personas con las que interactué fueron extremadamente serviciales y dedicadas. En la actualidad, operamos de forma autónoma y siempre me enorgullece haber encontrado y elegido a Atlan.
Foto por Priscilla Du Pérez 🇨🇦 en Unsplash