100 new features. 20 new integrations. 2 major product launches. A unique customer conference. At Atlan, 2023 was dedicated to shaping the future with forward-thinking data teams. Let’s revisit the highlights of the year.
The Revolutionary AI Copilot for Data Teams
In 2023, Generative AI revolutionized the tech industry, inspiring every data team to explore AI’s potential to enhance productivity.
Building on insights gained as a data team, we embraced the chance to enhance data professionals' lives with Generative AI. In April 2023, we organized a company-wide AI hackathon to gather ideas for the future of data catalogs and data governance.
Two months later, in June 2023, we introduced Atlan AI. Through a partnership with Microsoft and the utilization of Azure OpenAI Service, Atlan led the way in empowering data catalogs with AI capabilities, kickstarting a surge in AI-driven innovations for data governance.
Transform Documentation Management with Atlan AI
In the past, documentation was often overlooked, hindering businesses from trusting data and making informed decisions swiftly. Atlan AI addresses this challenge by automatically generating descriptions for various data assets within Atlan. Data producers simply need to review, edit, and publish.
Following 6 months of customer testing during a closed preview, Atlan AI’s description suggestions boasted a remarkable 60% acceptance rate, freeing up data professionals to focus on critical projects.
Simplify Lineage Transformations with Atlan AI
Lineage streamlines transformations by simplifying complexities, illustrating relationships between data assets. Previously, delving into the intricacies of how and why a data asset underwent transformation could consume hours for a data analyst. Not anymore.
Atlan AI aids data analysts and engineers in comprehending intricate lineage transformations by providing explanations in plain language.
Data catalogs and data governance are undergoing a transformative and positive change, all thanks to AI.
The Path Ahead for Data Governance
In 2023, we organized Re:Govern, a pioneering community conference on modern data governance. Nearly a thousand data professionals convened to learn from visionary leaders in the field, representing companies like Nasdaq, Fox, Autodesk, Elastic, and HelloFresh, sharing insights and strategies for modern data governance.
If there’s one key lesson from Re:Govern, it’s this: the future of data governance will break away from its historical norms.
Amy Raygada (Swiss Marketplace Group) and Mark Kidwell (Autodesk) outlined their innovative approaches to constructing a data mesh. Takashi Ueki (Elastic) highlighted trust automation through data contracts. And Mihir Modi (FOX) elaborated on data products and AI integration in data governance.
Data teams are transitioning from archaic manual, isolated practices to a new era emphasizing automation, AI, collaboration, and adaptability for success.
Therefore, in 2023, we commenced our journey towards a future where data mesh becomes tangible, AI is ingrained in our workflows, and traditional manual governance shifts to automation. Let’s review the data governance advancements of 2023:
Enliven Your Data Mesh with Atlan Mesh
Atlan Mesh offers an unparalleled native data mesh experience within a data catalog. It caters to data consumers, enhancing their grasp of the data ecosystem. Here’s how:
- Data products as core entities: Data treated as products necessitates a bespoke solution, not makeshift fixes. Atlan now enables the creation and curation of data products seamlessly within a new interface, fostering user-friendly, context-rich discovery for business users.
- Dedicated domains for federated realms: Atlan Mesh provides each domain with a team-centric workspace and main page for presenting curated data products and documentation to data consumers.
- Business-oriented lineage: While lineage traditionally served as a technical tool for data producers to gauge impact and identify root causes, Atlan Mesh introduces business lineage for data consumers seeking to comprehend the origins, not the technical intricacies, guiding their utilization decisions.
- Data arrangements: To aid in data product creation and foster proactive collaboration between data creators and consumers, we introduced a novel concept of data arrangements in Atlan.
We’ve already initiated the rollout of Atlan Mesh to select customers, who will contribute to the Atlan Mesh Advisory Council, driving the evolution of federated, adaptable data.
Trabajar en colaboración de gobernanza de datos.
Gestiona el cumplimiento en un único lugar con la Gestión de Etiquetas
A medida que la pila de datos moderna continúa evolucionando, los equipos de datos necesitan asegurarse de que las personas adecuadas tengan el acceso correcto a los datos pertinentes. Esto implica identificar datos sensibles y protegerlos con los controles de acceso adecuados, al tiempo que se sirve datos confiables a los consumidores de datos.
Para resolver este desafío, lanzamos la Gestión de Etiquetas: una nueva forma para que tu equipo de datos gestione el cumplimiento y la seguridad, convirtiéndonos en uno de los primeros socios de gobernanza de datos de Snowflake en habilitar la sincronización bidireccional de etiquetas entre Snowflake y Atlan.
La Gestión de Etiquetas te permite:
- Crear etiquetas nativas o importar etiquetas desde herramientas como Snowflake a Atlan
- Clasificar activos de datos con etiquetas a escala mediante los Playbooks de Atlan
- Sincronizar actualizaciones de etiquetas en Atlan de vuelta a fuentes de datos como Snowflake
Con la Gestión de Etiquetas de Atlan para Snowflake, nuestro equipo tendrá un único lugar central para gestionar etiquetas. La sincronización bidireccional de etiquetas capacitará a nuestros productores de datos para etiquetar activos donde trabajan y permitirá a nuestro equipo de plataforma gestionar etiquetas y permisos de manera eficiente.
Roi Levoso Fernández, Gerente de Ingeniería de Datos, Taxfix
Comprende el impacto y optimiza costos con métricas de Popularidad y Uso
Como líder de datos, siempre estás buscando sacar el máximo provecho de tus datos, al mismo tiempo que controlas los costos. Pero necesitas visibilidad sobre quién está usando realmente qué datos en qué herramientas.
En 2023, lanzamos Popularidad y Uso para 4 conectores – Snowflake, Databricks, Power BI y Redshift – brindando a los equipos de datos la capacidad de:
- Descubrir los activos más o menos utilizados mediante la clasificación por popularidad
- Comprender la popularidad en la línea de linaje con indicadores de popularidad y ventanas emergentes
- Ver quién está utilizando los datos con los Usuarios Principales y Usuarios Recientes
- Optimizar el conjunto de datos con consultas Populares, Lentas y Costosas
Con el lanzamiento de Popularidad y Uso para Snowflake, Mistertemp, un líder en reclutamiento y trabajo temporal con sede en Francia, depreció el 50% de las tablas no utilizadas de Snowflake y más del 60% de sus activos de Looker:
Todo lo que viene después cambió. Pudimos ver cada conexión existente en Fivetran. Pudimos ver qué se usaba realmente. Mantuvimos esos datos, y para todo lo demás, lo desconectamos.
David Milosevic, Jefe de Datos y Análisis, Mistertemp
La Era de los Metadatos Activos
Los metadatos activos siempre han sido fundamentales para la plataforma de Atlan, y en 2023, vimos que se convirtió en el centro de los conjuntos de datos en diversas industrias y empresas también.
Este año, 20 nuevos líderes de datos, de empresas como Docker, Purple y Datacamp, se unieron al club de Pioneros de Metadatos Activos: un grupo visionario que está llevando los metadatos activos al siguiente nivel al hacer de ellos una prioridad. Y para cerrar el año, en noviembre de 2023, G2 lanzó su primer Informe de Cuadrícula de Metadatos Activos, impulsado por opiniones de usuarios reales, con Atlan siendo el único líder en la categoría.
Con eso, hagamos un resumen de los avances de metadatos activos en 2023:
No rompas mi corazón paneles de control con Metadata CI/CD
El análisis de impacto es un proceso agotador, que consume tiempo y desalentador para los ingenieros de datos. Pero sin él, un pequeño cambio podría romper miles de paneles de control. ¿Qué tal si el análisis de impacto pudiera ser proactivo y preventivo, en lugar de reactivo y manual? Dale la bienvenida a Metadata CI/CD.
Con integraciones para GitHub y GitLab, Metadata CI/CD muestra automáticamente los activos impactados en el flujo de trabajo del productor de datos. Esto significa que los ingenieros de datos no tienen que verificar el impacto manualmente y los usuarios empresariales pueden confiar en sus paneles de control, que se rompen menos a menudo.
Después de su lanzamiento, Metadata CI/CD ayudó a un equipo de datos en Atlan a darse cuenta de que la solicitud de cambio de nombre de una columna podría afectar a más de 1,000 paneles de control críticos para el negocio.
Atlan ha sido de gran ayuda. Ya no tenemos que depender de estos documentos, y podemos realizar evaluaciones de impacto con solo hacer clic en un botón.
Néstor Jarquin, Líder Global de Datos y Análisis, Aliaxis
Making metadata accessible through popular tools like spreadsheets
One of the enduring data tools is Excel.
In 2023, enhancements were made to our integrations with Microsoft Excel and Google Sheets to facilitate various applications:
- Streamline documentation by enhancing metadata in bulk
By importing data assets from Atlan into Excel or Sheets, users can now document descriptions, certificates, owners, tags, and announcements for column assets with the flexibility of a spreadsheet and synchronize metadata updates to Atlan effortlessly.
- Establish trust and inform end users with impact analysis
Efficiently analyze impacts by importing impact analysis into a spreadsheet and incorporate announcements to keep end users informed.
Enhancing collaboration between Business and Data with Microsoft Teams
To ensure broad adoption across the company, it’s essential to engage users in their familiar environments. This is why Atlan now integrates with Microsoft Teams, fostering expedited data and business project progress through enhanced cross-functional collaboration around data.
Through Atlan’s integration with Microsoft Teams, users can:
- Share data assets and pose data inquiries within Microsoft Teams channels directly from Atlan
- Associate critical, context-rich Microsoft Teams conversations with Atlan assets
- Receive alerts and notifications in designated Microsoft Teams channels
Extending metadata capabilities with Webhooks and new Python and Java SDKs
Getting your data environment and team ready for vital data projects, such as AI models, demands a platform-oriented metadata strategy. From event-triggered metadata scenarios like alerts to inferred metadata applications like Data as a Product evaluations, data teams are breathing life into the future of metadata through this year’s extensibility enhancements.
In 2023, the Java and Python SDKs were launched, empowering data teams to create tailored active metadata applications like:
- Governance reporting: Automatically produce governance progress reports through metadata enrichment.
- Custom connections: Integrate Atlan with your in-house enterprise systems for comprehensive discovery and lineage.
- Inferred metadata: Generate bespoke metadata such as a "Metadata Completeness Score" or "Data as a Product Score" leveraging metadata enrichment.
- Metadata migration: Seamlessly transfer all existing metadata from your legacy data catalog to Atlan.
In addition to the Python and Java SDKs, Webhooks support was introduced in 2023, unveiling event-driven metadata utilization possibilities.
Webhooks facilitate real-time monitoring of activities in Atlan, delivering notifications to a specified URL, enabling immediate action. For instance, one could set up a webhook to send notifications to an email address or collaboration platforms like Slack or Microsoft Teams upon term updates or asset tagging activities.
The opportunities are boundless as we anticipate the evolution of active metadata driven not by Atlan alone but by data teams worldwide.
Fostering Collaboration for Trusted Data
As tools within the current data landscape continue to segregate, data handlers are also becoming isolated.
BI tool users lack insight into the upstream data production realm, leading to delayed issue identification. Conversely, data producers are unaware of how their code alterations impact downstream dashboards.
This year, 18 new native connectors were introduced for various tools including Data Quality, Data Observability, Data Orchestration, and Business Intelligence, aiming to bridge the gap between data producers and consumers. Let’s review the major integrations of 2023.
New Collaborations with Data Quality Tools
When data discrepancies arise, business stakeholders are often the first to notice the issues, highlighting the imperative role of data quality for establishing trust in data.
In 2023, Atlan established integrations with two industry leaders in Data Quality and Observability: Monte Carlo and Soda.
Monte Carlo x Atlan
The collaboration between Monte Carlo and Atlan empowers businesses to gain real-time insights into data health, boosting data credibility, and fostering innovative approaches to distributed data infrastructure.La integración nativa de Monte Carlo te brinda la capacidad de:
- Descubrir incidentes y monitores de Monte Carlo en Atlan con filtros específicos de Monte Carlo.
- Democratizar las señales de calidad de datos de Monte Carlo dondequiera que trabajen los usuarios comerciales con la extensión de Chrome de Atlan.
- Agilizar el análisis de la causa raíz y el impacto a través de los incidentes de Monte Carlo que se muestran en la línea de linaje a nivel de columna de Atlan.
Con Monte Carlo y Atlan, podemos detectar incidentes de datos tempranamente y proporcionar a todos una clara visibilidad sobre el estado actual de la precisión de los datos. Esto ha sido fundamental para que el equipo ejecutivo confíe en que podemos cumplir con nuestra promesa de datos confiables y fiables.“
Michael Weiss, Director Senior de Gestión de Productos (NAM, Acceso a Datos y Análisis), NASDAQ
Soda x Atlan
La integración nativa de Atlan y Soda proporciona a los equipos de datos una plataforma intuitiva y completa para encontrar, confiar y utilizar los datos correctos. La integración nativa de Soda te brinda la capacidad de:
- Descubrir métricas y resultados de calidad de datos de Soda en Atlan.
- Informar a los usuarios de datos sobre problemas de datos antes de que tomen decisiones al resaltar los resultados de comprobación de Soda en la extensión de Chrome de Atlan.
- Agilizar el análisis de la causa raíz y el impacto a través de las verificaciones de Soda que se muestran en la línea de linaje a nivel de columna de Atlan.
Conectores de BI para la Adopción Empresarial
Para impulsar la adopción de tu plataforma de catálogo de datos e iniciativas de gobierno de datos, necesitas llegar a los usuarios comerciales donde trabajan: en las herramientas de BI. En 2023, lanzamos conectores nativos listos para usar para 6 nuevas herramientas de BI para ayudar a los equipos de datos a impulsar la adopción en toda la empresa:
- Sigma
- Qlik Sense
- Amazon Quicksight
- MicroStrategy
- Thoughtspot
- Sisense
Estos conectores de BI permiten a las empresas:
- Construir una única fuente de verdad verificada para activos de BI al permitir la búsqueda y documentación de activos de BI en Atlan.
- Permitir análisis proactivo de impacto de paneles y casos de uso descendentes al conectar activos de BI con activos ascendentes de almacén, ELT y origen con linaje entre sistemas.
- Construir confianza en los datos al mostrar señales de confianza de herramientas de calidad de datos, observabilidad y orquestación.
He tenido al menos dos conversaciones donde las preguntas sobre el impacto descendente habrían requerido una gran cantidad de recursos. Luego, hacer realmente el trabajo habría llevado al menos cuatro a seis semanas, pero logré sentarme junto a otro arquitecto y resolver eso en 30 minutos, diciendo 'Si cambias el nombre de la columna o agregas una columna adicional, esto es lo que se romperá o impactará'."
Karthik Ramani, Jefe Global de Arquitectura de Datos, Dr. Martens
Probando Contexto de ELT y Orquestación al Negocio
Los metadatos operativos pueden aportar un contexto poderoso desde los procesos de canalización para tanto usuarios comerciales como equipos de datos. En 2023, invertimos en la creación de conectores nativos para herramientas que podrían ayudar a responder esta pregunta: cuando una canalización falla, ¿cómo informas a un usuario comercial y ayudas a un ingeniero de datos a encontrar la causa raíz más rápido? Por eso construimos nuestra primera integración basada en eventos con Airflow y OpenLineage.
Airflow x OpenLineage x Atlan
En 2023, Airflow, OpenLineage y Atlan se asociaron para construir un ecosistema de confianza al hacer que la observabilidad en tiempo real de la canalización sea una realidad. Así es como:
- Obtén una visión general completa de tus canalizaciones de Airflow en Atlan catalogando y documentando activos de Airflow, como DAGs y tareas.
- Sigue y monitorea tu canalización en un solo lugar con metadatos operativos en tiempo real como detalles y estados de ejecución de tareas.
Comprende el impacto de tus canalizaciones de Airflow visualizando cómo se conectan los DAGs y tareas de Airflow con tus activos de datos con linaje entre sistemas.
