Harnessing The Power of Data Observability on Elementary for dbt Users with Maayan Salom

Neste episódio falamos com Maayan Salom sobre dbt e Elementary e como essas duas ferramentas tem ajudado times de dados a implementar de forma eficiente e segura pipelines de dados.

O dbt se tornou uma das ferramentas mais utilizadas para transformar dados dentro do Data Warehouse por trazer a facilidade de se usar a linguagem SQL para processamento dos dados. Com dbt é possível ter uma visão ampla do que está acontecendo dentro da sua fonte da verdade analítica, além de proporcionar diversas capacidades interessantes para times que desejam escalar de forma rápida e estruturada.

O Elementary é um produto open-source cuja responsabilidade é aplicar o conceito de observabilidade dentro dos pipelines de dados construídos no dbt. Essa solução entrega relatórios, detecção de anomalias, validação de desempenho do seu pipeline e pode até entregar alerta no Slack, isso tudo para aprimorar e enriquecer seu processo de ETL.

Nesse bate papo você irá entender como o dbt e o Elementary podem reduzir a complexidade durante a criação e observabilidade dos seus pipelines de dados e trazer seu time de dados para um ambiente confiável e monitorado.

dbt
Elementary
Maayan Salom

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Chapters

• 3:52 Guest Introduction
• 8:54 Link Between Cyber ​​Security & Data
• 12:23 Background and Data Endeavor
• 13:33 Do You See The Concept of Data Teams Nowadays?
• 17:51 Buzz Concept, The Modern Data Stack
• 22:07 Why dbt Has Gained Traction Over The Past 2-3 Years?
• 24:39 What Are The Benefits of Choosing dbt Over Apache Spark?
• 34:03 Why Data Observability Is Important Nowadays?
• 38:05 Elementary Open-Source {OSS}
• 41:40 Main Problems That Elementary Solves?
• 45:09 Why Open-Source Products Are Key For a Business?
• 51:24 New Features and Releases of Elementary
• 55:29 Data Trends for 2023