Mastering Apache Airflow with Marc Lamberti, Head of Customer Education at Astronomer

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Marc Lamberti, atualmente como Head of Customer na Astronomer.

Vamos entender o Apache Airflow em um nível mais avançado para aplicar soluções para problemas de dados no dia-a-dia, visando melhores práticas.

Abaixo alguns pontos sobre técnicas avançadas de Apache Airflow:

• Executar pipelines do Airflow com acesso imediato aos recursos mais recentes.   
• Reduzir o consumo de infraestrutura para tarefas de longa duração.
• Reduzir latência de tarefa com configuração e dimensionamento automático.
• Coletar metadados automaticamente por meio do Open Lineage integrado.

Falamos também nesse bate-papo sobre os seguintes temas:

• Características do Apache Airflow
• Astro Python SDK
• Dynamic Task
• Astro Cloud
• Apache Airflow vs. Perfect vs. Mage

Aprenda como utilizar o Apache Airflow em um nível mais avançado para orquestrar o seus data pipelines.

Marc Lamberti
Marc Youtube Channel
Engenharia de Dados Academy

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Chapters

• 1:24 Guest Introduction
• 2:41 Both companies and professionals know now what is the role of Data Engineers?
• 6:11 What is the most challenging thing when you are teaching about Airflow?
• 11:34 How do you see the adoption of Apache Airflow nowadays?
• 13:26 What is the most exciting feature after Apache Airflow 2.0 release?
• 18:13 What are the characteristics and what are the advantages and features of the Astro Python SDK, in your opinion?
• 25:24 tell us about Dynamic Task Mapping
• 31:12 How do you see the best use of Astro?
• 38:08 Apache Airflow vs. Prefect vs. Mage