Mastering Apache Airflow with Marc Lamberti, Head of Customer Education at Astronomer

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Marc Lamberti, atualmente como Head of Customer na Astronomer.

Vamos entender o Apache Airflow em um nível mais avançado para aplicar soluções para problemas de dados no dia-a-dia, visando melhores práticas.

Abaixo alguns pontos sobre técnicas avançadas de Apache Airflow:

• Executar pipelines do Airflow com acesso imediato aos recursos mais recentes.   
• Reduzir o consumo de infraestrutura para tarefas de longa duração.
• Reduzir latência de tarefa com configuração e dimensionamento automático.
• Coletar metadados automaticamente por meio do Open Lineage integrado.

Falamos também nesse bate-papo sobre os seguintes temas:

• Características do Apache Airflow
• Astro Python SDK
• Dynamic Task
• Astro Cloud
• Apache Airflow vs. Perfect vs. Mage

Aprenda como utilizar o Apache Airflow em um nível mais avançado para orquestrar o seus data pipelines.

Marc Lamberti
Marc Youtube Channel
Engenharia de Dados Academy

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/