Engenharia de Dados [Cast]

ETL no Airflow de Forma Inteligente e Escalável usando Astro Python SDK com Tatiana Martins, Staff Software Engineer na Astronomer

February 15, 2023 Luan Moreno, Mateus Oliveira & Tatiana Al-Chueyr Martins Season 3 Episode 5
Engenharia de Dados [Cast]
ETL no Airflow de Forma Inteligente e Escalável usando Astro Python SDK com Tatiana Martins, Staff Software Engineer na Astronomer
Show Notes Chapter Markers

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Tatiana Al-Chueyr Martins, atualmente como Engenheira de Software na Astronomer.

O Astro Python SDK é um SDK desenvolvido em Python Open-Source criado pela Astronomer, empresa que acelera o Apache Airflow, para tornar simples o processo de ETL.

Astro Python SDK oferece os seguintes benefícios:

  • Operações de ETL com Operadores para Abstração de Complexidade
  • Carga de Dados de Forma Escalável e Eficiente (Native Transfers)
  • Transformações Utilizando SQL & DataFrames
  • Entrega dos Dados nos Principais Data Warehouses Modernos
  • Operações Dinâmicas e Escaláveis


Falamos também nesse bate-papo sobre os seguintes temas:

  • Apache Airflow
  • Astronomer
  • Astro Cloud


Aprenda como o Astro Python SDK pode de fato mudar a forma com que seu time cria e desenvolve pipelines de ETL dentro do Apache Airflow.


Tatiana Al-Chueyr Martins
Astro Python SDK
Astronomer

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/


-como foi o seu primeiro contato com o mundo de dados?
como que foi essa tragetória de RJ para Londres?
Como as desenvolvedoras brasileiras são vistas no mundo de tecnologia internacional? Você recomenda para quem esta nos assistindo?
Como foi o convite para trabalhar na Astronomer?
Conte como é programar em Assembly
É possivel trabalhar com um software de qualidade usando Phyton
o que vocês acreditam que o Airflow vai se tornar nos próximos anos, vai além de uma ferramenta de orquestração?
Como foi distribuído os conceitos de database, file e store dentro do Astro SDK?
Como a comunidade pode contribuir com o desenvolvimento do Astro SDK?
Quais as novidades que estão por vir?
O que é a Astronomer?
Conte para nós sobre a iniciativa da Astronomer de escrever dags em SQL no Airflow
Como tem sido a adoção do Astro SDK
Considerações finais