Engenharia de Dados [Cast]
Esse podcast tem como principal objetivo esclarecer as mais diversas faces de Big Data. Hoje em dia a quantidade de produtos e tecnologias disponíveis no mercado é imensa e saber o que usar e quando irá posicionar qualquer engenheiro de dados no topo da cadeia alimentar. Iremos apresentar diversas discussões calorosas além de explicações em detalhes sobre as mais diversas necessidades para se tornar um profissional diferenciado nessa área.
Engenharia de Dados [Cast]
ETL no Airflow de Forma Inteligente e Escalável usando Astro Python SDK com Tatiana Martins, Staff Software Engineer na Astronomer
•
Luan Moreno, Mateus Oliveira & Tatiana Al-Chueyr Martins
•
Season 3
•
Episode 5
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Tatiana Al-Chueyr Martins, atualmente como Engenheira de Software na Astronomer.
O Astro Python SDK é um SDK desenvolvido em Python Open-Source criado pela Astronomer, empresa que acelera o Apache Airflow, para tornar simples o processo de ETL.
Astro Python SDK oferece os seguintes benefícios:
- Operações de ETL com Operadores para Abstração de Complexidade
- Carga de Dados de Forma Escalável e Eficiente (Native Transfers)
- Transformações Utilizando SQL & DataFrames
- Entrega dos Dados nos Principais Data Warehouses Modernos
- Operações Dinâmicas e Escaláveis
Falamos também nesse bate-papo sobre os seguintes temas:
- Apache Airflow
- Astronomer
- Astro Cloud
Aprenda como o Astro Python SDK pode de fato mudar a forma com que seu time cria e desenvolve pipelines de ETL dentro do Apache Airflow.
Como as desenvolvedoras brasileiras são vistas no mundo de tecnologia internacional? Você recomenda para quem esta nos assistindo?
o que vocês acreditam que o Airflow vai se tornar nos próximos anos, vai além de uma ferramenta de orquestração?
