Engenharia de Dados [Cast]
Esse podcast tem como principal objetivo esclarecer as mais diversas faces de Big Data. Hoje em dia a quantidade de produtos e tecnologias disponíveis no mercado é imensa e saber o que usar e quando irá posicionar qualquer engenheiro de dados no topo da cadeia alimentar. Iremos apresentar diversas discussões calorosas além de explicações em detalhes sobre as mais diversas necessidades para se tornar um profissional diferenciado nessa área.
Engenharia de Dados [Cast]
O Poder do Lineage de Dados com Lucas Galindo & Gabs Ferreira da Alvin
•
Luan Moreno & Mateus Oliveira
•
Season 3
•
Episode 9
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Lucas Galindo Data Engineer/Software Engineer & Gabs Ferreira Community Builder, ambos trabalhando na Alvin.
A solução Alvin cria e mantém automaticamente um conjunto de dados de gráfico conectando em fontes de dados, como Snowflake, Redshift, dentre outros entregando uma solução da Data Lineage robusta.
O Alvin oferece os seguintes benefícios:
- Uma maneira automatizada de detectar e rastrear erros/bugs
do pipeline, reduzindo o tempo de inatividade dos dados. - Automatiza o teste de regressão, fornecendo um relatório detalhado do impacto downstream antes da implantação do código.
- Mapeia automaticamente os fluxos de dados dentro e entre os sistemas e mostra como eles são consumidos em toda a empresa.
Neste podcast, foi também argumentado assuntos como governança, democratização e qualidade dos dados.
- Conceitos de Linhagem de Dados e Governança de Dados
- Features Integrações disponíveis na Plataforma da Alvin.
- Diferenças de mercado (Nacional & Internacional).
- Comunidade de Dados.
Entenda porque precisamos de governança de dados e como a Alvin pode nos entregar um produto focado em Linhagem de Dados para agregar valor para aos seus cliente.
Alvin
Gabs Ferreira
Lucas Galindo
hoje, principalmente no Brasil, vocês já veêm esta preocupação com governança e qualidades de dados?
Data Quality, não é só sobre ter um pipeline com as melhores tecnologias mas extrair qualidade dos dados que serão entregues?
Fazendo um paralelo sobre aplicar soluções em dados para empresas brasileiras e para internacionais, qual é a maior diferença?
Não podemos deixar de perguntar sobre isso, Kubernetes, vocês veêm como de-fato a infrastrutura para criação de plataformas?
Para encerrar o nosso papo, qual é a dica valioso que vocês daria para quem quer entender mais sobre qualidade de dados e governança
