Engenharia de Dados [Cast]

Dremio & Iceberg for Building an Open-Source Data Lakehouse with Dipankar Mazumdar, Data Advocate at Dremio

June 06, 2023 Luan Moreno M. Maciel Season 3 Episode 13
Engenharia de Dados [Cast]
Dremio & Iceberg for Building an Open-Source Data Lakehouse with Dipankar Mazumdar, Data Advocate at Dremio
Show Notes Chapter Markers

No episódio de hoje, Luan MorenoMateus Oliveira e Antony Lucas entrevistaram Dipankar Mazumdar, atualmente como  Data Advocate na Dremio.


Dremio é uma das mais conhecidas tecnologias de Self-Service SQL Analytics de mercado, unificando a visão dos dados e utilizando a lingua franca de dados: o SQL.

Alinhado com o Apache Iceberg, o Dremio traz a proposta de ser um Open Data Lakehouse. 

Com Apache Iceberg, você tem os seguintes benefícios:

  • Compactação de Dados;
  • Time Travel;
  • ACID;
  • Hidden Partition;
  • Desenvolvido para multi-plataforma.


Falamos também nesse bate-papo sobre os seguintes temas:

  • Engenharia de Dados;
  • Apache Iceberg;
  • Dremio.


Aprenda mais sobre como o Dremio e Iceberg que juntos, podem prover mais uma opção de Data Lakehouse, principalmente para casos que vamos trabalhar com plataformas distintas de processamento e exploração de dados.

Dipankar Mazumdar = Linkedin

https://www.dremio.com/

https://iceberg.apache.org/



Luan Moreno =
https://www.linkedin.com/in/luanmoreno/


Guest Introduction - Dipankar Mazumdar
Based on your knowledge and experience, what are the most Breaking Through in the Data Universe nowadays?
About ETL , Data Lake House e Data Mesh
Do you see common patterns in the Data Engineering realm? If yes, what are those?
What are the most common tools for the Data Engineering practice?
How to reduce companies' friction to get valuable insights faster?
Do you agree that we live in an Era of Data Platforms {SaaS Data Platforms}?.
What are the main advantages of a Data Lakehouse over a Data Lake?
What are the best features of Apache Iceberg, in your opinion?
What is the main reason Apache Iceberg has been receiving huge adoption and acceleration
How to chain downstream consumers using Iceberg?.
Is the user experience in Dremio an important differential above the market
Reflections: an important fundamental of Dremio. When do we use reflections, and when do we not use them?
In a nutshell, can you tell us about these two Dremio products
Tell us about the newest kid on the block, the Iceberg book.