Engenharia de Dados [Cast]

Databricks como Plataforma de Lakehouse para Times de Dados

February 07, 2023 Luan Moreno, Mateus Oliveira & Rodrigo Oliveira Season 3 Episode 4
Engenharia de Dados [Cast]
Databricks como Plataforma de Lakehouse para Times de Dados
Show Notes Chapter Markers

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Rodrigo Oliveira, atualmente como Arquiteto de Solução na Databricks.

Databricks é uma plataforma de linguagem unificada que tem como motor de processamento o Apache Spark, possibilitando o processamento de dados em batch e streaming em um serviço gerenciado presente nas principais nuvens (AWS, Azure e GCP).

Além disto, o Databricks proporciona:

  • Experiência de Notebook Avançada
  • Workspace para Times de Dados
  • Criação de Clusters para o seu Use-Case
  • Plataforma de Desenvolvimento de Pipelines


Nesse bate papo foi feito a abordagem dos seguintes temas:

  • Apache Spark (Open-Source)
  • Delta Lake (Open-Source)
  • Data Lakehouse
  • Unity Catalog
  • Workflows
  • Delta Live Tables (DLT)
  • Databricks SQL
  • Snowflake vs. Databricks

Entenda melhor como utilizar o Databricks em um ambiente corporativo para colaboração entre os times de dados, além de uma solução de fácil desenvolvimento e entrega de valor para sua empresa, se tornando cada vez mais uma plataforma de dados.

Rodrigo Oliveira
Databricks

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/


Hoje qual é a sua visão para o mundo de engenharia de dados?
Existe uma crescente no mundo dos times de dados, algo mais unificado, faz sentido esse movimento?
Existe uma crescente no mundo dos times de dados, algo mais unificado, faz sentido esse movimento?
Existe uma crescente no mundo dos times de dados, algo mais unificado, faz sentido esse movimento?
Qual foi a sua primeira impressão ao trabalhar com Databricks?
Por que o Apache Spark é tão famoso no meio de engenharia de dados? Quais problemas ele resolve?
Para vocês qual é a principal feature do Apache Spark, o que o torna diferencial?
Qual é a maior dificuldade hoje para quem está começando a trabalhar com Apache Spark?
-Quais use case não devemos usar Apache Spark ou são melhores resolvidos com outras tecnologias?
Quais features vocês acreditam que serão mais aceleradas em 2023?
hoje no mercado profissionais, as certificações da Databricks são bem vistas além de diferenciais para certas oportunidades?
SQL se comparamos com outras opções de mercado?.
SQL se comparamos com outras opções de mercado?