Engenharia de Dados [Cast]

Spark on Kubernetes [SPOK] with Hudson Buzby, Solutions Architect at Spot.io

May 11, 2023 Luan Moreno & Mateus Oliveira Season 3 Episode 11
Engenharia de Dados [Cast]
Spark on Kubernetes [SPOK] with Hudson Buzby, Solutions Architect at Spot.io
Show Notes Chapter Markers

No episódio de hoje, Luan Moreno, Mateus Oliveira & Tiago Xavier entrevistaram Hudson Buzby, atualmente como Arquiteto de Soluções na Spot by NetApp.

SPOK ou Spark Operator on Kubernetes, é o deployment para Apache Spark que utiliza um Operator de Kubernetes para melhor gerenciar os drivers e executors usando Kubernetes como infraestrutra escalável.


 Com SPOK, você possui os seguintes benefícios:

  • Melhor utilização de recursos escaláveis.
  • Infraestrutura mais leve.
  • Criação de serviços Serverless {Ocean

 
Falamos também nesse bate-papo sobre os seguintes temas:

  • História
  • Spark Operator on Kubernetes
  • Ocean for Apache Spark
  • Dicas das trincheiras


Nesta sessão você  aprenderá a utilizar melhor o Apache Spark no Kubernetes, e entender um pouco mais  porque os clientes da Spot embarcaram nesta jornada.


Spot
Hudson Buzby
Data Mechanics
Ocean for Apache Spark

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/


Since 2018 working with Data Engineering, what is your take about Apache Spark
Tell us about the history behind Data Mechanics
Difficulties throughout the implementation process? Tiago Xavier External shuffle (Spot Instance)
Today at Spot.io, what is the average number of Pods scaling daily?
What are the significant differences between having a traditional Apache Spark deployment and going to Spark on Kubernetes?
YARN vs. Kubernetes
What are the Advantages and disadvantages of having your entire data pipeline using Spark on Kubernetes?
Databricks vs. AWS EMR vs. GCP Dataproc vs. Spark on Kubernetes
What are the main features of Ocean for Apache Spark
What do you use for unit testing and tell us about apache Livy
Trench Experience Apache Zeppelin - Jupyter Gateway - Jupyter Labs (Kubernetes) Autotune & Deep Learning