• Live training

Spark com Scala para Programadores


Big Data é um tema central na abordagem aos dados, processamento e tratamento da informação em larga escala, na atual realidade.

Organizações só conseguirão ser verdadeiramente competitivas e bem sucedidas se reunirem, analisarem e visualizarem a informação das múltiplas variáveis dos seus produtos, serviços e mercados onde operam por forma a responderem de forma eficaz às necessidades de cada momento.

Organizações como a Google, Amazon, NASA ou Yahoo, empregam a utilização de Clusters Spark para extrair informação de bases de dados massivas.

 

O Spark é uma ferramenta de Big Data, uma das tecnologias mais modernas para processar grandes conjuntos de dados de forma paralela e distribuída. Embora possam ser utilizadas várias linguagens de programação como o Python, R ou Java, Scala é a linguagem de eleição para programação em Spark.

Numa ótica de sessões mistas de teoria e de prática, neste curso, serão abordados conhecimentos fundamentais para a programação com a linguagem Scala e o framework Spark.

Destinatários

  • Engenheiros de software
  • Programadores
  • Analistas de dados
  • Interessados em ampliar conhecimentos de BigData

Pré-requisitos

  • Conhecimentos de Inglês
  • Conhecimentos de uma linguagem orientada por objectos: Java, C#, Python, MatLab, ou outra
  • Conhecimentos de estatística simples
  • Conhecimentos de Linux

Objetivos

No final da acção de formação os participantes deverão estar aptos a:

  • Desenvolver código distribuído utilizando o a linguagem Scala
  • Instalar e configurar um Standalone Apache Spark 3.0 Cluster.
  • Analisar BigData e extrair informação útil.
  • Aplicar transformações a bases de dados e data frames
  • Aplicar analises gráficas usando GraphX
  • Monitorizar o funcionamento de um cluster spark

Metodologia

Este curso é constituído por módulos de formação online síncronos (em tempo real em sala virtual) integrados numa ótica de sessões mistas de teoria e de prática. Durante todo o curso, os formandos terão acompanhamento permanente e personalizado por parte do formador.

Serão elaborados projetos práticos em grupo, garantindo uma aprendizagem mais eficaz.

Composição

  • 21 horas (formação com formador em sala virtual)
  • 12 horas (desenvolvimento de projectos práticos em grupo com moderação do formador)

Programa

  • Implementação de um standalone Apache Spark Server
  • Instrução ao Scala
  • Exemplos básicos em Spark com Scala
  • Exemplos avançados
  • SparkSQL, DataFrames, DataSets
  • Machine Learning com MLLib
  • Introdução ao GraphX

Implementação de um standalone Apache Spark Server

  • Criação de virtualizações
  • Instalação do Apache Spark 3
  • Configuração de Master VM’s e Slaves VM’s
  • Monitorização de recursos
  • Diagnóstico de falhas

Instrução ao Scala

  • Scala crash-course
  • Controle de fluxo
  • Funções em Scala
  • Estruturas de dados

Exemplos básicos em Spark com Scala

  • Introdução ao Spark
  • Resilient Distributed Dataset – RRD
  • Funcionamento interior do Spark
  • Desenvolvimento de exemplos em Scala

Exemplos avançados

  • Exemplos de utilização em média social
  • Exemplos de utilização em dados de automação (IoT)
  • Exemplos de utilização em documentos

SparkSQL, DataFrames, DataSets

  • Introdução ao SparkSQL
  • Utilização de DataFrames
  • Utilização de DataSets

Machine Learning com MLLib

  • Introdução ao MLLib
  • Exemplo de regressão linear com MLLib
  • Utilização de DataFrames com MLLib

Introdução ao GraphX

  • Criação de gráficos do GraphX
  • Exemplo de aplicação do GraphX

Inscreva-se

Dados Pessoais

Dados para faturação

   Os seus dados pessoais são recolhidos em conformidade com o Regulamento Geral de Proteção de Dados (RGPD).Consente que os seus dados sejam utilizados, nos termos da nossa Politica de Privacidade, para o contacto/envio de:

   Ações de informação, de marketing de produtos e serviços, como campanhas e eventos?

Para mais informações, consulte a Política de Privacidade do Grupo Rumos. Pode retirar o seu consentimento a qualquer momento, através do botão “Cancelar subscrição” ou “Unsubscribe” que estão presentes em cada comunicação enviada, bem como exercer os direitos descritos na política de privacidade

Spark com Scala para Programadores

  • Datas
    05 Abr a 09 Abr 2021
    Live Training
  • Horário
    Laboral
    das 9h00 às 17h00
  • Nº Horas
    33
  • Preço
    1815€

Spark com Scala para Programadores

Área

Dados

Como chegou até nós

Os seus dados pessoais são recolhidos em conformidade com o Regulamento Geral de Proteção de Dados (RGPD).

Consente que os seus dados sejam utilizados, nos termos da nossa Politica de Privacidade, para o contacto/envio de:

Ações de informação, de marketing de produtos e serviços, como campanhas e eventos?

Para mais informações, consulte a Política de Privacidade do Grupo Rumos.
pode retirar o seu consentimento a qualquer momento através do botão Cancelar subscrição ou Unsubscribe que estão presentes em cada comunicação enviada, bem como exercer os direitos descritos na politica de privacidade