- Objetivo:
O projeto final tem como objetivo desenvolver os conhecimentos adquiridos durante o treinamento de Big Data Enginner promovido pela Semantix Academy no segundo semestre de 2022.
- Desafio:
Dessa forma, os discentes devem implementar uma pipeline de extração, transformação e disponibilização dos dados.
- Dados e Referências:
O projeto ainda está em desenvolvimento e as próximas atualizações serão voltadas nas seguintes tarefas:
- Enviar os dados para o hdfs;
- Otimizar todos os dados do hdfs para uma tabela Hive particionada por município;
- Criar 3 vizualizações pelo Spark com os dados enviados para o HDFS:
- Casos recuperados e em acompanhamento;
- Casos confirmados;
- Obitos confirmados;
- Salvar a primeira visualização como tabela Hive
- Salvar a segunda visualização com formato parquet e compressão snappy
- Salvar a terceira visualização em um tópico no Kafka
- Criar uma visualização de sintese dos casos, obitos, incidencia e mortalidade por estado pelo Spark com os dados enviados para o HDFS;
- Salvar a visualização do exercício 6 em um tópico no Elastic;
- Criar um dashboard no Elastic para visualização dos novos dados enviados.