Data Lake com Arquitetura Medalhão
Uma visão prática e hands-on sobre como projetar e operacionalizar Data Lakes com governança e camada de produto (medalhão). Da ingestão de APIs à criação de dashboards analíticos.
Abordagem prática e orientada a produto
Neste treinamento prático de 3 semanas, veremos conceitos e padrões para montar um Data Lake usando a Arquitetura Medalhão (Bronze, Silver, Gold), utilizando Google Colab, DuckDB e Plotly para criar soluções práticas baseadas em dados.
Camada Bronze
Fundamentos da arquitetura, configuração do ambiente DuckDB e ingestão de dados brutos consumindo APIs REST.
Camada Silver
Processamento focado em qualidade: limpeza, deduplicação, normalização e garantia de integridade dos dados.
Camada Gold
Modelagem final para analytics, análises financeiras/econômicas e criação de dashboards visuais com Plotly.
Cronograma do Curso
O treinamento é dividido em 3 semanas práticas e progressivas, focadas em construir um pipeline ponta a ponta.
Data Lake e Arquitetura
O que é um Data Lake e introdução ao conceito da Arquitetura Medalhão.
Setup e DuckDB
Configuração do ambiente de desenvolvimento no Google Colab e introdução ao DuckDB.
Consumo de APIs REST
Extração prática de dados de fontes como CoinGecko, Yahoo Finance ou WorldBank.
Ingestão de Dados
Implementação da Camada Bronze aplicando técnicas de ingestão incremental e completa de dados brutos.
Limpeza de Dados
Técnicas de limpeza e deduplicação de dados brutos utilizando o DuckDB.
Normalização
Normalização de esquemas para garantir a consistência e integridade dos dados do pipeline.
Manipulação de Dados
Transformação de dados brutos em dados limpos e confiáveis prontos para análise.
Tabelas Finais (Gold)
Modelagem de tabelas finais otimizadas para consumo de analytics e BI.
Análise de Dados
Cruzamento de dados financeiros e econômicos (Ex: Bitcoin vs. Mercado, SELIC vs. Câmbio).
Dashboards com Plotly
Criação de dashboards dinâmicos e visualizações modernas para geração de valor.
Análise Comparativa
Geração de rankings e extração de inteligência de negócios comparando países e moedas.
Oportunidade de Carreira
Identificamos e desenvolvemos talentos na área de Dados. Se você demonstra competência técnica e pensamento crítico, há espaço para você na Aleon.
Uma Porta Direta para o Mercado
A Aleon busca desenvolvedores e cientistas de dados talentosos. Este minicurso é uma chance real de demonstrar seu potencial e fazer parte da nossa equipe.
Durante as 3 semanas, você não apenas aprenderá Data Lake na prática, mas também colocará à prova suas habilidades técnicas e sua capacidade de crescimento. Os participantes com melhor desempenho e compatibilidade com nossa cultura terão a chance de serem contratados pela Aleon como estagiários.
Inscreva-se
Preencha o formulário ao lado para solicitar sua participação no minicurso e enviar a documentação necessária.
Pré-requisitos Obrigatórios
-
✓
Ser aluno ativo do Cefet/RJ Petrópolis.
-
✓
Estar regularmente matriculado ou ter concluído a disciplina de Banco de Dados.
-
✓
Estar cursando o 5º período ou superior.