Data Engineer | Analytics Engineer · Databricks · Lakehouse · Delta Lake · Unity Catalog Monitora Especialista em Databricks na Jornada de Dados · 100% remoto
Transformo pedidos do negócio em dados confiáveis, rápidos e governados, do Bronze ao Gold.
- ~157 tabelas Gold modeladas em arquitetura Medallion (Databricks em produção no GCP)
- Migração de ~52% dos relatórios legados para o Databricks: um relatório crítico caiu de +2h para 30 min, e os migrados subiram do índice de qualidade C/D/E para A/B
- 42 tabelas de relatórios essenciais migradas em duas semanas
- Governança com Unity Catalog: documentação, tags, masking e controle de acesso
| Projeto | O que mostra |
|---|---|
| Nexum Sales Assistant | Agente de IA para vendas B2B sobre um Lakehouse: Bronze → Silver → Gold, PySpark, Delta Lake, aprovação humana, auditoria e testes |
| Data Intake Validator | Planilhas validadas contra um contrato de dados antes de entrar no Lakehouse |
| TEA Data Lakehouse (RAIS 2024) | Inclusão de pessoas autistas no mercado formal: pipeline no Databricks com dados públicos e painel em Streamlit |
| Lakehouse CRM/ERP | Lakehouse completo com Asset Bundles: raw → bronze → silver → gold → dashboard → Genie |
| Databricks ETL | Ingestão por API até a Bronze, com Volumes, schema explícito e carga paralela |
| Unity Catalog do zero | Slides e script da demo de governança com Unity Catalog |
Databricks PySpark Spark SQL Delta Lake Unity Catalog Lakeflow Asset Bundles Python SQL GCP Power BI
