Contratação:
Modelo de Trabalho:
Desenvolver, manter e evoluir pipelines de dados batch e streaming utilizando Airflow (EKS), EMR/Spark e DBT.
Implementar ingestões de dados via DMS, APIs, arquivos e eventos, garantindo organização correta nas camadas do Data Lake.
Investigar e corrigir incidentes de dados (falhas de DAG, erros de processamento, inconsistência de métricas, problemas de schema).
Atuar na análise de causa raiz (RCA) e propor melhorias para evitar recorrência de falhas.
Garantir qualidade dos dados através de testes automatizados (DBT tests), validações e reconciliações.
Desenvolver e otimizar transformações em Spark e DBT visando performance e custo.
Otimizar queries no Athena e modelos DBT, reduzindo custo de processamento e melhorando tempo de resposta.
Trabalhar com cargas incrementais (append, overwrite, merge/upsert), garantindo consistência e idempotência.
Apoiar a evolução da arquitetura atual, contribuindo com melhorias técnicas e padronizações.
Realizar code reviews e seguir boas práticas de versionamento e documentação.
Trabalhar próximo às áreas de negócio para garantir que os dados entregues atendam aos requisitos funcionais.
Monitorar execuções e propor melhorias contínuas nos pipelines.
Não informado
Experiência sólida como Engenheiro de Dados em ambiente cloud.
Vivência prática com construção e manutenção de pipelines de dados em produção.
Experiência com troubleshooting e resolução de incidentes.
Experiência com modelagem analítica (fatos e dimensões).
Experiência com cargas incrementais e particionamento.
Stack Técnica Essencial:
AWS (S3, Athena, IAM, Glue Catalog; desejável EMR).
Airflow (criação e manutenção de DAGs).
Spark (PySpark – joins, particionamento, tuning básico de performance).
DBT (modelagem, incremental models, testes).
SQL avançado.
Python.
Git.