Engenheiro de Dados Sr
Brazil, BR
Objetivo do cargo:
Responsável pela construção e evolução das integrações, pipelines e regras de processamento de dados que suportarão o MAPR, os produtos analíticos e os MVPs de Monetização de Dados da EloPar.
Principais responsabilidades:
Desenvolver pipelines de ingestão, transformação e disponibilização de dados.
Implementar integrações utilizando Informatica IICS e componentes Azure.
Implementar regras de negócio associadas aos Drivers/Motores do MAPR.
Desenvolver componentes reutilizáveis para processamento das diferentes unidades de negócio.
Construir mecanismos de reconciliação e validação antes e depois do processamento.
Implementar tratamentos de erro, reprocessamento e controles de histórico.
Desenvolver mecanismos de logging, monitoramento e rastreabilidade.
Implementar GuardRails e controles automáticos de qualidade dos dados.
Desenvolver rotinas utilizando Python e SQL.
Apoiar estruturação de datasets analíticos e feature engineering para iniciativas de IA/ML.
Implementar testes unitários e integrados das soluções desenvolvidas.
Participar de code reviews e definição de padrões técnicos.
Documentar pipelines, transformações, dependências e regras implementadas.
Apoiar homologação e resolução de incidentes durante Go Live e estabilização.
Requisitos obrigatórios
Experiência sólida em Engenharia de Dados.
Python avançado.
SQL avançado.
Experiência com pipelines ETL/ELT.
Experiência com serviços de dados Microsoft Azure.
Conhecimento de ADLS Gen2 e bancos relacionais.
Experiência ou conhecimento relevante em Informatica IICS / Informatica Cloud.
Versionamento de código com Git.
Conhecimento de CI/CD.
Experiência com qualidade de dados, tratamento de erros e monitoramento.
Conhecimento de modelagem de dados.
100% remoto