Engenheiro de Dados Sênior

Requisitos

• Experiência sólida, de no mínimo 7 anos, em Engenharia de Dados;
• Vivência em projetos de alta complexidade, preferencialmente em ambientes corporativos críticos e/ou do segmento bancário/financeiro;
• Experiência avançada com Databricks, incluindo:
  • Unity Catalog;
  • Delta Lake;
  • Workflows e Jobs;
  • Delta Live Tables (DLT);
  • SQL Editor;
• Experiência com AWS integrada ao Databricks;
• Domínio de Apache Spark, atuando com processamento batch e streaming;
• Experiência com desenvolvimento em Python, especialmente notebooks para ingestão, transformação e processamento de dados;
• Conhecimento sólido em processos de ETL/ELT;
• Experiência com modelagem de dados relacional e dimensional;
• Experiência com bancos de dados relacionais, especialmente Db2 e SQL Server;
• Conhecimento em integração de dados utilizando JDBC;
• Experiência na integração e processamento de dados provenientes de múltiplas fontes;
• Conhecimento em construção e sustentação de pipelines de dados escaláveis, performáticos e confiáveis;
• Vivência em metodologias e ambientes ágeis;
• Forte conhecimento de boas práticas de Engenharia de Dados, qualidade, organização e governança.

Será considerado diferencial:

• Experiência com replicação de dados em tempo real;
• Conhecimento em Data Lakes e governança de dados;
• Experiência com Scala;
• Conhecimento em R e SAS;
• Experiência com bancos de dados MPP, como Netezza e Redshift;
• Vivência com ambientes legados e processos de modernização/evolução tecnológica gradual;
• Experiência prévia no setor bancário/financeiro.

Responsabilidades

• Projetar, desenvolver, sustentar e evoluir pipelines de dados escaláveis utilizando Databricks e AWS;
• Desenvolver soluções de processamento de dados utilizando Apache Spark, tanto em batch quanto em streaming;
• Criar e manter processos de ETL/ELT, garantindo eficiência, qualidade e confiabilidade dos dados;
• Desenvolver notebooks e aplicações em Python para ingestão, transformação e processamento de grandes volumes de dados;
• Utilizar recursos do Databricks, como Unity Catalog, Delta Lake, Workflows, Jobs e DLT, na construção e orquestração dos pipelines;
• Integrar diferentes fontes e sistemas de dados, incluindo Db2 e SQL Server, utilizando JDBC quando aplicável;
• Apoiar a construção e evolução de arquiteturas modernas de dados e Data Lakes;
• Garantir performance, disponibilidade, segurança, governança e qualidade dos processos de dados;
• Atuar na identificação e resolução de problemas relacionados aos pipelines e ambientes de dados;
• Contribuir para a definição e aplicação de boas práticas de Engenharia de Dados;
• Trabalhar de forma colaborativa com equipes técnicas e áreas de negócio em um ambiente ágil;
• Atuar em ambientes críticos e sistemas legados, propondo melhorias e evoluções de forma estruturada;
• Garantir organização, documentação e qualidade das entregas técnicas;
• Participar da evolução tecnológica da plataforma de dados, considerando os requisitos de negócio, arquitetura e operação.