Azure Data Engineer - Inglês

Location: Brazil - Sao Paulo

Department: Tech & Engineering

A Capco é uma consultoria global de tecnologia e negócios, focada no setor de serviços financeiros e energia, somos apaixonados por ajudar nossos clientes, temos 40 escritórios nas Américas, Europa e Ásia-Pacífico! Se criatividade e inovação são sua paixão, a Capco é ideal para você. Vamos te apoiar e ajudar a acelerar sua carreira!

Estamos buscando um(a)  Engenheiro(a) de Dados Azure necessário(a) para construir pipelines de dados confiáveis e escaláveis que realizem ingestão, transformação e carregamento de dados corporativos em um Banco de Dados de Grafos RDF. Este(a) profissional terá foco em integração de dados nativa do Azure (por exemplo, Azure Data Factory) e streaming/mensageria (por exemplo, Kafka) para suportar conjuntos de dados de alta qualidade, prontos para grafos, para um MVP e futura expansão corporativa.

Responsabilidades:

• Projetar e construir pipelines batch e de streaming no Azure para ingerir dados de arquivos, APIs, bancos de dados e fluxos de eventos.

• Desenvolver e operar pipelines no Azure Data Factory (ADF), incluindo agendamento, parametrização, tratamento de erros e monitoramento.

• Implementar padrões de ingestão/processamento de streaming baseados em Kafka (tópicos, consumidores/produtores, evolução de schema) para suportar feeds quase em tempo real, quando necessário.

• Realizar transformações e modelagem de dados para produzir saídas compatíveis com RDF (por exemplo, entradas para mapeamento de entidades/relacionamentos), garantindo consistência, rastreabilidade (lineage) e reprodutibilidade.

• Trabalhar em parceria com modeladores de ontologias/grafos para alinhar as saídas dos pipelines aos esquemas de grafos, identificadores e abordagens de resolução de vínculos.

• Estabelecer verificações de qualidade de dados (completude, validade, duplicidade), logs e runbooks operacionais.

• Apoiar práticas de DevOps: CI/CD para artefatos de pipelines, promoção entre ambientes e dashboards/alertas operacionais.

• Contribuir para a documentação técnica: mapeamentos origem-destino, especificações de pipelines e notas de implantação.

Requisitos:

• Mais de 3 anos construindo pipelines de dados em produção no Azure, com forte experiência prática em ADF.

• Experiência com Kafka (ou tecnologia equivalente de streaming/mensageria) em implementações reais.

• Forte conhecimento em SQL e pelo menos uma linguagem de programação (preferencialmente Python).

• Sólido entendimento de ETL/ELT, conceitos de modelagem de dados e suporte operacional de pipelines (monitoramento, reprocessamentos, SLAs).

• Inglês avançado/fluente

Desejaveis:

• Familiaridade com conceitos de RDF/Knowledge Graph (triplas, IRIs, formatos de serialização como Turtle/JSON-LD, SPARQL).

• Experiência com integração a bancos de dados de grafos (por exemplo, Stardog, GraphDB, Neptune) ou camadas semânticas.

• Experiência com serviços Azure comumente utilizados em pipelines (por exemplo, ADLS Gen2, Key Vault, Functions, Fabric).

Certificações:

• Microsoft Certified: Azure Data Engineer Associate (DP-203)

• Microsoft Certified: Azure Fundamentals (AZ-900)

• Microsoft Certified: Azure Developer Associate (AZ-204) (útil para Functions/integração)

• Microsoft Certified: DevOps Engineer Expert (AZ-400) (CI/CD + operações de plataforma)

• Confluent Certified Developer for Apache Kafka (CCDAK) ou certificação equivalente em Kafka

• Qualquer treinamento/certificação em Web Semântica / Knowledge Graph (treinamentos de fornecedores como Stardog ou outras plataformas de grafos são um diferencial)

.

POR QUE CAPCO:

Na Capco promovemos uma cultura inclusiva. Valorizamos a diversidade em todas as suas expressões. 
Pensamos, em conjunto, sempre em ações diversas de inclusão e de responsabilidade social através de comitês internos geridos pela nossa comunidade interna, como os grupo de Mulheres, Pessoas Com Deficiência, Pessoas Negras, LGBTQIAPN+, Parentalidade, Gerações, entre outros. Nossas oportunidades são trabalhadas para todos(as)!
#LifeAtCapco

PRÓXIMOS PASSOS:

• Se você está ansioso(a) para progredir sua carreira conosco, candidate-se e aguarde o contato de um de nossos recrutadores!