[Job - 22525] MidLevel Data Developer (Databricks, Spark/PySpark e Python), Brazil
Brazil
GU4 – Prod_GU4 /
Homeoffice /
Remote
Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 6.500 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.
Importante: posições localizadas na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequência vigente.
Estamos buscando um Data Developer apaixonado por tecnologia e com expertise em construir e manter pipelines de dados robustos e escaláveis. Se você possui um profundo conhecimento de engenharia de dados, domínio de ferramentas como Databricks e Azure, e paixão por trabalhar com dados, esta é a oportunidade perfeita para você!
Suas responsabilidades serão:
- Projetar e implementar pipelines de dados complexos e eficientes utilizando Databricks e Azure Data Factory, seguindo padrões de arquitetura Medalhão.
- Dominar o processo ETL, garantindo a qualidade dos dados em todas as etapas, desde a extração até a carga.
Modelar dados dimensionalmente e implementar políticas de governança de dados rigorosas.
- Desenvolver e manter código em Spark/PySpark e Python, com foco em orientação a objetos, utilizando boas práticas de engenharia de dados.
- Escrever e otimizar consultas SQL para garantir o acesso eficiente aos dados.
- Diagnosticar e solucionar problemas relacionados aos dados, garantindo a estabilidade e o desempenho dos pipelines.
- Colaborar com diferentes áreas de negócio para entender as necessidades de dados e traduzi-las em soluções eficazes.
- Implementar testes unitários e testes de integração para garantir a qualidade do código e dos pipelines de dados.
- Aplicar princípios de FinOps para otimizar os custos relacionados à infraestrutura e aos serviços de dados.
- Orquestrar pipelines de dados complexos utilizando workflows e Azure Data Factory.
- Comunicar-se de forma clara e eficiente com a equipe, contribuindo para um ambiente colaborativo e de alto desempenho.
Requisitos essenciais para a posição:
- Experiência comprovada em engenharia de dados, incluindo o desenvolvimento de pipelines de dados complexos.
- Sólida experiência em SQL, Python e Spark/PySpark, com domínio de serviços em nuvem Azure.
- Conhecimento de bancos de dados, governança de dados e modelagem de dados.
- Experiência com processos ETL, particularmente utilizando Databricks e Azure Data Factory.
- Capacidade de se manter atualizado com as últimas tendências e tecnologias em engenharia de dados.
- Experiência com testes automatizados e familiaridade com frameworks de testes.
Diferenciais para se destacar:
- Sólida experiência em desenvolvimento com Python, com ênfase em programação orientada a objetos.
- Experiência com outras linguagens de programação.
- Certificações ou treinamento formal em serviços em nuvem Azure e Databricks.
- Habilidades de comunicação, com capacidade de explicar conceitos técnicos complexos de forma clara e concisa.
- Experiência na implementação de processos de governança de dados, utilizando ferramentas de data quality, profiling, catálogo e linhagem de dados.
- Experiência com processamento em streaming de dados, com capacidade de escolher a melhor abordagem para cada cenário.
- Experiência com Microstrategy.
Se você está pronto para assumir desafios e fazer a diferença em uma empresa inovadora, envie seu currículo!
Junte-se à nossa equipe e ajude-nos a transformar dados em insights valiosos!
#MidLevel
#LI-DR3
Nossos benefícios:
- Plano de saúde e odontológico;
- Vale alimentação e refeição;
- Auxílio-creche;
- Licença paternagem estendida;
- Wellhub (Gympass)
- TotalPass
- PLR;
- Seguro de Vida;
- CI&T University;
- Clube de descontos;
- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar.
- Curso gestante e paternagem responsável;
- Parceria com plataformas de cursos online;
- Plataforma para aprendizagem de idiomas;
- E muitos outros.
Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras
A colaboração é nosso superpoder, diversidade nos une, e a excelência é nosso padrão.
Valorizamos a diversidade de identidades e experiências de vida, fomentando um ambiente de trabalho diverso, inclusivo e seguro. Incentivamos a candidatura de pessoas de comunidades diversas e sub-representadas às nossas vagas.
