[Job-25452] Data Developer (Databricks) Senior, Brazil

Brazil
GU6 – Prod_GU6 /
Homeoffice /
Remote
Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 7.400 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Sua missão

Estamos crescendo rapidamente e em busca de um(a) talentoso(a) e motivado(a) Engenheiro(a) de Dados Sênior para se juntar à nossa equipe e atuar em projetos Databricks. Você desempenhará um papel crucial no desenvolvimento e manutenção de pipelines de dados e infraestrutura escaláveis para impulsionar análises de dados e soluções de aprendizagem de máquina para nossos clientes.

Responsabilidades:
-Desenhar e Desenvolver Pipelines de Dados: Criar pipelines de dados robustos e escaláveis usando Databricks, Apache Spark, PySpark e SQL para transformar e processar grandes conjuntos de dados de forma eficiente.
-Arquitetura de Dados: Colaborar com arquitetos de dados para projetar modelos e arquiteturas de dados que suportam aplicações de análise de dados e aprendizagem de máquina.
-Otimização de Desempenho: Monitorar e otimizar o desempenho dos pipelines de dados e fluxos de trabalho existentes para garantir alta capacidade e baixa latência.
-Colaboração com Stakeholders: Trabalhar em estreita colaboração com cientistas de dados, analistas e partes interessadas do negócio para entender os requisitos de dados e traduzi-los em especificações técnicas.
-Qualidade e Governança de Dados: Implementar verificações de qualidade de dados e práticas de governança para garantir consistência, precisão e conformidade dos dados.
-Documentação e Melhores Práticas: Manter documentação abrangente para pipelines de dados e processos, e contribuir para o estabelecimento de melhores práticas dentro da equipe.
-Mentoria: Fornecer orientação e mentoria para membros juniores da equipe, promovendo uma cultura de aprendizado e colaboração.

Requisitos:
-Experiência em engenharia de dados ou área relacionada, com foco em pipelines de dados e processos ETL. Solidos conhecimentos na solução Databricks
-Excelente comunicação em inglês e português, com a capacidade de trabalhar de forma eficaz em um ambiente orientado a equipe e interagir com clientes.
-Proficiência em Databricks, Apache Spark, SQL, PySpark  e Python (ou Scala).
-Experiência com plataformas de nuvem como Azure, AWS ou GCP, particularmente em relação a soluções de armazenamento e processamento de dados.
-Experiência com tecnologias adicionais de big data, como Hadoop, Kafka ou Airflow.
-Forte compreensão dos conceitos de modelagem de dados e experiência com bancos de dados relacionais e NoSQL.
-Excelentes habilidades analíticas e de resolução de problemas, com a capacidade de solucionar questões complexas de dados.
-Certificações: Certificação Databricks (por exemplo, Desenvolvedor Certificado Databricks) ou outras certificações relevantes.
-Familiaridade com frameworks e conceitos de aprendizagem de máquina, além de experiência em integrar engenharia de dados com fluxos de trabalho de aprendizagem de máquina.
-Conhecimento de ferramentas de visualização de dados (por exemplo, Tableau, Power BI) para ajudar a comunicar insights de forma eficaz.
-Experiência em ambientes de desenvolvimento Ágil e familiaridade com ferramentas como JIRA ou Confluence.

#LI-PA1
Nossos benefícios:

- Plano de saúde e odontológico;
- Vale alimentação e refeição;
- Auxílio-creche;
- Licença parental estendida;
- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass)  TotalPass;
- Participação nos Lucros e Resultados (PLR);
- Seguro de Vida;
- Plataforma de aprendizagem contínua (CI&T University);
- Clube de descontos;
- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
- Curso gestante e parentalidade responsável;
- Parceria com plataformas de cursos online;
- Plataforma para aprendizagem de idiomas;
- E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.