[Job-24160] Senior Data engineer (Especialidade em Apache Spark), Brasil
Brazil
GU8 – Prod_GU8 /
Homeoffice /
Remote
Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 7.400 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.
Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.
Responsabilidades:
- Atuar como protagonista na transformação digital da empresa, contribuindo para a construção de soluções inovadoras em engenharia de dados em um ambiente colaborativo.
- Desenvolver e otimizar pipelines de dados utilizando Apache Spark, assegurando a eficiência no processamento e análise de grandes volumes de dados.
- Colaborar com equipes multidisciplinares para projetar, implementar e manter soluções de integração e manipulação de dados que impactem positivamente o negócio.
- Aplicar boas práticas de desenvolvimento de software, assegurando a qualidade, escalabilidade e manutenibilidade dos sistemas.
- Liderar iniciativas de melhoria contínua nos processos de engenharia de dados, orientando desenvolvedores juniores e promovendo uma cultura de aprendizado e excelência técnica.
- Realizar a coleta, transformação e análise de dados, garantindo a integridade e qualidade da informação.
- Manter e aprimorar continuamente os sistemas de dados existentes, buscando inovações e atualizações tecnológicas.
Requisitos:
- Sólida experiência em desenvolvimento Java, com forte compreensão dos fundamentos de engenharia de dados.
- Experiência prática em Apache Spark, incluindo o desenvolvimento de trabalhos de ETL e análise de dados distribuídos.
- Conhecimento em bancos de dados relacionais e não-relacionais, bem como em ferramentas de gerenciamento de dados.
- Familiaridade com ferramentas de orquestração de dados, como Apache Airflow ou similar.
- Experiência com integração de APIs REST para consumo de dados externos.
- Compreensão de arquiteturas de dados em nuvem, preferencialmente em ambientes AWS ou Azure.
- Habilidade em trabalhar com equipes ágeis e metodologias Scrum/Kanban.
- Familiaridade com ferramentas de controle de versão, como Git e GitHub.
Diferenciais:
- Conhecimento em containers e orquestração, como Docker e Kubernetes.
- Experiência em framework de testes automatizados, como JUnit ou Mockito.
- Compreensão e aplicação de princípios de arquitetura como Data Lake e Data Warehouse.
- Conhecimento em cloud OCI (Oracle).
- Desejável conhecimento em práticas de Ciência de Dados e Machine Learning.
- Desejável familiaridade com ferramentas de visualização de dados (ex: Tableau, Power BI).
#LI-RB2
#Midsenior
Nossos benefícios:
- Plano de saúde e odontológico;
- Vale alimentação e refeição;
- Auxílio-creche;
- Licença parental estendida;
- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
- Participação nos Lucros e Resultados (PLR);
- Seguro de Vida;
- Plataforma de aprendizagem contínua (CI&T University);
- Clube de descontos;
- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
- Curso gestante e parentalidade responsável;
- Parceria com plataformas de cursos online;
- Plataforma para aprendizagem de idiomas;
- E muitos outros
Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras
Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.
Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.
