Senior Data Engineer

São Paulo
Tech – Data /
CLT /
Remote
Sobre o time: O time de Data Platform é responsável por manter e evoluir a Plataforma de Dados usada pela Neon para a criação de processos, análises para embasar decisões, exploração e experimentação de oportunidades e visibilidade de resultados e desempenho de negócio.

Nossa plataforma oferece ferramentas para que cada área da empresa possa gerenciar seus próprios dados de forma autônoma. Isso permite um compartilhamento eficiente e seguro de informações entre as áreas, promovendo uma cultura colaborativa e data-driven.

Responsabilidades:

    • Projetar, construir e manter pipelines de dados escaláveis, eficientes e estáveis;
    • Desenvolver e otimizar arquiteturas de serviços e dados, garantindo qualidade e governança;
    • Colaborar com times de Produto, Engenharia e Negócios da Neon para entender necessidades e traduzir em oportunidades de melhorias em nossa Plataforma de Dados;
    • Implementar, monitorar e otimizar fluxos de ingestão, processamento e armazenamento de dados;
    • Assegurar a escalabilidade, estabilidade e observabilidade da plataforma de dados;
    • Participar de discussões e decisões sobre funcionalidades da plataforma, arquitetura de dados e melhores práticas do time;
    • Atuar em eventuais incidentes para assegurar o retorno da normalidade de seu funcionamento o mais rápido possível, assim como os consecutivos passos de post mortem e mitigação de causas raiz de problemas.

Requisitos:

    • Experiência em infraestrutura e arquitetura de ferramentas dedicadas à Engenharia de Dados;
    • Conhecimento avançado em técnicas e boas práticas de escalabilidade, estabilidade e observabilidade de plataformas;
    • Proficiência em linguagens de programação como Python, Java, Scala ou similares;
    • Experiência com ferramentas de ETL/ELT, processamento de dados em larga escala e arquiteturas de data lake;
    • Familiaridade com ambientes de nuvem (preferencialmente AWS), ferramentas de infraestrutura como código e plataforma de orquestração de contêineres.

Diferenciais:

    • Experiência com plataformas de processamento de dados como Apache Spark, Apache Hive, Apache Sqoop e Trino;
    • Experiência com Kubernetes;
    • Conhecimento em ferramentas de visualização de dados e BI;
    • Experiência com metodologias ágeis e práticas DevOps.