Senior Data Engineering

Visão geral

Atuar como Senior Data Engineering na Trinca, construindo e evoluindo a infraestrutura de dados de uma plataforma de seguros. O objetivo é garantir que os dados fluam com robustez, escala, governança e qualidade, permitindo que o time de negócio tome decisões com informações confiáveis no momento certo.

Responsabilidades

• Pipelines de dados: projetar, implementar e manter pipelines robustos e escaláveis, integrando APIs, sistemas internos e fontes externas com foco em volume e confiabilidade.
• Arquitetura e modelagem: desenvolver e evoluir modelos de dados em Data Lakehouse usando Delta Lake, estruturando camadas para análises complexas e crescimento da plataforma.
• Orquestração e automação: operar ferramentas como Airflow, Dagster (ou similares) garantindo execução com qualidade e pontualidade.
• Qualidade e governança: contribuir para um dicionário de dados unificado; aplicar CI/CD e versionamento nos pipelines para assegurar integridade e rastreabilidade.
• Parceria com negócio e dados: colaborar com produto, analistas e cientistas para transformar perguntas do negócio em análises e identificar melhorias.
• Inovação em dados: apoiar iniciativas de Machine Learning e modelos preditivos.

Requisitos

• Experiência comprovada em Engenharia de Dados, com histórico de construção/manutenção de pipelines robustos e escaláveis em alto volume.
• Experiência com Databricks e/ou outras plataformas analíticas distribuídas, incluindo Data Lakehouse e Delta Lake.
• SQL avançado e domínio de bancos relacionais e não relacionais (ex.: PostgreSQL, MongoDB, Cassandra).
• Domínio de Python com PySpark e frameworks de Big Data como Apache Spark ou Apache Flink.
• Experiência com orquestração de pipelines (Apache Airflow ou Dagster).
• Experiência com nuvem (Azure, AWS ou GCP) e armazenamento distribuído (ex.: Azure Data Lake Storage, S3, GCS).
• Práticas de CI/CD e controle de versão com Git/GitHub aplicadas a pipelines de dados.
• Familiaridade com ingestão de dados em tempo real via Kafka, Kinesis ou similares.
• Uso real de IA no trabalho (ex.: LLMs para gerar/revisar SQL, automação de documentação, detecção de anomalias, otimização de queries). Não apenas uso genérico.

Diferenciais

• Experiência com BI (Power BI, Tableau, Looker).
• Experiência com modelos preditivos e implementação de Machine Learning (trecho final truncado).