Senior Data Engineer | Lisboa

A Causeway está a recrutar um/a Senior Data Engineer para integrar a equipa de Engineering em Lisboa, em regime híbrido e full-time. A função terá um papel central na construção da nova plataforma de dados da Causeway em Databricks, reunindo dados de vários produtos e fontes externas num gémeo digital tipado, preparado para ser utilizado por agentes de inteligência artificial. Responsabilidades: Desenhar e gerir pipelines medallion, desde a camada bronze até às camadas silver e gold; Definir padrões de ingestão de dados a partir de diferentes fontes, incluindo Auto Loader, APIs, eventos, réplicas de bases de dados, CDC e modelos CQRS; Construir e manter camadas silver e gold com Delta Live Tables e notebooks PySpark; Assegurar processos de deduplicação, entity resolution, atribuição de IDs canónicos e projeção em tabelas tipadas de objetos e relações; Gerar e manter um grafo relacional tipado que transforme dados gold num gémeo digital navegável; Desenvolver a camada de serving para tornar o grafo consultável por agentes de IA com latência interativa; Contribuir para a arquitetura global da plataforma de dados da Causeway; Garantir escalabilidade, manutenção e alinhamento com boas práticas cloud-native; Implementar frameworks automatizadas de validação de completude, precisão, consistência e conformidade de schema; Assegurar governação de dados através de Unity Catalog, incluindo isolamento multi-tenant, row-level security, lineage, audit logging e schemas de extensão por cliente; Garantir que os ativos de dados estão catalogados com metadata, classificações de segurança e labels de sensibilidade adequadas; Monitorizar saúde dos pipelines e métricas de qualidade de dados; Mentorar engenheiros da equipa de dados, liderar discussões arquiteturais e realizar revisões de pull requests; Colaborar com equipas de Platform e Agent na exposição do grafo a agentes de IA; Trabalhar com Data Engineers na transformação de requisitos analíticos complexos em datasets e features reutilizáveis; Contribuir para a melhoria contínua de práticas, ferramentas e standards de data engineering. Requisitos: Experiência sólida em produção com Databricks, incluindo Delta Lake, Delta Live Tables, Auto Loader, Unity Catalog, Databricks Asset Bundles, serverless, job compute e Structured Streaming; Forte domínio de Python e PySpark para processamento e transformação de dados em larga escala; Conhecimentos avançados de SQL, incluindo recursive CTEs, window functions, query planning, interpretação de EXPLAIN e otimização de índices; Experiência com arquiteturas lakehouse e modelação de dados para workloads de grafos; Conhecimento de entidades tipadas, edge tables, modelação dimensional, modelação baseada em eventos e entity resolution entre sistemas sem chaves comuns; Experiência prática com PostgreSQL como camada de serving; Conhecimentos de pgvector para pesquisa semântica, pg_trgm para fuzzy matching, HNSW, IVFFlat, tuning de índices e queries de baixa latência com concorrência; Experiência em transformação, validação e desenho de contratos de dados; Experiência na construção de frameworks de teste e observabilidade de dados; Conhecimentos de cloud storage e identidade em AWS, Azure e GCP, incluindo S3, ADLS Gen2, GCS, IAM roles e storage credentials; Interesse genuíno em agentes de IA e na forma como consomem dados; Compreensão do que torna um dataset legível e útil para agentes de IA. Será valorizado: Experiência com técnicas e ferramentas de entity resolution probabilística; Familiaridade com conceitos de knowledge graph e linguagens de consulta de grafos; Experiência com workflows de IA/ML e feature engineering para modelos de machine learning. Oferta: Regime full-time; Modelo de trabalho híbrido em Lisboa; Integração numa empresa internacional com equipas no Reino Unido, Europa e Índia; Oportunidade de trabalhar em produtos utilizados à escala global; Participação numa transformação digital de grande escala; Ambiente colaborativo, moderno e orientado para inovação; Equilíbrio entre vida pessoal e profissional; Oportunidade de desenvolvimento técnico e progressão de carreira. Sobre a Causeway: A Causeway desenvolve software especializado para os setores da construção e áreas semelhantes, oferecendo soluções end-to-end para todo o ciclo de vida dos projetos. A empresa atua à escala global e está focada em crescimento, transformação digital e desenvolvimento de tecnologia com impacto real. Valores: A Causeway valoriza colaboração, agilidade, confiança e ambição. A empresa acredita que equipas diversas, positivas e orientadas para a ação são essenciais para criar soluções de qualidade e melhorar continuamente os seus produtos. Diversidade e sustentabilidade: A Causeway promove a diversidade, igualdade e inclusão, incentivando cada colaborador a ser autêntico no local de trabalho. A empresa é carbon neutral, compensa a sua pegada carbónica calculada e define objetivos ambientais para reduzir o seu impacto ano após ano.