Profissional Arquiteto de Engenharia de Dados

🌍 Remoto📍 Remoto

Descrição da Vaga

A Radix está em busca de um(a) Arquiteto de Engenharia de Dados com forte experiência em Plataforma de Dados como Databricks, Snowflake, Palantir ou similares para atuar no desenho, implementação, otimização e sustentação de soluções modernas de dados baseadas na arquitetura Lakehouse. Essa pessoa será responsável por construir pipelines escaláveis, confiáveis e performáticos utilizando a plataforma Databricks, com foco em ingestão, transformação, qualidade, governança, modelagem e disponibilização de dados para consumo analítico, BI, integrações corporativas e iniciativas avançadas de dados. O(a) candidato(a) ideal possui experiência sólida em Databricks, Apache Spark, PySpark, SQL, Delta Lake, Unity Catalog, Workflows, Delta Live Tables, modelagem de dados, integração via APIs e práticas modernas de Data Quality, além de experiência com dados de OT (Tecnologia Operacional) e séries temporais provenientes de ambientes industriais, e capacidade para atuar próximo a times técnicos e áreas de negócio.

Responsabilidades

Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Databricks, Apache Spark, PySpark, SQL e Delta Lake.
Implementar arquiteturas de dados baseadas em camadas Bronze, Silver e Gold, garantindo organização, rastreabilidade, qualidade e governança dos dados.
Desenvolver processos de ingestão, transformação, validação e disponibilização de dados utilizando recursos nativos da plataforma Databricks, como notebooks, jobs, workflows, Delta Live Tables, Auto Loader e Databricks SQL.
Projetar e implementar pipelines de ingestão, tratamento e modelagem de dados de OT (PLCs, SCADA, historians, MES, sensores e sistemas IIoT), integrando-os ao Lakehouse junto aos dados de TI (ERP, SAP, sistemas corporativos).
Modelar, armazenar e otimizar dados de séries temporais em alta frequência e grande volume, incluindo estratégias de particionamento, agregação, downsampling, alinhamento temporal e contextualização de tags/datapoints com a hierarquia de ativos.
Apoiar a construção de modelos analíticos voltados a casos de uso industriais, como OEE, monitoramento de processo, manutenção preditiva e rastreabilidade de produção.
Projetar e implementar frameworks de Data Quality nas camadas de ingestão, transformação e consumo de dados.
Desenvolver regras automatizadas de qualidade de dados, validações e processos de monitoramento para garantir precisão, completude, consistência, unicidade, atualidade e integridade dos dados.
Implementar processos de profiling, limpeza, padronização, enriquecimento, reconciliação e tratamento de exceções de dados.
Definir, implementar e monitorar métricas de qualidade de dados, KPIs, scorecards e dashboards.
Desenvolver processos automatizados de validação para dados estruturados e semiestruturados, incluindo dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos.
Projetar modelos de dados canônicos e modelos analíticos que consolidem informações provenientes de múltiplos sistemas de origem.
Criar e manter mapeamentos de origem para destino, lógica de transformação, regras de negócio e processos de harmonização de dados.
Projetar modelos dimensionais, incluindo esquemas estrela, para suportar cargas de trabalho analíticas, relatórios e soluções de BI.
Implementar estratégias de carga incremental, CDC, reconciliação de dados e validação ponta a ponta.
Atuar com Unity Catalog, governança, linhagem, metadados, catálogos, schemas, permissões e segurança baseada em papéis.
Otimizar workloads em Databricks, incluindo notebooks, jobs, queries SQL, clusters, uso de recursos computacionais, particionamento, Z-Ordering, tuning de Spark e boas práticas de performance.
Investigar, diagnosticar e resolver problemas de qualidade, performance, disponibilidade e integridade dos dados, identificando causas-raiz e implementando soluções preventivas.
Apoiar decisões de arquitetura relacionadas ao uso de Databricks, Delta Lake, Lakehouse, governança, integração, automação e observabilidade.
Colaborar com arquitetos de dados, engenheiros de dados, analistas, engenheiros de software e stakeholders de negócio para entregar soluções confiáveis, escaláveis e de alta qualidade.
Dar suporte a práticas de engenharia moderna, incluindo versionamento com Git, CI/CD, automação de deploy, revisão de código e documentação técnica.

Requisitos

✓Inglês fluente para conversação.
✓Graduação em Ciência da Computação, Sistemas de Informação, Engenharia ou área correlata, ou experiência prática equivalente.
✓Ampla experiência como Engenheiro(a) de Dados, Especialista de Dados, Arquiteto(a) de Dados ou função semelhante.
✓Experiência prática e avançada com Databricks em projetos corporativos de engenharia de dados.
✓Sólido conhecimento em Apache Spark, PySpark e Spark SQL.
✓Conhecimento avançado em SQL, incluindo consultas complexas, transformações, otimização e ajuste de desempenho.
✓Experiência com Delta Lake, incluindo tabelas Delta, versionamento, otimização, particionamento e boas práticas de armazenamento.
✓Experiência no projeto e implementação das camadas Raw/Bronze, Curated/Silver e Business/Gold.
✓Experiência com orquestração de pipelines e workloads no Databricks, incluindo jobs, workflows e automações.
✓Experiência com dados de OT (Tecnologia Operacional) e integração de fontes industriais como PLCs, SCADA, historians (OSIsoft PI, Aveva, Cognite ou similares), MES e protocolos/plataformas industriais (OPC UA, MQTT, Kepware ou equivalentes).
✓Experiência prática com dados de séries temporais: ingestão em streaming ou near real-time, modelagem, armazenamento otimizado, agregações temporais e consulta performática em grandes volumes.
✓Experiência na implementação de frameworks, metodologias e boas práticas de Qualidade de Dados em ambientes corporativos.
✓Experiência no desenvolvimento e implementação de regras de qualidade de dados, frameworks de validação, processos de reconciliação e tratamento de exceções.
✓Forte compreensão de profiling de dados, limpeza, padronização, enriquecimento e correspondência de dados.
✓Experiência prática na integração e validação de dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos.
✓Sólido conhecimento de modelagem de bancos de dados relacionais, normalização e princípios de integridade de dados.
✓Experiência no projeto de modelos de dados canônicos que consolidem informações de múltiplos sistemas de origem.
✓Experiência com mapeamento de dados de origem para destino, transformações, harmonização e documentação de regras de negócio.
✓Forte conhecimento em modelagem dimensional, esquemas estrela e conceitos de Data Warehouse corporativo.
✓Experiência na implementação de cargas incrementais, CDC, processos de reconciliação e validações automatizadas de qualidade de dados.
✓Familiaridade com governança de dados, gerenciamento de metadados, linhagem de dados, master data, reference data e segurança baseada em papéis.
✓Experiência com Unity Catalog ou conceitos equivalentes de governança, catálogo, controle de acesso e linhagem de dados.
✓Proficiência em Git, práticas de CI/CD e automação de deploy para soluções de engenharia de dados.
✓Capacidade de atuar com autonomia, visão crítica, comunicação clara e colaboração com times técnicos e de negócio.
•Experiência anterior no segmento de Manufatura ou indústria de processo, atuando em projetos de dados industriais, Indústria 4.0 ou convergência TI/OT.
•Conhecimento de modelos de referência industriais como ISA-95 e de plataformas de dados industriais (Cognite Data Fusion, Aveva PI, Azure IoT/ADX ou similares).
•Experiência com casos de uso de manufatura, como OEE, qualidade de produção, manutenção preditiva e digital twin.
•Certificação ou acreditação Databricks relacionada à arquitetura, como Databricks Platform Architect Accreditation/Badge, preferencialmente em Azure ou AWS.
•Certificação Databricks Certified Data Engineer Professional ou equivalente.
•Experiência com arquitetura Lakehouse em ambientes corporativos de grande escala.
•Experiência com Delta Live Tables, Auto Loader, Databricks Asset Bundles, Databricks CLI ou automação de deploy em Databricks.
•Experiência com cloud platforms, especialmente Azure, AWS ou GCP.
•Experiência com ferramentas de observabilidade, monitoramento e alertas para pipelines de dados.
•Experiência com Databricks SQL, dashboards, SQL Warehouses e integração com ferramentas de BI.
•Conhecimento em FinOps aplicado a Databricks, otimização de clusters, serverless, jobs e workloads.
•Mestrado ou Doutorado em Ciência de Dados, Inteligência Artificial, Engenharia, Computação ou disciplinas que exijam alta capacidade analítica.

Benefícios

✓Assistência Médica Nacional (para o titular e dependentes, com quarto privativo)
✓Assistência odontológica nacional (para o titular e dependentes)
✓Vale refeição / alimentação flexível
✓Auxílio home office
✓Day off (no mês do aniversário)
✓Wellhub (antigo Gympass)
✓Licença Maternidade (6 meses) e Paternidade (20 dias) estendidas
✓Auxílio creche para filhos de até 3 anos (por filho)
✓Apoio em saúde mental com a Wellz
✓Clube de Vantagens com descontos em diversos parceiros
✓Convênio com instituições de ensino e cursos de idioma
✓Desenvolvimento Profissional (Universidade Corporativa)
✓Parceria com empresa de coworkings no Brasil
✓Programa de Qualidade de Vida e Bem-Estar
✓Médico consultor para acompanhamento de radixers
✓Planos de incentivos

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Radix →

A Radix apoia as principais empresas do cenário global na transformação digital de suas operações e de seus negócios. Com ampla experiência em Engenharia, Automação & TI Industrial e Desenvolvimento de Software, oferece serviços e soluções altamente qualificados e adequados aos contextos particu...[Ver Mais]