Engenheiro(a) de Dados Sênior (Databricks)
Publicada em
Ver 1.564 vagas de Data Science / Analytics →Descrição da Vaga
A ICON Solutions do Brasil busca um(a) Engenheiro(a) de Dados Sênior com sólida experiência em Databricks para atuar na construção de soluções modernas de dados, apoiando organizações em suas jornadas de transformação digital e analytics. Você fará parte do Centro de Excelência Databricks, trabalhando com arquiteturas Lakehouse, processamento distribuído, streaming de dados e tecnologias de última geração para desenvolvimento de plataformas de dados escaláveis.
Responsabilidades
- Atuar como referência técnica em projetos de dados, com mínima supervisão.
- Desenvolver soluções inovadoras utilizando a plataforma Databricks e arquiteturas Lakehouse modernas.
- Participar da construção de plataformas de dados de próxima geração.
- Trabalhar em conjunto com Arquitetos de Solução na definição e implementação de componentes da arquitetura.
- Participar de workshops técnicos e sessões de design de soluções.
- Transformar requisitos complexos em entregas técnicas estruturadas.
- Desenvolver aceleradores, frameworks e componentes reutilizáveis para o Centro de Excelência Databricks.
- Colaborar com equipes multidisciplinares para garantir qualidade, escalabilidade e performance das soluções.
- Desenvolvimento de pipelines de dados utilizando Databricks.
- Implementação e administração de Delta Lake, Unity Catalog, Delta Live Tables (Lakeflow Declarative Pipelines) e Apache Iceberg / Uniform.
- Construção de pipelines batch, micro-batch e streaming.
- Ingestão de dados utilizando Auto Loader.
- Desenvolvimento de workflows e orquestrações utilizando Databricks Workflows, Apache Airflow e dbt.
- Implementação de mecanismos de observabilidade, auditoria e qualidade de dados.
- Aplicação de práticas DevOps e CI/CD para ambientes Databricks.
Requisitos
- ✓Experiência sólida em Engenharia de Dados.
- ✓Mínimo de 2 anos de experiência prática com Databricks em ambiente produtivo.
- ✓Experiência em desenvolvimento de pipelines escaláveis orientados por configuração (YAML).
- ✓Conhecimento avançado em SQL.
- ✓Conhecimento avançado em Python.
- ✓Conhecimento avançado em PySpark.
- ✓Vivência com arquiteturas de dados modernas.
- ✓Conhecimento em Apache Spark.
- ✓Conhecimento em Presto.
- ✓Conhecimento em Amazon EMR.
- ✓Experiência com Data Warehouses Cloud: Snowflake, Amazon Redshift, Google BigQuery.
- ✓Experiência com integração contínua e entrega contínua (CI/CD).
- ✓Conhecimento em Git e versionamento de código.
- •Certificação Databricks Data Engineer Associate ou Professional.
- •Experiência com Terraform e Infraestrutura como Código (IaC).
- •Conhecimento em Great Expectations, Collibra ou ferramentas de Data Quality.
- •Experiência com bancos NoSQL.
- •Conhecimento em containers e Kubernetes.
- •Vivência com MLflow e soluções de IA Generativa.
- •Participação em projetos de modernização e migração para Lakehouse.
Categorias
Sobre a Empresa
Mais vagas na ICON Solutions do Brasil →Aqui, acreditamos que o mundo pode ser melhor. Enxergamos um futuro tecnológico, conectado, inteligente; mas também mais justo, mais inclusivo, mais responsável. Um futuro mais humano. Nascemos com a ambição de plantar esse futuro hoje e nos lembramos disso a cada desafio.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
Vagas Relacionadas
Cientista de Dados Sr.
Go.k Digital
Desenvolvedor(a) IA (Vibe Coding) Pleno ou Sênior
Visionnaire
Engenheiro(a) de Dados Sênior | Sustentação
Dadoteca
Engenheiro de IA SR
Insi
Data Architect Sênior (gcp)
BM VAGAS
Engenheiro(a) de Dados Sênior
Projectiva Holding