Engenharia de Dados Sênior - 129134
GFT Technologies
O que buscamos:
Profissional que atue com Engenharia de Dados Sênior (Remoto) - 129134
Responsabilidades:
-
Processar e analisar dados utilizando AWS EMR com Spark;
-
Utilizar Glue como catálogo de dados;
-
Realizar consultas em DynamoDB e Athena;
-
Monitorar e identificar erros em execuções no Step Function;
-
Desenvolver e manter processos utilizando Python e Spark, especialmente no framework B3;
-
Orquestrar e acompanhar processos no Control-M, identificando dependências, melhorias e correções necessárias;
-
Apoiar na análise de processos criados em SSIS e contribuir na migração de processos OnPrem para AWS;
-
Recomendar e implementar melhorias em processos utilizando Iceberg e arquitetura Data LakeHouse (Spark → Iceberg → Dremio).
-
Utilizar GitHub para versionamento de código e colaboração entre equipes.
Requisitos e qualificações:
-
Conceito Data Mesh;
-
AWS (alto conhecimento): EMR, Glue (catálogo), DynamoDB/Athena (consultas), Step Function;
-
Python e Spark (alto conhecimento): utilizados em todos os processos, com foco no framework B3;
-
Control-M (médio conhecimento): orquestração de processos e análise de dependências;
-
GitHub (médio conhecimento): versionamento de código;
-
Banco de Dados Relacional (médio conhecimento): experiência com procedures e SSIS;
-
Databricks.
Desejável:
-
Conhecimento em Iceberg e arquitetura Data LakeHouse
Descrição comportamental:
Procuramos uma pessoa que:
-
Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
-
Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
-
Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
-
Tenha habilidades de resolução de problemas;
-
Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
-
Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#VamosVoarJuntos
#ProudToBeGFT
