Engenheiro de Dados SR

Engenheiro de Dados SR

Local: São Paulo-SP

Empresa: ACQ Recrutamento e Seleção

Email: [email protected]

RESPONSABILIDADES E ATRIBUIÇÕES

Atuar em novos e projetos já em andamento.

REQUISITOS E QUALIFICAÇÕES

Buscamos um profissional que tenha conhecimentos em:

Vivência com a ferramenta Cloudera

NiFi - orquestração

Impala

Hadoop - HDFS

Spark

Kafka

Kudu

Hive

Kérberos - segurança

HBase

Planejamento, programação e implantação de pipeline dos dados (grande volume de dados) que serão inseridos no ambiente Big Data (Data Lake);

Acompanhamento e resolução de problemas em pipelines;

Planejamento e execução em saneamento dos dados;

Desenvolvimento, construção, teste e manutenção de arquiteturas de bancos de dados e/ou sistemas de processamento de dados em tempo real e/ou de forma distribuída;

Criação e implementação de métodos e técnicas para melhorar a eficiência, a qualidade e a confiabilidade dos dados;

Conhecimento em Arquitetura de Big Data;

Desenvolvimento em linguagens SCALA ou Spark ou Python;

Conhecimento para desenvolver soluções com dados estruturados, não estruturados ou semi-estruturados;

Propor melhorias, ajustes e otimizações em processos por meio de novas metodologias ou ferramentas.

Documentação, descrição e conceituação de informações e metadados;

Administração e segurança de dados

Requisitos

Nível (Senioridade): Outro.

CLT