Sqoop vs Informatica Big Data edition for Data sourcing

tenho a opção de usar o Sqoop ou a Informatica Big Data edition para obter dados em HDFS. Os sistemas fonte São Tearadata, Oracle.

Eu gostaria de saber qual é melhor e qualquer razão por trás do mesmo.

Nota: Meu utilitário atual é capaz de puxar os dados usando o sqoop para HDFS , Criar Mesa de estagiar colmeia e arquivar a tabela externa.

A Informática é a ferramenta ETL utilizada na organização.

no que diz respeito Sanjeeb

Author: user3858193, 2015-07-01
Source

4 answers

Sqoop

  • o Sqoop é capaz de efectuar cargas completas e Incrementais a partir do Oracle/Teradata.
  • o Sqoop faz cópias paralelas de dados dos sistemas de origem.
  • Os scripts Sqoop podem ser personalizados e programados pelo Oozie.
  • Solução de código aberto para qualquer aglomerado de tamanho. Sem custo de licença.

Informática

  • a melhor Interface na indústria ETL para gerir mapeamentos.
  • não oferece opções de cópia paralelas. Fornece o modo de colmeia para processamento paralelo. Basicamente converte a transformação em consultas de colmeia para execução. Também suporta os push downs para gerar o MR code.
  • custo de licenciamento por nó. Se você planeja 500 Nós Hadoop para armazenamento de dados futuros você precisa pagar 10 vezes em comparação com 50 nós cluster quando você escala cluster.
    • A Informatica BDE é um produto relativamente novo no mercado. Infa Developer será útil para trabalhar em grandes dados. Há desafios em apoiar todos os mais recentes A plataforma Hadoop possui características na Informática, também características tradicionais RDBMS como Geração de sequência,mapeamento de Estado, sessões, transformação de pesquisa na informática BDE. A informática MDM não suporta o Hadoop.

Se o preço é o critério para a tomada de decisões, vá para Sqoop. Se você quiser alavancar a flexibilidade de mudar as ferramentas Hadoop plaftorm, use o Sqoop (o projeto Sqoop também está pensando em se mover sobre a faísca). Se você Está ligado à informática por alguma razão, vá para a informática. Mas a maioria dos desenvolvedores da Informatica querem passar para as tecnologias Hadoop.

 1
Author: akshat thakar, 2016-03-10 05:08:40

Embora isto tenha sido perguntado há um ano, partilhando novas funcionalidades na Informatica

A Informatica BDM versão 10.1 suporta a conectividade do Sqoop, ou seja, pode usar o Sqoop para ler os dados do RDBMS e carregá-los no Hadoop/Hive

Também existem muitas novas funcionalidades na versão 10.2 do BDM, especialmente o Suporte de parametrização na ferramenta de desenvolvimento e mapeamentos dinâmicos.

 1
Author: Volamr, 2016-11-29 06:32:50
Tool versus handcoding estava sempre lá. A Informatica tool fornece uma solução de nível empresarial que é mais fácil de manter.

O BDM 10.1.1 suporta o sqoop com motor de faísca. Spark 2.0.1 é suportado nesta versão para que o desempenho é muito bom. BDM 10.2 é apenas lançado com novos recursos como suporte variável stateful que estava faltando em versões anteriores.

 0
Author: V.Sha, 2017-10-03 08:11:09

O SQOOP deve ser utilizado para o intercâmbio de dados. Você tem muitas opções com as quais você pode ter um desempenho ideal. Também se você estiver tentando trocar os dados entre RDBMS (Teradata / Oracle) Informatica Hadoop cluster, então os dados precisariam primeiro ser trazidos para o servidor Informatica que pode envolver I / O.

Se o tratamento de dados tiver de ser efectuado no interior da colmeia Informatica BDE.

 0
Author: Shaounak Nasikkar, 2017-10-13 16:56:26