Quais são as ferramentas e técnicas de código aberto para construir uma plataforma de armazenamento de dados completo? [fechado]

Uma pilha de datawarehouse (ou conjunto) normalmente consiste em três camadas. Estes são normalmente referenciados como ETL (carregamento), Database & Reporting (interface). Além disso, existem ferramentas um pouco mais avançadas para o desempenho e necessidades de especialistas. Estes consistem em Cubes e Statistical Analysis Tools.

No que diz respeito à interoperabilidade, as ferramentas ETL e as ferramentas de comunicação têm de suportar qualquer base de dados que estejam a utilizar. No entanto, uma vez que existem apenas duas grandes bases de dados de código aberto, geralmente não há problema misturar diferentes soluções.

Quanto às especificidades -

1 - ETL

O carregamento de dados pode ser alcançado por ferramentas de código aberto como a integração de dados do Pentaho ou Talend (uma extensão do eclipse). Eu sugeriria pesquisar no Google "open source etl" para adaptar a solução para as suas necessidades específicas.

2 - DB

Vai precisar de uma base de dados relacional. Os dois jogadores de código aberto mais proeminentes são PostgreSQL (usado por Stack Overflow) e MySQL. Enquanto MySQL tem uma base de Usuários maior, Postgres está ganhando mais popularidade desde que implementou várias características cruciais que estavam faltando em versões anteriores.

3 - apresentação de relatórios

Pentaho offer reporting platform. Assim como BIRT (outra extensão do eclipse). Mais uma vez, o Google é seu amigo para comparações específicas. Note que quando você escolher o Pentaho tanto para o ETL quanto para as ferramentas de Relatórios, você provavelmente irá desfrutar de uma melhor integração. Você também mencionou Mondrian, que é uma ferramenta para gerar consultas MDX sobre um RDBMS. MDX é a linguagem padrão para questionar cubos. Neste momento, assumindo que está a começar do zero, recomendo a criação das duas primeiras camadas do data warehouse - ETL & DB. Você pode adicionar mais tarde qualquer número de ferramentas de relatório acima.

Esta é outra questão semelhante 20 mil milhões de linhas / mês-Hbase / Hive / Greenplum / o quê?

A parte mais relevante:

Não consigo enfatizar isto o suficiente: obter algo que toque bem com ferramentas de reportagem.

.

A colmeia ou a HBase puseram-te no negócio de construir uma fachada personalizada, o que não queres mesmo, a não ser que estejas feliz por passar os próximos 5 anos a escrever relatórios personalizados em Jiboia.

Expandindo o que Pascal escreveu:

Servidor OLAP: Mondrian

Tabelas de articulação de AJAX: Saiku

OLAP schema designer: Pentaho Schema Workbench

Desenhador de agregados OLAP: desenhador de agregação Pentaho

ETL: Chaleira Pentaho

Desenhador de relatórios Pentaho

Qualidade Dos Dados:

Armazém De Dados Colunares: MonetDB

Extracção De Dados: RapidMiner

Qualidade dos dados e Perfil - http://sourceforge.net/projects/dataquality/

Também tem ligação de Colmeias e bancada de dados para criar dados da vida real.