Há a.NET equivalente ao Apache Hadoop? [fechado]
15 answers
USO - o sempre em python :-).
Estou a começar a ver que a abordagem heterogénea é muitas vezes a melhor e parece que outras pessoas estão a fazer o mesmo.Se você olhar para projetos como protocolo-buffers ou thrift do facebook você vê que às vezes é apenas melhor usar um aplicativo escrito em outro idioma e construir a cola na linguagem de sua preferência.
Recentemente, o MySpace lançou o seu framework. net MapReduce, Qizmt , Como Open Source, por isso este também é um candidato potencial neste espaço.
Para o dizer aqui na fonte:
A Microsoft deixou cair a sua alternativa ( Dryad ) a favor do Hadoop. No próximo ano eles vão lançar MS SQL Server 2012 com integração Hadoop. O suporte Azure e Windows Sever está sendo desenvolvido neste momento.
Estará disponível no primeiro semestre de 2012.
Hadoop é a plataforma # 1 BigData e vai ser apoiada pela opensource e fonte proprietária (Java,. Net, Python,...) até a Oracle A está adotando.
Se estavas a desenvolver alguma coisa, devias esperar se estiveres na plataforma.Net.Mais informações sobre o que é possível estarão disponíveis Aqui
O código que escreve é apenas um código LINQ simples, excepto que, em vez de executar o LINQ em {[[0]}, terá de o executar em PartitionedTable<T> (A estrutura de dados distribuída auto-build).
O que realmente tem sido Legal Sobre DryadLINQ é a rápida volta ao tempo (tentar, testar, ajustar, repetir) ao desenvolver algoritmo. Você apenas escreve código LINQ para fazer seus cálculos e DryadLINQ vai cuidar de toda a parte de execução distribuída. É o análogo mais natural que encontrei que faz a escrita de código para processamento distribuído, assim como a escrita de código para processamento de processo único.
Você pode olhar para algo como RavenDb que fornece suporte muito decente para MapReduce para um tamanho razoavelmente grande de dados. como ele é construído em. Net assim uma API cliente LINQ adequado está disponível.
Para começar, pode ler o meu blogentery.
Se precisar de uma solução em. Net, verifique por favor a implementação do Myspace @ MySpace Qizmt - a estrutura Mapreduce de código aberto do MySpace
A Microsoft está em processo de implantação HDInsight, que é anunciado como a sua distribuição "100% Apache compatível Hadoop."
Está disponível tanto no Windows Server como no Windows Azure service.
A Microsoft Research tem o projecto Daytona http://research.microsoft.com/en-us/projects/daytona/
Podes descarregá-lo. Há uma amostra de Palavras em C#.
Agora pode usar o Hadoop directamente do.NET Microsoft lançou um SDK para o fazer.
Https://hadoopsdk.codeplex.com/
Claro que isto significa usar a rede Hadoop baseada em java. Mas isso importa se o servidor está funcionando em java? Eu tenho certeza que alguém pode tentar portá-lo, mas eu não acho que seria uma boa idéia como as corporações já estão apoiando a versão java e eu não acho que a porta.net vai ter a mesma atenção.
Dá uma vista de olhos em:
É uma implementação do Hadoop para o Azure e você pode usar o. NET para acessá-lo.O Dryad/linq está a ser produzido e será libertado em breve.: http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx utilização em conjunto com a Microsoft HPC para uma solução poderosa baseada em clusters para obter dados não estruturados
Como outros já mencionaram, O DryadLINQ é uma estrutura de programação que permite aos programadores escrever consultas LINQ e executá-las num conjunto, de uma forma semelhante à do MapReduce. O projeto DryadLINQ foi recentemente lançado sob a Licença Apache em GitHub , e o lançamento inclui suporte para a execução em clusters de fios (incluindo aglomerados de Azure HDInsight).