Java framework / tool for simple distributed computing problem

Nós geramos arquivos pdf com dados sobre o balanço financeiro mensal de dezenas de milhares de clientes. No seu auge (100.000 arquivos no final do ano), o processo pode levar até 5 dias para completar usando distribuir a carga entre 5 servidores. A distribuição da carga de trabalho é um processo manual (por exemplo. o servidor 1 gera pdf para os clientes 1 a 20.000, o servidor 2 de 20.001 a 40.000, e assim por diante).

usamos Java, por isso gostaríamos de usar uma ferramenta ou framework Java de uma forma semelhante a BOINC (O BOINC não está codificado em Java), o que nos permitiria ter:

  • um servidor distribui automaticamente dados e códigos aos trabalhadores e gere-os
  • trabalhadores (simples ecrãs de núcleo duplo usando ciclos de cpu livres (ou não)) recebendo código enviado pelo servidor e executando-o usando os dados como entrada, dando algum feedback de estado, e finalmente fazendo algo com a saída, por exemplo. a enviar ficheiros gerados em pdf para o armazenamento em rede.
Por agora, não temos. quero experimentar ferramentas poderosas como o Globus Toolkit.

Conhece algum Java framework / tools adequado às nossas necessidades? Código aberto seria bom, mas não descartamos soluções comerciais.

Author: Crowie, 2009-08-27
Source

5 answers

 2
Author: Byron Whitlock, 2013-09-25 11:14:52

ConfiraO serviço Executor distribuído Hazelcast . Ele usa a API ExecutorService padrão do Java.

 2
Author: Talip Ozturk, 2015-02-25 15:51:00
 1
Author: ykaganovich, 2009-08-26 23:51:33

Outro que podes ver é Terracotta .

 0
Author: Eugene Ryzhikov, 2009-08-27 02:46:56

O Google diz que há uma porta Java de BOINC aqui: http://boincoid.sf.net

A maioria tem como alvo o android, mas, aparentemente, tudo menos a interface gráfica pode funcionar num VM normal.
 0
Author: ykaganovich, 2009-09-10 17:29:39