O que significa "local [*]" em faísca?

Do doc:

./bin/spark-shell --master local[2]

A opção --master indica o URL principal de uma distribuição aglomerado, ou local para executar localmente com um tópico, ou local [n] para executar localmente com n threads. Você deve começar por usar local para testes.

Local [*] executar faísca localmente com tantas linhas de trabalhadores como lógica núcleos na sua máquina.

URL principal significado

Local : executar a faísca localmente com um fio de trabalho (ou seja, sem qualquer paralelismo).

Local [K] : executar a faísca localmente com os fios do Trabalhador K (idealmente, defina isto como o número de núcleos na sua máquina).

Local [K, F] : executar a faísca localmente com fios do Trabalhador K E F maxFailures (ver faísca.tarefa.maxFailures for an explanation of this variable)

Local [ * ] : Executar faísca localmente com tantas linhas de trabalho como núcleos lógicos em sua máquina.

Local [ * , F] : executar faísca localmente com tantas linhas de trabalho como núcleos lógicos na sua máquina e f maxFailures.

Faísca: / / hospedeiro: porta : ligar ao dono do aglomerado Autónomo de faísca. O porto deve ser o que o seu mestre estiver configurado para usar, que é 7077 por padrão.

Faísca:/ / HOST1: PORT1, HOST2: PORT2 : ligar ao dado aglomerado de Spark standalone com mestres de standby com o tratador do Zoo. A lista deve ter todos os hospedeiros mestres no cluster de alta disponibilidade instalado com o tratador de Zoológico. O porto deve ser o que cada mestre estiver configurado para usar, que é 7077 por padrão.

Mesos: / / HOST : PORT: ligue-se ao conjunto Mesos dado. O porto deve ser o que estiver configurado para usar, que é 5050 por padrão. Ou, para um aglomerado de Mesos que utilize um tratador de Jardim zoológico, utilizar mesos: / / zk://.... Enviar com o cluster -- deploy-mode, a porta HOST:deve ser configurada para se conectar ao MesosClusterDispatcher.

Fio : ligar a um cluster de fios em Modo Cliente ou cluster, dependendo do valor do --deploy-mode. A localização do conjunto será encontrada com base na variável HADOOP_ CONF_DIR ou YARN_CONF_DIR.

Https://spark.apache.org/docs/latest/submitting-applications.html

Alguma informação adicional

Não execute programas de streaming de faíscas localmente com o master configurado como "local"ou" local[ 1]". Isto aloca apenas uma CPU para tarefas e se um receptor estiver rodando nela, não há nenhum recurso restante para processar os dados recebidos. Use pelo menos" local[ 2] " para ter mais núcleos.