AWS EFS vs EBS vs S3 (diferenças e quando usar?)

(Edit 2020 Maio, EBS suporta montagem para vários EC2 ao mesmo tempo, também, Veja: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volumes-multi.html)

A fixar a comparação:

• o S3 é uma instalação de armazenamento acessível onde
• o EBS é um dispositivo que pode montar no EC2
• EFS é um sistema de ficheiros que pode montar em várias instâncias EC2 ao mesmo tempo

Porque usarias S3?

• não é necessário que os ficheiros sejam 'locais' para uma ou mais instâncias EC2.
• (efectivamente) capacidade infinita
• serviço Web incorporado, autenticação

Para adicionar à comparação: (burst)o desempenho de leitura/escrita da EFS depende dos créditos obtidos. A coleta de créditos depende da quantidade de dados que você armazena sobre ele. Mais data - > mais créditos. Isso significa que quando você só precisa de alguns GB de armazenamento que é lido ou escrito muitas vezes você vai ficar sem créditos muito em breve e thesugphput cai para cerca de 50kb/S. A única maneira de corrigir isso (no meu caso) era adicionar grandes arquivos fictícios para aumentar a taxa de créditos são ganhos. No entanto, mais armazenamento - > mais custos.

Além do preço e das características, o rendimento também varia muito (como mencionado pelo utilizador 1677120):

EBS

Retirado de documentos da EBS:

| EBS volume | Throughput |           Throughput          |
|    type    |   MiB/s    |         dependent on..        |
|------------|------------|-------------------------------|
| gp2 (SSD)  | 128-160    | volume size                   |
| io1 (SSD)  | 0.25-500   | IOPS (256Kib/s per IOPS)      |
| st1 (HDD)  | 20-500     | volume size (40Mib/s per TiB) |
| sc1 (HDD)  | 6-250      | volume size (12Mib/s per TiB) |

Note - se que, para io1, st1 e sc1, pode aumentar o tráfego para pelo menos 125Mib/s, mas para 500Mib/S, dependendo do tamanho do volume.

Pode aumentar ainda mais o rendimento, por exemplo lançando volumes de EBS como RAID0

EFS

Retirado de docs EFS

| Filesystem |    Base    |   Burst    |
|    Size    | Throughput | Throughput |
|    GiB     |   MiB/s    |   MiB/s    |
|------------|------------|------------|
|         10 |        0.5 |        100 |
|        256 |       12.5 |        100 |
|        512 |       25.0 |        100 |
|       1024 |       50.0 |        100 |
|       1536 |       75.0 |        150 |
|       2048 |      100.0 |        200 |
|       3072 |      150.0 |        300 |
|       4096 |      200.0 |        400 |

A base o rendimento é garantido, o rendimento do estouro usa os créditos que recolheu enquanto está abaixo do rendimento de base (por isso só terá isto por um tempo limitado, Veja aqui Para mais detalhes.

S3

O S3 é uma coisa completamente diferente, por isso não pode ser comparado com EBS e EFS. Além disso: não há métricas de débito publicadas para S3. Você pode melhorar o rendimento baixando em paralelo (eu em algum lugar li Os Estados AWS que você teria basicamente um débito ilimitado desta forma), ou adicionar a CloudFront à mistura

O EBS é um armazenamento de nível de bloco simples que pode ser ligado a uma instância do mesmo AZ, e pode sobreviver independentemente da vida de instância.

No entanto, a diferença interessante é entre EFS e S3, e para identificar casos de uso adequado para ele.

Custo: a EFS é aproximadamente 10 vezes mais cara do que a S3.

Usecases:

• Sempre que temos milhares de instâncias que precisam de processar simultaneamente EFS é recomendado sobre S3.
• também nota que o S3 é um armazenamento baseado em objetos enquanto o EFS é baseado em arquivos, isso implica que sempre que temos a exigência de que os arquivos sejam atualizados continuamente (atualizados) devemos usar o EFS.
• o S3 é eventualmente consistente, enquanto o EFS é forte e consistente. No caso de não poder dar-se ao luxo de ter consistência, deve utilizar EFS

Em palavras simples

A Amazon EBS fornece armazenamento ao nível do bloco .

A Amazon EFS fornece armazenamento de ficheiros partilhados anexados à rede.

A Amazon S3 fornece armazenamento de objectos .

O Amazon EBS fornece armazenamento de nível de bloco-é usado para criar um sistema de arquivos nele e armazenar arquivos. Amazon EFS - seu sistema de armazenamento compartilhado semelhante ao NAS / SAN. Você precisa montá-lo no servidor unix e usá-lo. Amazon S3-é um armazenamento baseado em objetos onde cada item é armazenado com um URL http.

Uma das diferenças é - EBS pode ser anexado a uma instância de cada vez e EFS pode ser anexado a várias instâncias que por isso armazenamento compartilhado. O armazenamento de objectos simples S2 não pode ser montado.

EFS & S3 têm o mesmo propósito, você pode armazenar qualquer tipo de objeto ou arquivos.

Mas para mim a única diferença é que o EFS está a permitir-lhe ter um sistema de ficheiros tradicional na nuvem VM(EC2) com mais flexibilidade, como pode anexar a várias instâncias.

O S3, por outro lado, é um servidor flexível e elástico separado para os seus objectos. Ele pode ser usado para seus arquivos estáticos, imagens, vídeos ou até mesmo hospedagem aplicativo estático (js).

O EBS é obviamente para armazenamento em bloco onde pode instalar o SO ou qualquer coisa relacionada com o seu SO.

AWS EFS, EBS e S3. Do ponto de vista funcional , Aqui está a diferença

EFS:

1. Sistema de Ficheiros de rede: pode ser partilhado por vários servidores; mesmo entre regiões. O mesmo não está disponível para o processo EBS. Isto pode ser usado esp para armazenar os programas ETL sem o risco de segurança

2. Serviço altamente disponível e escalável.

3. Executar qualquer aplicação que tenha uma carga de trabalho elevada, requer escalável armazenamento, e deve produzir saída rapidamente.

4. Pode proporcionar um rendimento mais elevado. Corresponde ao crescimento repentino do sistema de arquivos, mesmo para cargas de trabalho até 500.000 IOPS ou 10 GB por segundo.
5. Suporte de Aplicação Lift-and-shift: a EFS é elástica, Disponível e escalável e permite-lhe mover as aplicações empresariais de forma fácil e rápida, sem necessidade de as remodelar.

6. Analytics for big data: it has the ability to run big data applications, que exigem um débito significativo de nós, acesso a ficheiros de baixa latência e operações de leitura-pós-escrita.

EBS:

1. para as bases de dados NoSQL, o EBS oferece às bases de dados NoSQL o desempenho de baixa latência e a fiabilidade de que necessitam para o desempenho de pico.

S3:

Desempenho robusto, escalabilidade e Disponibilidade: A Amazon S3 escala recursos de armazenamento livres de ciclos de aquisição de recursos ou investimentos iniciais.

2) Data lake e Big data analytics: Create a data lake to hold raw data in its native format, then using machine learning tools, analytics to draw insights.

1. Backup e restauração: soluções seguras e robustas de backup e restauração
2. arquivo de Dados
3. a S3 é uma loja de objectos boa a armazenar vastos números de cópias de segurança ou ficheiros de utilizador. Ao contrário do EBS ou do EFS, o S3 não se limita ao EC2. Arquivos armazenados dentro de um balde S3 podem ser acessados programaticamente ou diretamente a partir de serviços como AWS Frente nebulosa. Muitos sites o usam para manter seus arquivos de Conteúdo e mídia, que podem ser servidos de forma eficiente através da AWS CloudFront.

Esta pergunta é muito respondidas por outras pessoas, eu só quero fazer um ponto de sempre decidir em qualquer serviço da AWS é que o entendimento do caso de uso para cada um, e também ver a solução que o serviço irá oferecer, em termos de Bem Arquitetado Quadro, você precisa de Alta Disponibilidade, Falha de Torelant, otimização de Custo. Isto ajudará a decidir sobre qualquer tipo de serviço a ser usado.

A principal diferença entre EBS e EFS é que o EBS só é acessível a partir de uma única instância EC2 na sua região AWS em particular, enquanto o EFS lhe permite montar o sistema de ficheiros em várias regiões e instâncias.

Finalmente, a Amazon S3 é uma loja de objectos boa a armazenar vastos números de cópias de segurança ou ficheiros de utilizador.