Solução de armazenamento de texto grande de alto desempenho
1) Todos os dados actualmente estão armazenados no servidor SQL
2) existe uma tabela X que armazena os dados mais importantes e altamente acessados
3) cada registo na tabela X tem uma coluna Y que armazena até 2GB de texto
4) o número de registos está a aumentar (>10 milhões e a aumentar)
5) a coluna Y com um máximo de 2GB de texto por linha ocupa cerca de 90% do espaço da tabela X
problema: a base de dados torna-se impossível de gerir e precisamos de armazenar dados da coluna Y algures (fora do servidor SQL)
Pergunta:
quais são as melhores soluções para armazenar texto grande?
Estou à procura de soluções com a menor quantidade de sobrecarga:
- leitura rápida
- fast escreve
- escalável
- consegue lidar bem com a concorrência
não quero saber do Índice de texto completo ou de qualquer sobrecarga extra. Apenas armazenamento simples e acesso.
PS
algumas ideias que tenho até agora:
- base de dados NoSQL muito simples
- base de dados simples baseada em ficheiros
- solução personalizada Que Posso escrever do zero usando alguma biblioteca