[CentOS-pt-br] [OT] - Estrutura de armazenamento de uma grande quantidade de arquivos

["Fábio Jr."]

Fabio Rampazzo Mathias escreveu:
> Fabio,
>
> Vamos com calma....você não tem 4 milhões de figuras....você tem 
> aprox. 1,34 milhão de figuras (4/3).... o resto é resize da mesma, que 
> você pode armazenar no mesmo registro do MySQL. Só programar para 
> trazer a figura conveniente. Depois, você está compartilhando um 
> diretório via NFS. Eu diria que, o gargalo está no NFS, pois ele não é 
> performático como o filesystem.
Tenho 4 milhões de aquivos no total. Uma imagem tem 3 tamanho diferentes 
e são 3 arquivos diferentes. Ok, acho q foi isso q vc entendeu mesmo, só 
pra confirmar. Concordo com você ao dizer que nfs é gargalo, mas ele é 
um dos gargalos, já que a medida que eu aumento o numero de arquivos no 
mesmo diretório, o próprio filesystem começa a perder performance na 
hora de me retornar o arquivo. Pelo menos foi isso que eu percebi aqui.
>
> Outro ponto importante é a aplicação. Há a viabilidade de requisitar 
> as 7 ou 10 figuras de uma vez só?
>
Através de uma conexão ao banco sim, mas não através de uma consulta só. 
Eu posso abrir uma conexão, e fazer as minhas 7 ou 10 consultas nessa 
mesma conexão.
> Acho que mesmo que a pergunta anterior não seja respondida de forma 
> afirmativa, um banco de dados traria ganhos em termos de performance.
>
> Você sabe qual é a média de acessos e o pico de acessos (em 
> quantidade) ??? Quanto ao cluster, qual máquina que você possui para o 
> servidor NFS ?
O pico é de 120 requisições por segundo, e a média do dia é 40 req/seg. 
Isso pq de madrugada a quantidade de requisições é muito baixa. A média 
de requisições em horário comercial é de 60 req/sec.

O servidor nfs é um Dual Xeon 5405 com 2 GB de memória com discos SAS de 
15k RPM com espelhamento.

[]s

-- 
Fábio da Silva Júnior - fjuniorlista em gmail.com
----- http://fabioojunior.wordpress.com -----