[CentOS-pt-br] [OT] - Estrutura de armazenamento de uma grande quantidade de arquivos

Fabio Rampazzo Mathias fmathias em gmail.com
Sexta Novembro 27 18:05:26 UTC 2009


Fabio,

Vamos com calma....você não tem 4 milhões de figuras....você tem aprox. 1,34
milhão de figuras (4/3).... o resto é resize da mesma, que você pode
armazenar no mesmo registro do MySQL. Só programar para trazer a figura
conveniente. Depois, você está compartilhando um diretório via NFS. Eu diria
que, o gargalo está no NFS, pois ele não é performático como o filesystem.

Outro ponto importante é a aplicação. Há a viabilidade de requisitar as 7 ou
10 figuras de uma vez só?

Acho que mesmo que a pergunta anterior não seja respondida de forma
afirmativa, um banco de dados traria ganhos em termos de performance.

Você sabe qual é a média de acessos e o pico de acessos (em quantidade) ???
Quanto ao cluster, qual máquina que você possui para o servidor NFS ?

abraços

2009/11/27 "Fábio Jr." <fjuniorlista em gmail.com>

> Olá Fabio, obg pela resposta
>
> Fabio Rampazzo Mathias escreveu:
> > Olha, tenho que concordar com o Lucas (e com os outros que falaram)
> >
> > Isso é trabalho de Banco de Dados. Coloca um Mysql com blob e indexado
> > pelo nome. Isso, definitivamente resolverá o seu problema. 4 Milhoes
> > de registros não é nada para o mysql. Utilize a configuração HUGE que
> > vem nos exemplos.
> >
> > Trabalho administrando servidores de bioinformática e sempre usamos
> > XFS + MySQL para bilhões de dados. Funciona perfeitamente.
> >
> Analizando as dicas de todo o pessoal, e reavaliando a situação dos meus
> dados, notei outro empecilho na utilização do MySQL. Eu acredito que
> seja um empecilho isso, e me corrijam se eu estiver erra por favor.
>
> Estas imagens que eu tenho armazenadas, são muito acessadas, e eu
> explico como. Elas são exibidas em vários sites, que ficam hospedados no
> servidor de aplicação, que monta via nfs o storage com as imagens. Estes
> sites juntos tem algo em torno de 700 mil a 1 milhão de acessos por dia.
> Para cada página exibida, eu mostro uma média que varia de 7 a 10
> imagens destas 4 milhões armazenadas.
>
> Isso significa que eu teria em um dia de muito acesso, pelo menos 10
> milhões de queries ao banco? Isso se a programação fizer um select para
> cada foto correto? Para poder atender essa demanda, precisaria de um
> cluster de mysql talvez... ou não?
>
>
> Vlw pela dica Felipe, vou dar uma lida.
>
> Filipe Rosset escreveu:
> > Vale a pena dar uma olhada nesse outra thread
> >
> >
> http://groups.google.com/group/tchelinux/browse_thread/thread/65c2f4b30bf6e1e0?hl=pt-BR
> \
> >
>
> Obrigado novamente a todos pelas dicas.
>
> []s
>
> --
> Fábio da Silva Júnior - fjuniorlista em gmail.com
> ----- http://fabioojunior.wordpress.com -----
>
> _______________________________________________
> CentOS-pt-br mailing list
> CentOS-pt-br em centos.org
> http://lists.centos.org/mailman/listinfo/centos-pt-br
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: http://lists.centos.org/pipermail/centos-pt-br/attachments/20091127/cf8ddf73/attachment.html 


Mais detalhes sobre a lista de discussão CentOS-pt-br