[CentOS-es] Optimizar el proceso "building file list" de Rsync

[Santi Saez]

El 06/05/10 13:41, Eduardo Grosclaude escribió:

Hola Eduardo!

>> El 04/05/10 19:58, "Ing. Ernesto Pérez Estévez" escribió:

>>>> El problema de este escenario es que rsync se tira entre 15 y 20 minutos
>>>> construyendo el listado de ficheros a sincronizar (proceso "building
>>>> file list"), un tiempo que me gustaría reducir al máximo posible

> La demora es la misma, con y sin compresión?

No he hecho pruebas con la compresión de rsync, aunque entiendo que eso 
afecataría a la transferencia de los datos y no a la parte de generar el 
listado de ficheros a sincronizar:

-z, --compress              compress file data during the transfer


> No me queda claro exactamente por qué quieres reducir este tiempo,
> calculo que es porque tienes el sistema detenido mientras haces la
> copia, por razones de consistencia. Si es así, vale enmascarar el
> problema en lugar de solucionarlo? Me refiero a si puedes tomar un
> snapshot con LVM y transferir tus archivos desde allí. El sistema
> podría seguir funcionando mientras tanto.

Exacto, se debe reducir ese tiempo al mínimo ya que supone corte de 
servicios, como decía, se trata de un script que se encarga de migrar 
virtuales basados en OpenVZ entre hosts que estén conectados a 2 
almacenamientos diferentes; Los tiros van por algo como los snapshots de 
LVM como comentas, aunque en este escenario tampoco es aplicable :(

Googleando he dado con un post en Server Fault [1], donde se hace 
referencia a lsyncd [2] y sersync[3] -entre otros- que hacen uso de 
inotify + rsync para sincronizar únicamente aquellos ficheros que han 
sido modificados, tendré que echarles un ojo :)

Saludos,

[1] http://tinyurl.com/35z6ev3
[2] http://code.google.com/p/lsyncd/
[3] http://code.google.com/p/sersync/

-- 
Santi Saez
http://woop.es