[CentOS-es] Optimizar el proceso "building file list" de Rsync

["Ing. Ernesto Pérez Estévez"]

> 1) Una primera ejecución para migrar el grueso de los datos, se copiarán
> los 1-2 millones de ficheros y se asume que el proceso durará entre 3-4
> horas aprox.
>
> 2) Segunda ejecución del script, donde se sincronizaran las diferencias
> desde la primera ejecución.
>
> El problema de este escenario es que rsync se tira entre 15 y 20 minutos
> construyendo el listado de ficheros a sincronizar (proceso "building
> file list"), un tiempo que me gustaría reducir al máximo posible al
> menos en la fase 2) del script, la del 1) no me importa :)
>
> El motivo es que desde que lanzo el primer rsync hasta que se lanza el
> segundo, apenas se han modificado/creado/borrado 1000-2000 ficheros y es
>
Hola Santi

técnicamente la primera ejecución SÍ de demorará pero la segunda ya debe 
ser muy rápida.

Tenemos un caso de un cliente que tiene unos 50millones de archivos (es 
un servidor de mail con maildiry se les ocurrió tener un respaldo al 
lado con esto). y no demora más de 5 min sincronizar esos 50millones de 
archivos (por supuesto los cambios son mínimos).

Ahora, otra variante sería que uses drbd quizá con ocfs2 o con gfs2 en 
activo-activo.. o como creas más conveniente!.

saludos!
epe