Hola,
Estoy utilizando un script que hace uso de rsync para mover entre 1-2 millones de ficheros entre 2 máquinas, dividido en 2 fases:
1) Una primera ejecución para migrar el grueso de los datos, se copiarán los 1-2 millones de ficheros y se asume que el proceso durará entre 3-4 horas aprox.
2) Segunda ejecución del script, donde se sincronizaran las diferencias desde la primera ejecución.
El problema de este escenario es que rsync se tira entre 15 y 20 minutos construyendo el listado de ficheros a sincronizar (proceso "building file list"), un tiempo que me gustaría reducir al máximo posible al menos en la fase 2) del script, la del 1) no me importa :)
El motivo es que desde que lanzo el primer rsync hasta que se lanza el segundo, apenas se han modificado/creado/borrado 1000-2000 ficheros y es
¿Conoceís alguna alternativa a rsync para este escenario? Algo que haga uso de FAM, inotify, kqueue, etc. para determinar de "forma inteligente" aquellos ficheros a sincronizar en lugar de tener que volver a generar nuevamente el listado?
Saludos,