On Sun, Jun 22, 2008 at 4:32 PM, Dag Wieers <<a href="mailto:dag@centos.org">dag@centos.org</a>> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

I have done 700k and 800k files transfers (including hardlinks), but indeed it could take a while to compute the transferlist. Newer rsync versions bring down the amount of memory needed drastically. That is one of the reasons I offer a recent rsync in RPMforge. There is almost never a good reason to use a dated rsync.<br>
<font color="#888888">
</font></blockquote></div><br>I just thought I'd de-lurk and chime in that there are some patches for ssh to allow better performance:<br><br><a href="http://www.psc.edu/networking/projects/hpn-ssh/">http://www.psc.edu/networking/projects/hpn-ssh/</a><br>
<br>If you do end up using rsync for something like this via ssh, you might want to look at some of the Pittsburgh Supercomputing Center's patches.  The high-performance patches can allow you to see dramatic increases in throughput.<br>