I'd also like to test gfs for a 30 nodes cluster with sge.<br>Tasks are often quite short, files are also quite small. Job rate can be quite high (can reach 10 to 20/second)<br>We actualy use NFS under centos4.7 and experience coherency problems.<br>
I tested AFS, lustre, glusterFS. All showed too much overhead with small files, and less performance than nfs.<br><br>The coherency problem seems related to the ext3 timestamp resolution (1 second), and the poor NFS cache system. It is not coherent even with the noac (no attribute cache option)<br>
<br>First GFS test on 6 nodes (with gnbd) were ok, but there had been unexplained kernel panics (even when not working) that prevented further tests.<br><br>I will try to upgrade the cluster to a more recent distribution and test GFS on 30 nodes.<br>
<br><br><div class="gmail_quote">On Mon, Feb 23, 2009 at 3:52 PM, Jens Larsson <span dir="ltr"><<a href="mailto:jens@nsc.liu.se">jens@nsc.liu.se</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="Ih2E3d">> > Just curious if GFS can be used in a HPC environment, like GPFS or<br>
> > Oracle OCFS2?<br>
<br>
> I don't think so. Comments from people in the HPC-business indicate that<br>
> it doesn't scale to the number of nodes that typically forms these kinds<br>
> of environments.<br>
><br>
> NFS still rulez there, together with more (ISILON/Panasas) or less (SUN)<br>
> specialized NFS-serving-gear.<br>
> Rainer<br>
<br>
</div>NFS (<4.1) doesn't scale either. I would say that GPFS and Lustre is more<br>
usable than NFS in an HPC environment. You need a parallell file system<br>
when the data rates gets higher. But much depends on the I/O-profile of<br>
the jobs.<br>
<br>
/jens<br>
<font color="#888888"><br>
--<br>
Jens Larsson, NSC, Linköpings universitet, SE-58183 LINKÖPING, SWEDEN<br>
Phone: +46-13-281432, Mobile: +46-709-521432, E-mail: <a href="mailto:jens@nsc.liu.se">jens@nsc.liu.se</a><br>
GPG/PGP Key: 1024D/C21BB2C7 2001-02-27 Jens Larsson <<a href="mailto:jens@nsc.liu.se">jens@nsc.liu.se</a>><br>
Key Fingerprint: BAEF 85CF BF1D  7A69 C965 2EE6  C541 D57F C21B  B2C7</font><br>_______________________________________________<br>
CentOS mailing list<br>
<a href="mailto:CentOS@centos.org">CentOS@centos.org</a><br>
<a href="http://lists.centos.org/mailman/listinfo/centos" target="_blank">http://lists.centos.org/mailman/listinfo/centos</a><br>
<br></blockquote></div><br>