Las limitaciones no son propias de Centos, sino de cualquier operativo de 32 bits, puede usar de memoria hasta 2 GB por proceso y detecta un maximo de 4 GB.
Mas de 4GB instalados en el servidor tenes que usar sistemas de 64bits, igualmente si tenes 4GB ya te sugieron que uses 64bits, en muchos casos depende del mother y no detecta mas de 3.5 o 3 GB