Deberías dar detalles de si estas corriendo en entorno de línea de comandos o gráfico.

En caso de que sea línea de comandos necesitas configurar tus variables LC_* y LANG para el entorno gráfico, es necesario instalar los paquetes de internacionalización y localización de las aplicaciones que cuenten con estos (gnome, openoffice, firefox, etc...)

Para el sistema en general /etc/sysconfig/i18n es donde puedes declarar el valor de LANG y otros relacionados.

Para usuarios en particular, puedes declarar el valor de LANG en ~/.bash_profile o ~/.profile

Solo actualiza tu sistema con "yum update" una vez terminada la actualización, utiliza yum para instalar los paquetes de internacionalización y localización que te hagan falta. Los identificas por que tienen las abreviaciones i18n y l10n respectivamente.
 
La documentación de CentOS y Google son tus amigos.