Você precisa então que o sistema lhe garanta que um write() só irá retornar se os dados estiverem sido gravados em mídia permanente. Como a maioria dos discos rígido para consumidores "mente", isto é, diz que gravou mas os dados ainda estão na memória volátil interna.. eu não esperaria que o firmware de um pendrive convencional fosse mais confiável que isso. O que eu quero dizer é que mesmo tomando todos os cuidados para que seu sistema aguarde a escrita em disco, isso pode não estar acontecendo realmente. Seu sistema é tão crítico assim que precisa descer nesse nível de detalhe? Só você poderá dizer :-)

Pode bootar pelo DVD de instalação e instalar direto no pendrive. Escolha um filesystem com journal (ext3, ext4, etc) e pronto. Não vejo a necessidade de você rodar nenhum filesystem em read-only mas, se quiser fazer isso, so tome cuidado com o particionamento para separar /usr, /var, etc... e defina então cada filesystem que for necessário como read-only (exceto /var & cia). Tem tutoriais no Google explicando como criar um sistema embedded (como foi dada a dica pelo Toledo).

Se isso não for o que você quer, talvez seja melhor estudar como um LiveCD funciona e fazer algo parecido. Pelo menos o Fedora tem ferramentas para gerar um LiveCD a partir de um sistema instalado, não sei ao certo se o CentOS tem.