<html>
<head>
<style><!--
.hmmessage P
{
margin:0px;
padding:0px
}
body.hmmessage
{
font-size: 12pt;
font-family:Calibri
}
--></style></head>
<body class='hmmessage'><div dir='ltr'>Por exemplo Antônio. Se eu fizesse assim<div><br></div><div>Servidor 1 = urano1</div><div>Servidor 2 = urano2</div><div>Servidor 3 = urano3</div><div><br></div><div>Durante todo o dia, o servico do drbd estaria parado no servidor urano3. Dai a meia noite eu daria um stop no serviço do drbd no servidor urano2 e daria um start no serviço do drbd no servidor urano3. Funcionaria assim também? Somente dando start e stop ?<br><br><div>&gt; Date: Fri, 6 Sep 2013 08:28:30 -0300<br>&gt; From: asmartins@uem.br<br>&gt; To: centos-pt-br@centos.org<br>&gt; Subject: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..<br>&gt; <br>&gt; Olá Cássio,<br>&gt; <br>&gt;     Legal que funcionou! Como lhe disse, temos máquinas aqui funcionando já a um bom tempo!<br>&gt; <br>&gt;     Quanto a replicação para mais de 2 nós, tem com 3 (um backup) veja: http://www.drbd.org/users-guide-8.3/s-three-way-repl.html<br>&gt; <br>&gt;     E com imaginação dá para fazer muita coisa também! Como o tempo de sync do DRBD não é muito grande<br>&gt; se a quantidade de alterações de seus dados não for enorme, você pode montar um <br>&gt; esquema em que, p.ex., toda noite, você "troca" o nó secundário, sincronizando com outros nós. <br>&gt; Dai em caso de uma perda total do hardware do primário, você já tem outra máquina para assumir.<br>&gt; <br>&gt;     Att.,<br>&gt; <br>&gt;         Antonio.<br>&gt; <br>&gt; ----- "CássioElias ." &lt;cassioelias@hotmail.com&gt; escreveu:<br>&gt; <br>&gt; &gt; De: "CássioElias ." &lt;cassioelias@hotmail.com&gt;<br>&gt; &gt; Para: "Lista de Discussão CentOS-BR" &lt;centos-pt-br@centos.org&gt;<br>&gt; &gt; Enviadas: Sexta-feira, 6 de Setembro de 2013 8:16:53 (GMT-0300) Auto-Detected<br>&gt; &gt; Assunto: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..<br>&gt; &gt;<br>&gt; &gt; É...vivendo e tentando aprender.... XD.<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Acredito que a saga do Cluster no CentOS 6 chegou ao fim Antônio.<br>&gt; &gt; Ontem fiquei até 00:00 "brincando" um pouco nesses servidores e nas<br>&gt; &gt; replicações.<br>&gt; &gt; Agora está funcionando beleza. Os servidores fazem a ajuda entre si e<br>&gt; &gt; as replicações. As replicações está perfeitas. Configurei tudo ontem<br>&gt; &gt; no pacemaker. O failover também está perfeito. Quando uma estação cái,<br>&gt; &gt; ou entra em standby a outra assume na hora.<br>&gt; &gt; Fiz tudo em 2 máquinas virtuais criadas no VMWare ESXi.<br>&gt; &gt; O ideal era eu deixar uma virtual e outra em Servidor Físico. Mas isso<br>&gt; &gt; eu vejo com a parte financeira da empresa depois..hehe.<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Outra pergunta, o DRBD não trabalha com mais de 2 servidores não né?<br>&gt; &gt; Andei lendo que ele trabalha apenas com 2 servidores. Se quiser<br>&gt; &gt; trabalhar com mais de 2 tem que ser com a ferramenta paga deles.<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Bom, veja como ficou minhas configurações:<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Informações do Servidor Urano1 que são as mesmas do Urano2:<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; [root@urano1 ~]# uname -a<br>&gt; &gt; Linux urano1 2.6.32-358.18.1.el6.x86_64 #1 SMP Wed Aug 28 17:19:38 UTC<br>&gt; &gt; 2013 x86_64 x86_64 x86_64 GNU/Linux<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; # /etc/corosync/corosync.conf<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Opção do protocolo totem<br>&gt; &gt; totem {<br>&gt; &gt; version: 2<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Tempo para verificar perca de pacotes em (ms)<br>&gt; &gt; token: 3000<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Quantas verificações antes de gerar notificações<br>&gt; &gt; token_retransmits_before_loss_const: 10<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Quanto tempo esperar para agrupar as notificações em (ms)<br>&gt; &gt; join: 60<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Quanto tempo esperar para uma solução antes de começar uma nova<br>&gt; &gt; verificação (ms)<br>&gt; &gt; consensus: 3600<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Filtro de sincronismo virtual desabilitado<br>&gt; &gt; vsftype: none<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Número de mensagens processadas na recepção de pacotes<br>&gt; &gt; max_messages: 20<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Limite de cluster assinados<br>&gt; &gt; clear_node_high_bit: yes<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Criptografia desabilitada<br>&gt; &gt; secauth: off<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Quantas threads usadas para criptografar/descriptografar<br>&gt; &gt; threads: 0<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Atribui ID em um cluster fixo (opcional)<br>&gt; &gt; # nodeid: 1234<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Especifica que em modo de redundancia, não pode havar nenhum cluster<br>&gt; &gt; ativo ou passivo.<br>&gt; &gt; rrp_mode: none<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; interface {<br>&gt; &gt; #Número de clusters (0 default)<br>&gt; &gt; ringnumber: 0<br>&gt; &gt; #Início de ips utilizados por cluster 10.101.0.0 é 10.101.0.0/24 aqui<br>&gt; &gt; mude para<br>&gt; &gt; #O endereço da sua rede ex: 192.168.0.0 que seria 192.168.0.0/24<br>&gt; &gt; bindnetaddr: 192.168.0.0<br>&gt; &gt; #Fim de ips utilizados por cluster<br>&gt; &gt; mcastaddr: 226.94.1.1<br>&gt; &gt; #Porta utilizaad pelo corosync<br>&gt; &gt; mcastport: 5405<br>&gt; &gt; }<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Configuração de AIS Availability Management Framework<br>&gt; &gt; amf {<br>&gt; &gt; mode: disabled<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; service {<br>&gt; &gt; #Carregamento do serviço para gerenciamento<br>&gt; &gt; ver: 1<br>&gt; &gt; name: pacemaker<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Temos que setar o usuário e grupo como root para o ais ser capaz de<br>&gt; &gt; gerenciar os recursos do pacemaker<br>&gt; &gt; aisexec {<br>&gt; &gt; user: root<br>&gt; &gt; group: root<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; #Configuração de log<br>&gt; &gt; logging {<br>&gt; &gt; fileline: off<br>&gt; &gt; to_stderr: yes<br>&gt; &gt; to_logfile: yes<br>&gt; &gt; logfile: /var/log/corosync/corosync.log<br>&gt; &gt; #Aqui estou desabilitando os logs para o syslog, pq senão zoa demais o<br>&gt; &gt; arquivo<br>&gt; &gt; to_syslog: no<br>&gt; &gt; syslog_facility: daemon<br>&gt; &gt; debug: off<br>&gt; &gt; timestamp: on<br>&gt; &gt; logger_subsys {<br>&gt; &gt; subsys: AMF<br>&gt; &gt; debug: off<br>&gt; &gt; tags: enter|leave|trace1|trace2|trace3|trace4|trace6<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; [root@urano1 ~]# ls /etc/drbd.d<br>&gt; &gt; global_common.conf http.res mysql.res<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; [root@urano1 ~]# cat /etc/drbd.d/http.res<br>&gt; &gt; resource http {<br>&gt; &gt; on urano1{<br>&gt; &gt; device /dev/drbd1;<br>&gt; &gt; disk /dev/vg_urano1/lv_web;<br>&gt; &gt; address 192.168.0.181:7789;<br>&gt; &gt; meta-disk internal;<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; on urano2{<br>&gt; &gt; device /dev/drbd1;<br>&gt; &gt; disk /dev/vg_urano2/lv_web;<br>&gt; &gt; address 192.168.0.182:7789;<br>&gt; &gt; meta-disk internal;<br>&gt; &gt; }<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; [root@urano1 ~]# cat /etc/drbd.d/mysql.res<br>&gt; &gt; resource mysql {<br>&gt; &gt; on urano1{<br>&gt; &gt; device /dev/drbd0;<br>&gt; &gt; disk /dev/vg_urano1/lv_mysql;<br>&gt; &gt; address 192.168.0.181:7790;<br>&gt; &gt; meta-disk internal;<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; on urano2{<br>&gt; &gt; device /dev/drbd0;<br>&gt; &gt; disk /dev/vg_urano2/lv_mysql;<br>&gt; &gt; address 192.168.0.182:7790;<br>&gt; &gt; meta-disk internal;<br>&gt; &gt; }<br>&gt; &gt; }<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; [root@urano1 ~]# lvs<br>&gt; &gt; LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert<br>&gt; &gt; lv_home vg_urano1 -wi-ao--- 4,88g<br>&gt; &gt; lv_mysql vg_urano1 -wi-ao--- 4,88g<br>&gt; &gt; lv_root vg_urano1 -wi-ao--- 4,88g<br>&gt; &gt; lv_swap vg_urano1 -wi-ao--- 3,94g<br>&gt; &gt; lv_usr vg_urano1 -wi-ao--- 4,88g<br>&gt; &gt; lv_var vg_urano1 -wi-ao--- 4,88g<br>&gt; &gt; lv_web vg_urano1 -wi-ao--- 4,88g<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; [root@urano1 ~]# crm configure show<br>&gt; &gt; node urano1 \<br>&gt; &gt; attributes standby="off"<br>&gt; &gt; node urano2 \<br>&gt; &gt; attributes standby="off"<br>&gt; &gt; primitive Failover ocf:heartbeat:IPaddr2 \<br>&gt; &gt; params ip="192.168.0.200" cidr_netmask="24" nic="eth0" \<br>&gt; &gt; op monitor interval="10s"<br>&gt; &gt; primitive Httpd lsb:httpd<br>&gt; &gt; primitive MysqlData ocf:linbit:drbd \<br>&gt; &gt; params drbd_resource="mysql" \<br>&gt; &gt; op monitor interval="60s"<br>&gt; &gt; primitive MysqlFS ocf:heartbeat:Filesystem \<br>&gt; &gt; params device="/dev/drbd0" directory="/var/lib/mysql" fstype="ext4"<br>&gt; &gt; primitive Mysqld lsb:mysqld<br>&gt; &gt; primitive Vsftpd lsb:vsftpd<br>&gt; &gt; primitive WebData ocf:linbit:drbd \<br>&gt; &gt; params drbd_resource="http" \<br>&gt; &gt; op monitor interval="60s"<br>&gt; &gt; primitive WebFS ocf:heartbeat:Filesystem \<br>&gt; &gt; params device="/dev/drbd1" directory="/var/www/html" fstype="ext4"<br>&gt; &gt; ms MysqlDataClone MysqlData \<br>&gt; &gt; meta master-max="1" master-node-max="1" clone-max="2"<br>&gt; &gt; clone-node-max="1" notify="true"<br>&gt; &gt; ms WebDataClone WebData \<br>&gt; &gt; meta master-max="1" master-node-max="1" clone-max="2"<br>&gt; &gt; clone-node-max="1" notify="true"<br>&gt; &gt; location cli-prefer-Httpd Httpd \<br>&gt; &gt; rule $id="cli-prefer-rule-Httpd" inf: #uname eq urano1<br>&gt; &gt; location cli-prefer-Mysqld Mysqld \<br>&gt; &gt; rule $id="cli-prefer-rule-Mysqld" inf: #uname eq urano1<br>&gt; &gt; location cli-prefer-Vsftpd Vsftpd \<br>&gt; &gt; rule $id="cli-prefer-rule-Vsftpd" inf: #uname eq urano1<br>&gt; &gt; colocation Htpd-with-WebFS inf: Httpd WebFS<br>&gt; &gt; colocation Mysqld-with-MysqlFS inf: Mysqld MysqlFS<br>&gt; &gt; colocation fs_on_drbd inf: MysqlFS MysqlDataClone:Master<br>&gt; &gt; colocation fs_on_drbd1 inf: WebFS WebDataClone:Master<br>&gt; &gt; colocation website-with-ip inf: Httpd Failover<br>&gt; &gt; order Httpd-after-WebFS inf: WebFS Httpd<br>&gt; &gt; order MysqlFS-after-MysqlData inf: MysqlDataClone:promote<br>&gt; &gt; MysqlFS:start<br>&gt; &gt; order Mysqld-after-MysqlFS inf: MysqlFS Mysqld<br>&gt; &gt; order WebFS-after-WebData inf: WebDataClone:promote WebFS:start<br>&gt; &gt; order httpd-after-ip inf: Failover Httpd<br>&gt; &gt; property $id="cib-bootstrap-options" \<br>&gt; &gt; dc-version="1.1.9-2.2-2db99f1" \<br>&gt; &gt; cluster-infrastructure="classic openais (with plugin)" \<br>&gt; &gt; expected-quorum-votes="2" \<br>&gt; &gt; stonith-enabled="false" \<br>&gt; &gt; no-quorum-policy="ignore"<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; [root@urano1 ~]# crm_mon -1<br>&gt; &gt; Last updated: Fri Sep 6 08:13:19 2013<br>&gt; &gt; Last change: Fri Sep 6 07:44:54 2013 via crm_attribute on urano1<br>&gt; &gt; Stack: classic openais (with plugin)<br>&gt; &gt; Current DC: urano2 - partition with quorum<br>&gt; &gt; Version: 1.1.9-2.2-2db99f1<br>&gt; &gt; 2 Nodes configured, 2 expected votes<br>&gt; &gt; 10 Resources configured.<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Online: [ urano1 urano2 ]<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Failover (ocf::heartbeat:IPaddr2): Started urano1<br>&gt; &gt; Httpd (lsb:httpd): Started urano1<br>&gt; &gt; Mysqld (lsb:mysqld): Started urano1<br>&gt; &gt; Vsftpd (lsb:vsftpd): Started urano1<br>&gt; &gt; Master/Slave Set: MysqlDataClone [MysqlData]<br>&gt; &gt; Masters: [ urano1 ]<br>&gt; &gt; Slaves: [ urano2 ]<br>&gt; &gt; MysqlFS (ocf::heartbeat:Filesystem): Started urano1<br>&gt; &gt; Master/Slave Set: WebDataClone [WebData]<br>&gt; &gt; Masters: [ urano1 ]<br>&gt; &gt; Slaves: [ urano2 ]<br>&gt; &gt; WebFS (ocf::heartbeat:Filesystem): Started urano1<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; [root@urano1 ~]# cat /proc/drbd<br>&gt; &gt; version: 8.3.15 (api:88/proto:86-97)<br>&gt; &gt; GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by<br>&gt; &gt; phil@Build64R6, 2012-12-20 20:09:51<br>&gt; &gt; 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----<br>&gt; &gt; ns:372 nr:316 dw:688 dr:4109 al:0 bm:7 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f<br>&gt; &gt; oos:0<br>&gt; &gt; 1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----<br>&gt; &gt; ns:104 nr:180 dw:284 dr:792 al:0 bm:4 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f<br>&gt; &gt; oos:0<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Tudo funcionando redondinho...Agradeço muito a sua ajuda Antônio. Você<br>&gt; &gt; foi peça chave para eu conseguir fazer essa configuração. Muito<br>&gt; &gt; obrigado mesmo. E muito obrigado a comunidade também que também me<br>&gt; &gt; ajudou muito!<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Fica a dica ai para quem quiser fazer cluster no CentOS. Funciona, tem<br>&gt; &gt; que ralar um pouco mais funciona!<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; Hehe :)<br>&gt; &gt; <br>&gt; &gt; <br>&gt; &gt; &gt; Date: Fri, 6 Sep 2013 07:46:50 -0300<br>&gt; &gt; &gt; From: asmartins@uem.br<br>&gt; &gt; &gt; To: centos-pt-br@centos.org<br>&gt; &gt; &gt; Subject: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..<br>&gt; &gt; &gt;<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; ----- "CássioElias ." &lt;cassioelias@hotmail.com&gt; escreveu:<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; &gt; De: "CássioElias ." &lt;cassioelias@hotmail.com&gt;<br>&gt; &gt; &gt; &gt; Para: "Lista de Discussão CentOS-BR" &lt;centos-pt-br@centos.org&gt;<br>&gt; &gt; &gt; &gt; Enviadas: Quinta-feira, 5 de Setembro de 2013 17:12:49 (GMT-0300)<br>&gt; &gt; Auto-Detected<br>&gt; &gt; &gt; &gt; Assunto: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..<br>&gt; &gt; &gt; &gt;<br>&gt; &gt; &gt; &gt; Certo...entendido..<br>&gt; &gt; &gt; &gt;<br>&gt; &gt; &gt; &gt;<br>&gt; &gt; &gt; &gt; Outra pergunta. Mas para o pacemaker entender isso, eu terei que<br>&gt; &gt; &gt; &gt; configura-lo ou ele entende isso por padrão?<br>&gt; &gt; &gt; &gt;<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; Olá Cássio,<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; Você tem que configurar o Pacemaker, da mesma forma que faz para o<br>&gt; &gt; &gt; Apache/MySQL/IPAddr2 são recursos. Você vai configurar um recurso<br>&gt; &gt; DRBD,<br>&gt; &gt; &gt; tem OCF::Resource para isso também (é preferivel a usar o lsb, como<br>&gt; &gt; você<br>&gt; &gt; &gt; fez com o Apache).<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; De uma olhada aqui:<br>&gt; &gt; http://www.drbd.org/users-guide-8.3/ch-pacemaker.html<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; E por falar em documentação! Você deveria ler a documentação do<br>&gt; &gt; Pacemaker e<br>&gt; &gt; &gt; do DRBD toda, e não ficar atrás de receita de bolo (HowTo). :D Tem<br>&gt; &gt; muita coisa<br>&gt; &gt; &gt; que a turma faz errado nestes HowTos, a principal é instalar a<br>&gt; &gt; partir dos fontes<br>&gt; &gt; &gt; quando existem pacotes nos repositórios! Se é para usar fonte, use<br>&gt; &gt; Slackware!<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; Att.,<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; Antonio.<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; --<br>&gt; &gt; &gt; Antonio da Silva Martins Jr.<br>&gt; &gt; &gt; Analista de Suporte<br>&gt; &gt; &gt; NPD - Núcleo de Processamento de Dados<br>&gt; &gt; &gt; UEM - Universidade Estadual de Maringá<br>&gt; &gt; &gt; email: asmartins@uem.br<br>&gt; &gt; &gt; fone: +55 (44) 3011-4015 / 3011-4411<br>&gt; &gt; &gt; inoc-dba: 263076*100<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; "Real Programmers don’t need comments — the code is obvious."<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; --<br>&gt; &gt; &gt; Esta mensagem foi verificada pelo sistema de antivirus e<br>&gt; &gt; &gt; acredita-se estar livre de perigo.<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; _______________________________________________<br>&gt; &gt; &gt; CentOS-pt-br mailing list<br>&gt; &gt; &gt; CentOS-pt-br@centos.org<br>&gt; &gt; &gt; http://lists.centos.org/mailman/listinfo/centos-pt-br<br>&gt; &gt; <br>&gt; &gt; --<br>&gt; &gt; Esta mensagem foi verificada pelo sistema de antivírus e<br>&gt; &gt; acredita-se estar livre de perigo. <br>&gt; &gt; _______________________________________________<br>&gt; &gt; CentOS-pt-br mailing list<br>&gt; &gt; CentOS-pt-br@centos.org<br>&gt; &gt; http://lists.centos.org/mailman/listinfo/centos-pt-br<br>&gt; <br>&gt; -- <br>&gt; Antonio da Silva Martins Jr. <br>&gt; Analista de Suporte<br>&gt; NPD - Núcleo de Processamento de Dados<br>&gt; UEM - Universidade Estadual de Maringá<br>&gt; email: asmartins@uem.br <br>&gt; fone: +55 (44) 3011-4015 / 3011-4411<br>&gt; inoc-dba: 263076*100                     <br>&gt; <br>&gt;      "Real Programmers don’t need comments — the code is obvious."<br>&gt; <br>&gt; -- <br>&gt; Esta mensagem foi verificada pelo sistema de antivirus e<br>&gt;  acredita-se estar livre de perigo.<br>&gt; <br>&gt; _______________________________________________<br>&gt; CentOS-pt-br mailing list<br>&gt; CentOS-pt-br@centos.org<br>&gt; http://lists.centos.org/mailman/listinfo/centos-pt-br<br></div></div>                                               </div></body>
</html>