Milagre !! Hehehe.. Problema resolvido Antônio.. achei uma pessoa que teve o mesmo problema que eu e colocou na internet a solução. A solução é apagar os dados de um dos nós, e mandar sincronizar novamente. Segui a seguinte "receita de bolo" que você não gosta muito :) http://balajitheone.blogspot.com.br/2011/10/drbd-split-brain-recovery.html Primeiro apague os dados de 1 dos nós, de preferencia o mais desatualizado: drbdadm -- --discard-my-data connect all Depois conecte as partições do drbd novamente, este é no nó que não teve os dados apagados: drbdadm connect all Fiz e funcionou perfeitamente. Testei aqui e criou o arquivo em 1 nó, e chequei no outro e também criou. Problema resolvido, desculpe te alugar!! Muito obrigado!!
Date: Mon, 9 Sep 2013 16:34:47 -0300 From: asmartins@uem.br To: centos-pt-br@centos.org Subject: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..
Olá Cássio,
Primeiro: desligue a firewall. Se voltar a funcionar vc já tem o culpado e não precisa ficar procurando!
O DRBD tem um link separado? Como está a sua rede? Se o cluster tem um link para comunicação entre os nós, deixe _todo_ o tráfego liberado nele.
Dá para mandar o arquivo da firewall?
Att.,
Antonio.----- "CássioElias ." cassioelias@hotmail.com escreveu:
De: "CássioElias ." cassioelias@hotmail.com Para: "Lista de Discussão CentOS-BR" centos-pt-br@centos.org Enviadas: Segunda-feira, 9 de Setembro de 2013 16:14:05 (GMT-0300) Auto-Detected Assunto: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..
Viche Antônio, fiz um negocio aqui e não estou entendendo.
Os servidores estavam funcionando perfeitamente. Fui tentar então ativar o firewall do CentOS para ir já normalizando tudo de uma forma mais segura.
Peguei as portas configuradas para os serviços do DRBD e do Corosync e fui liberar no gui do Firewall.
Rebootei as máquinas e veio o B.O....
Agora as máquinas estão sim funcionando como master e slave. Só que não sai disso aqui:
URANO 1:
[root@urano1 ~]# cat /proc/drbd version: 8.3.15 (api:88/proto:86-97) GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by phil@Build64R6, 2012-12-20 20:09:51 0: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown r----- ns:0 nr:0 dw:116 dr:3553 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:200 1: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown r----- ns:0 nr:0 dw:4 dr:1085 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:4
URANO 2:
[root@urano2 ~]# cat /proc/drbd version: 8.3.15 (api:88/proto:86-97) GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by phil@Build64R6, 2012-12-20 20:09:51 0: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown r----- ns:0 nr:0 dw:456 dr:7709 al:5 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:176 1: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown r----- ns:0 nr:0 dw:100 dr:2525 al:4 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:80
Os serviços do corosync+pacemaker estão de boa. Mas não há mais sincronização entre os servidores. Ao que parece o DRBD não está mais entendendo os servidores. Fiz um teste de criar um arquivo no primário e colocar ele em standby, mas no secundário o arquivo não aparece. Ele não sincroniza mais.
Tem alguma sugestão?
Date: Mon, 9 Sep 2013 08:12:10 -0300 From: asmartins@uem.br To: centos-pt-br@centos.org Subject: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..
----- "CássioElias ." cassioelias@hotmail.com escreveu:
De: "CássioElias ." cassioelias@hotmail.com Para: "Lista de Discussão CentOS-BR" centos-pt-br@centos.org Enviadas: Segunda-feira, 9 de Setembro de 2013 7:28:46 (GMT-0300)
Auto-Detected
Assunto: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..
Por exemplo Antônio. Se eu fizesse assim
Servidor 1 = urano1 Servidor 2 = urano2 Servidor 3 = urano3
Durante todo o dia, o servico do drbd estaria parado no servidor urano3. Dai a meia noite eu daria um stop no serviço do drbd no servidor urano2 e daria um start no serviço do drbd no servidor urano3. Funcionaria assim também? Somente dando start e stop ?
Olá Cássio,
Bem, existem algumas formas de se fazer isso. A primeira é usar um recurso do DRBD aqui:
http://www.drbd.org/users-guide-8.3/s-three-nodes.html
Você teria uma sincronização entre 1 e 2, e outra entre o disco já replicado e 3. Funciona, mas não é exatamente como a sincronização,
e para
3 ser usado deverá ser de forma manual. Mas, como é para uma
recuperação de
desastre é uma forma muito bom. Tenho um colega que tem os
servidores 1 e 2
lado a lado, e o 3 em outro prédio.
Outra forma, que pode facilitar a recuperação, é ter em 1 dois
arquivos de
configuração, o primeiro para a operação normal entre 1 e 2, e outro
para o
"backup", entre 1 e 3. Ai durante a noite, para o drbd em 1 e 2,
altera o arquivo
e sobre entre 1 e 3. Após sincronizar, volta ao estado original.
Caso ocorra uma
pane em 1, pode-se sincronizar 2 e 3.
Espero não ter lhe confundido ainda mais. Mas, o método na
documentação do DRBD
é o que vai funcionar de forma mais simples.
Att.,
Antonio.
Date: Fri, 6 Sep 2013 08:28:30 -0300 From: asmartins@uem.br To: centos-pt-br@centos.org Subject: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..
Olá Cássio,
Legal que funcionou! Como lhe disse, temos máquinas aqui
funcionando
já a um bom tempo!
Quanto a replicação para mais de 2 nós, tem com 3 (um backup)
veja:
http://www.drbd.org/users-guide-8.3/s-three-way-repl.html
E com imaginação dá para fazer muita coisa também! Como o tempo
de
sync do DRBD não é muito grande
se a quantidade de alterações de seus dados não for enorme, você
pode montar um
esquema em que, p.ex., toda noite, você "troca" o nó secundário,
sincronizando com outros nós.
Dai em caso de uma perda total do hardware do primário, você já
tem
outra máquina para assumir.
Att.,
Antonio.
----- "CássioElias ." cassioelias@hotmail.com escreveu:
De: "CássioElias ." cassioelias@hotmail.com Para: "Lista de Discussão CentOS-BR" centos-pt-br@centos.org Enviadas: Sexta-feira, 6 de Setembro de 2013 8:16:53
(GMT-0300)
Auto-Detected
Assunto: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda..
É...vivendo e tentando aprender.... XD.
Acredito que a saga do Cluster no CentOS 6 chegou ao fim
Antônio.
Ontem fiquei até 00:00 "brincando" um pouco nesses servidores
e
nas
replicações. Agora está funcionando beleza. Os servidores fazem a ajuda
entre
si e
as replicações. As replicações está perfeitas. Configurei tudo
ontem
no pacemaker. O failover também está perfeito. Quando uma
estação
cái,
ou entra em standby a outra assume na hora. Fiz tudo em 2 máquinas virtuais criadas no VMWare ESXi. O ideal era eu deixar uma virtual e outra em Servidor Físico.
Mas
isso
eu vejo com a parte financeira da empresa depois..hehe.
Outra pergunta, o DRBD não trabalha com mais de 2 servidores
não
né?
Andei lendo que ele trabalha apenas com 2 servidores. Se
quiser
trabalhar com mais de 2 tem que ser com a ferramenta paga
deles.
Bom, veja como ficou minhas configurações:
Informações do Servidor Urano1 que são as mesmas do Urano2:
[root@urano1 ~]# uname -a Linux urano1 2.6.32-358.18.1.el6.x86_64 #1 SMP Wed Aug 28
17:19:38
UTC
2013 x86_64 x86_64 x86_64 GNU/Linux
# /etc/corosync/corosync.conf
#Opção do protocolo totem totem { version: 2
#Tempo para verificar perca de pacotes em (ms) token: 3000
#Quantas verificações antes de gerar notificações token_retransmits_before_loss_const: 10
#Quanto tempo esperar para agrupar as notificações em (ms) join: 60
#Quanto tempo esperar para uma solução antes de começar uma
nova
verificação (ms) consensus: 3600
#Filtro de sincronismo virtual desabilitado vsftype: none
#Número de mensagens processadas na recepção de pacotes max_messages: 20
#Limite de cluster assinados clear_node_high_bit: yes
#Criptografia desabilitada secauth: off
#Quantas threads usadas para criptografar/descriptografar threads: 0
#Atribui ID em um cluster fixo (opcional) # nodeid: 1234
#Especifica que em modo de redundancia, não pode havar nenhum
cluster
ativo ou passivo. rrp_mode: none
interface { #Número de clusters (0 default) ringnumber: 0 #Início de ips utilizados por cluster 10.101.0.0 é
10.101.0.0/24
aqui
mude para #O endereço da sua rede ex: 192.168.0.0 que seria
192.168.0.0/24
bindnetaddr: 192.168.0.0 #Fim de ips utilizados por cluster mcastaddr: 226.94.1.1 #Porta utilizaad pelo corosync mcastport: 5405 } }
#Configuração de AIS Availability Management Framework amf { mode: disabled }
service { #Carregamento do serviço para gerenciamento ver: 1 name: pacemaker }
#Temos que setar o usuário e grupo como root para o ais ser
capaz
de
gerenciar os recursos do pacemaker aisexec { user: root group: root }
#Configuração de log logging { fileline: off to_stderr: yes to_logfile: yes logfile: /var/log/corosync/corosync.log #Aqui estou desabilitando os logs para o syslog, pq senão zoa
demais o
arquivo to_syslog: no syslog_facility: daemon debug: off timestamp: on logger_subsys { subsys: AMF debug: off tags: enter|leave|trace1|trace2|trace3|trace4|trace6 }
[root@urano1 ~]# ls /etc/drbd.d global_common.conf http.res mysql.res
[root@urano1 ~]# cat /etc/drbd.d/http.res resource http { on urano1{ device /dev/drbd1; disk /dev/vg_urano1/lv_web; address 192.168.0.181:7789; meta-disk internal; }
on urano2{ device /dev/drbd1; disk /dev/vg_urano2/lv_web; address 192.168.0.182:7789; meta-disk internal; } }
[root@urano1 ~]# cat /etc/drbd.d/mysql.res resource mysql { on urano1{ device /dev/drbd0; disk /dev/vg_urano1/lv_mysql; address 192.168.0.181:7790; meta-disk internal; }
on urano2{ device /dev/drbd0; disk /dev/vg_urano2/lv_mysql; address 192.168.0.182:7790; meta-disk internal; } }
[root@urano1 ~]# lvs LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert lv_home vg_urano1 -wi-ao--- 4,88g lv_mysql vg_urano1 -wi-ao--- 4,88g lv_root vg_urano1 -wi-ao--- 4,88g lv_swap vg_urano1 -wi-ao--- 3,94g lv_usr vg_urano1 -wi-ao--- 4,88g lv_var vg_urano1 -wi-ao--- 4,88g lv_web vg_urano1 -wi-ao--- 4,88g
[root@urano1 ~]# crm configure show node urano1 \ attributes standby="off" node urano2 \ attributes standby="off" primitive Failover ocf:heartbeat:IPaddr2 \ params ip="192.168.0.200" cidr_netmask="24" nic="eth0" \ op monitor interval="10s" primitive Httpd lsb:httpd primitive MysqlData ocf:linbit:drbd \ params drbd_resource="mysql" \ op monitor interval="60s" primitive MysqlFS ocf:heartbeat:Filesystem \ params device="/dev/drbd0" directory="/var/lib/mysql"
fstype="ext4"
primitive Mysqld lsb:mysqld primitive Vsftpd lsb:vsftpd primitive WebData ocf:linbit:drbd \ params drbd_resource="http" \ op monitor interval="60s" primitive WebFS ocf:heartbeat:Filesystem \ params device="/dev/drbd1" directory="/var/www/html"
fstype="ext4"
ms MysqlDataClone MysqlData \ meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" ms WebDataClone WebData \ meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" location cli-prefer-Httpd Httpd \ rule $id="cli-prefer-rule-Httpd" inf: #uname eq urano1 location cli-prefer-Mysqld Mysqld \ rule $id="cli-prefer-rule-Mysqld" inf: #uname eq urano1 location cli-prefer-Vsftpd Vsftpd \ rule $id="cli-prefer-rule-Vsftpd" inf: #uname eq urano1 colocation Htpd-with-WebFS inf: Httpd WebFS colocation Mysqld-with-MysqlFS inf: Mysqld MysqlFS colocation fs_on_drbd inf: MysqlFS MysqlDataClone:Master colocation fs_on_drbd1 inf: WebFS WebDataClone:Master colocation website-with-ip inf: Httpd Failover order Httpd-after-WebFS inf: WebFS Httpd order MysqlFS-after-MysqlData inf: MysqlDataClone:promote MysqlFS:start order Mysqld-after-MysqlFS inf: MysqlFS Mysqld order WebFS-after-WebData inf: WebDataClone:promote
WebFS:start
order httpd-after-ip inf: Failover Httpd property $id="cib-bootstrap-options" \ dc-version="1.1.9-2.2-2db99f1" \ cluster-infrastructure="classic openais (with plugin)" \ expected-quorum-votes="2" \ stonith-enabled="false" \ no-quorum-policy="ignore"
[root@urano1 ~]# crm_mon -1 Last updated: Fri Sep 6 08:13:19 2013 Last change: Fri Sep 6 07:44:54 2013 via crm_attribute on
urano1
Stack: classic openais (with plugin) Current DC: urano2 - partition with quorum Version: 1.1.9-2.2-2db99f1 2 Nodes configured, 2 expected votes 10 Resources configured.
Online: [ urano1 urano2 ]
Failover (ocf::heartbeat:IPaddr2): Started urano1 Httpd (lsb:httpd): Started urano1 Mysqld (lsb:mysqld): Started urano1 Vsftpd (lsb:vsftpd): Started urano1 Master/Slave Set: MysqlDataClone [MysqlData] Masters: [ urano1 ] Slaves: [ urano2 ] MysqlFS (ocf::heartbeat:Filesystem): Started urano1 Master/Slave Set: WebDataClone [WebData] Masters: [ urano1 ] Slaves: [ urano2 ] WebFS (ocf::heartbeat:Filesystem): Started urano1
[root@urano1 ~]# cat /proc/drbd version: 8.3.15 (api:88/proto:86-97) GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by phil@Build64R6, 2012-12-20 20:09:51 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C
r-----
ns:372 nr:316 dw:688 dr:4109 al:0 bm:7 lo:0 pe:0 ua:0 ap:0
ep:1
wo:f
oos:0 1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C
r-----
ns:104 nr:180 dw:284 dr:792 al:0 bm:4 lo:0 pe:0 ua:0 ap:0 ep:1
wo:f
oos:0
Tudo funcionando redondinho...Agradeço muito a sua ajuda
Antônio.
Você
foi peça chave para eu conseguir fazer essa configuração.
Muito
obrigado mesmo. E muito obrigado a comunidade também que
também me
ajudou muito!
Fica a dica ai para quem quiser fazer cluster no CentOS.
Funciona,
tem
que ralar um pouco mais funciona!
Hehe :)
> Date: Fri, 6 Sep 2013 07:46:50 -0300 > From: asmartins@uem.br > To: centos-pt-br@centos.org > Subject: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda.. > > > ----- "CássioElias ." cassioelias@hotmail.com escreveu: > > > De: "CássioElias ." cassioelias@hotmail.com > > Para: "Lista de Discussão CentOS-BR"
> > Enviadas: Quinta-feira, 5 de Setembro de 2013 17:12:49
(GMT-0300)
Auto-Detected > > Assunto: Re: [CentOS-pt-br] Cluster no CentOS. Ajuda.. > > > > Certo...entendido.. > > > > > > Outra pergunta. Mas para o pacemaker entender isso, eu
terei
que
> > configura-lo ou ele entende isso por padrão? > > > > Olá Cássio, > > Você tem que configurar o Pacemaker, da mesma forma que faz
para
o
> Apache/MySQL/IPAddr2 são recursos. Você vai configurar um
recurso
DRBD, > tem OCF::Resource para isso também (é preferivel a usar o
lsb,
como
você > fez com o Apache). > > De uma olhada aqui: http://www.drbd.org/users-guide-8.3/ch-pacemaker.html > > E por falar em documentação! Você deveria ler a documentação
do
Pacemaker e > do DRBD toda, e não ficar atrás de receita de bolo (HowTo).
:D
Tem
muita coisa > que a turma faz errado nestes HowTos, a principal é instalar
a
partir dos fontes > quando existem pacotes nos repositórios! Se é para usar
fonte,
use
Slackware! > > Att., > > Antonio. > > -- > Antonio da Silva Martins Jr. > Analista de Suporte > NPD - Núcleo de Processamento de Dados > UEM - Universidade Estadual de Maringá > email: asmartins@uem.br > fone: +55 (44) 3011-4015 / 3011-4411 > inoc-dba: 263076*100 > > "Real Programmers don’t need comments — the code is
obvious."
> > -- > Esta mensagem foi verificada pelo sistema de antivirus e > acredita-se estar livre de perigo. > > _______________________________________________ > CentOS-pt-br mailing list > CentOS-pt-br@centos.org > http://lists.centos.org/mailman/listinfo/centos-pt-br
-- Esta mensagem foi verificada pelo sistema de antivírus e acredita-se estar livre de perigo. _______________________________________________ CentOS-pt-br mailing list CentOS-pt-br@centos.org http://lists.centos.org/mailman/listinfo/centos-pt-br
-- Antonio da Silva Martins Jr. Analista de Suporte NPD - Núcleo de Processamento de Dados UEM - Universidade Estadual de Maringá email: asmartins@uem.br fone: +55 (44) 3011-4015 / 3011-4411 inoc-dba: 263076*100
"Real Programmers don’t need comments — the code is obvious."
-- Esta mensagem foi verificada pelo sistema de antivirus e acredita-se estar livre de perigo.
CentOS-pt-br mailing list CentOS-pt-br@centos.org http://lists.centos.org/mailman/listinfo/centos-pt-br
-- Esta mensagem foi verificada pelo sistema de antivírus e acredita-se estar livre de perigo. _______________________________________________ CentOS-pt-br mailing list CentOS-pt-br@centos.org http://lists.centos.org/mailman/listinfo/centos-pt-br
-- Antonio da Silva Martins Jr. Analista de Suporte NPD - Núcleo de Processamento de Dados UEM - Universidade Estadual de Maringá email: asmartins@uem.br fone: +55 (44) 3011-4015 / 3011-4411 inoc-dba: 263076*100
"Real Programmers don’t need comments — the code is obvious."
-- Esta mensagem foi verificada pelo sistema de antivirus e acredita-se estar livre de perigo.
CentOS-pt-br mailing list CentOS-pt-br@centos.org http://lists.centos.org/mailman/listinfo/centos-pt-br
-- Esta mensagem foi verificada pelo sistema de antivírus e acredita-se estar livre de perigo. _______________________________________________ CentOS-pt-br mailing list CentOS-pt-br@centos.org http://lists.centos.org/mailman/listinfo/centos-pt-br
-- Antonio da Silva Martins Jr. Analista de Suporte NPD - Núcleo de Processamento de Dados UEM - Universidade Estadual de Maringá email: asmartins@uem.br fone: +55 (44) 3011-4015 / 3011-4411 inoc-dba: 263076*100
"Real Programmers don’t need comments — the code is obvious."-- Esta mensagem foi verificada pelo sistema de antivirus e acredita-se estar livre de perigo.
CentOS-pt-br mailing list CentOS-pt-br@centos.org http://lists.centos.org/mailman/listinfo/centos-pt-br