<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
/* Font Definitions */
@font-face
{font-family:Wingdings;
panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
{font-family:Wingdings;
panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
{font-family:"Arial CYR";}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
{mso-style-priority:99;
mso-style-link:"Balloon Text Char";
margin:0cm;
margin-bottom:.0001pt;
font-size:8.0pt;
font-family:"Tahoma","sans-serif";}
span.BalloonTextChar
{mso-style-name:"Balloon Text Char";
mso-style-priority:99;
mso-style-link:"Balloon Text";
font-family:"Tahoma","sans-serif";}
span.EmailStyle19
{mso-style-type:personal;
font-family:"Calibri","sans-serif";
color:windowtext;}
span.EmailStyle20
{mso-style-type:personal-reply;
font-family:"Calibri","sans-serif";
color:#1F497D;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
{page:WordSection1;}
-->
</style>
<!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang=EN-NZ link=blue vlink=purple>
<div class=WordSection1>
<p class=MsoNormal><span style='color:#1F497D'>Hi.<o:p></o:p></span></p>
<p class=MsoNormal><span style='color:#1F497D'>No worries it was a firewall
issue. Not quite as bad as I though </span><span style='font-family:Wingdings;
color:#1F497D'>J</span><span style='color:#1F497D'> .<o:p></o:p></span></p>
<p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p>
<p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p>
<div>
<p class=MsoNormal style='mso-margin-top-alt:5.0pt;margin-right:0cm;margin-bottom:
7.5pt;margin-left:0cm;text-autospace:none'><b><span style='font-family:"Arial CYR","sans-serif";
color:#003366'>Greg Machin</span></b><span style='font-size:9.0pt;font-family:
"Arial CYR","sans-serif";color:#008C9A'><br>
</span><b><span style='font-size:10.0pt;font-family:"Arial CYR","sans-serif";
color:#008C9A'>Systems Administrator - Linux</span></b><span style='font-size:
9.0pt;font-family:"Arial CYR","sans-serif";color:#008C9A'><br>
Infrastructure Group, Information Services<o:p></o:p></span></p>
</div>
<p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p>
<div>
<div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'>
<p class=MsoNormal><b><span lang=EN-US style='font-size:10.0pt;font-family:
"Tahoma","sans-serif"'>From:</span></b><span lang=EN-US style='font-size:10.0pt;
font-family:"Tahoma","sans-serif"'> centos-bounces@centos.org
[mailto:centos-bounces@centos.org] <b>On Behalf Of </b>Machin, Greg<br>
<b>Sent:</b> Monday, 28 February 2011 9:33 a.m.<br>
<b>To:</b> CentOS mailing list<br>
<b>Subject:</b> [CentOS] Recover botched drdb gfs2 setup .<o:p></o:p></span></p>
</div>
</div>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Hi.<o:p></o:p></p>
<p class=MsoNormal>The short story... Rush job, never done clustered file
systems before, vlan didn’t support multicast. Thus I ended up with drbd
working ok between the two servers but cman / gfs2 not working, resulting in
what was meant to be a drbd primary/primary cluster being a primary/secondary
cluster until the vlan could be fixed with gfs only mounted on the one server.
I got the single server working and left to for the contractor to do there bit.
Two months down the line and a few other hiccups in the mix I have a server
that wont mount the gfs partition.. assuming that drbd hasn’t gotten confused
and lost the data on the drive..<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>If I can how do I fix this.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Drbd is currently as follows: <o:p></o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]# drbd-overview<o:p></o:p></p>
<p class=MsoNormal> 1:r0 WFConnection Primary/Unknown
UpToDate/DUnknown C r----<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Cman:<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]# /etc/init.d/cman status<o:p></o:p></p>
<p class=MsoNormal>groupd is stopped <o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>gfs2 mount<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]# ./gfsmount.sh start<o:p></o:p></p>
<p class=MsoNormal>Mounting gfs2 partition<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: can't connect to gfs_controld: Connection
refused<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: gfs_controld not running<o:p></o:p></p>
<p class=MsoNormal>/sbin/mount.gfs2: error mounting lockproto lock_dlm<o:p></o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]#<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>And log/messages<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Feb 28 09:20:39 mcvpsam01 openais[3328]: [TOTEM] The
consensus timeout expired.<o:p></o:p></p>
<p class=MsoNormal>Feb 28 09:20:39 mcvpsam01 openais[3328]: [TOTEM] entering
GATHER state from 3.<o:p></o:p></p>
<p class=MsoNormal>Feb 28 09:20:54 mcvpsam01 openais[3328]: [TOTEM] The
consensus timeout expired.<o:p></o:p></p>
<p class=MsoNormal>Feb 28 09:20:54 mcvpsam01 openais[3328]: [TOTEM] entering
GATHER state from 3.<o:p></o:p></p>
<p class=MsoNormal>Feb 28 09:21:09 mcvpsam01 openais[3328]: [TOTEM] The
consensus timeout expired.<o:p></o:p></p>
<p class=MsoNormal>Feb 28 09:21:09 mcvpsam01 openais[3328]: [TOTEM] entering
GATHER state from 3.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>cluster.conf<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]# cat /etc/cluster/cluster.conf<o:p></o:p></p>
<p class=MsoNormal><?xml version="1.0"?><o:p></o:p></p>
<p class=MsoNormal><cluster alias="cluster-setup"
config_version="1" name="cluster-setup"><o:p></o:p></p>
<p class=MsoNormal> <rm log_level="4"/><o:p></o:p></p>
<p class=MsoNormal> <fence_daemon clean_start="1"
post_fail_delay="0" post_join_delay="3"/><o:p></o:p></p>
<p class=MsoNormal> <clusternodes><o:p></o:p></p>
<p class=MsoNormal> <clusternode
name="mcvpsam01" nodeid="1" votes="1"><o:p></o:p></p>
<p class=MsoNormal> <fence><o:p></o:p></p>
<p class=MsoNormal> <method
name="2"><o:p></o:p></p>
<p class=MsoNormal>
<device name="LastResortNode01"/><o:p></o:p></p>
<p class=MsoNormal> </method><o:p></o:p></p>
<p class=MsoNormal> </fence><o:p></o:p></p>
<p class=MsoNormal> </clusternode><o:p></o:p></p>
<p class=MsoNormal> <clusternode
name="drvpsam01" nodeid="2" votes="1"><o:p></o:p></p>
<p class=MsoNormal> <fence><o:p></o:p></p>
<p class=MsoNormal> <method
name="2"><o:p></o:p></p>
<p class=MsoNormal>
<device name="LastResortNode02"/><o:p></o:p></p>
<p class=MsoNormal> </method><o:p></o:p></p>
<p class=MsoNormal> </fence><o:p></o:p></p>
<p class=MsoNormal> </clusternode><o:p></o:p></p>
<p class=MsoNormal> </clusternodes><o:p></o:p></p>
<p class=MsoNormal> <cman expected_votes="1"
two_node="1"/><o:p></o:p></p>
<p class=MsoNormal> <fencedevices><o:p></o:p></p>
<p class=MsoNormal> <fencedevice
agent="fence_manual" name="LastResortNode01"
nodename="mcvpsam01"/><o:p></o:p></p>
<p class=MsoNormal> <fencedevice
agent="fence_manual" name="LastResortNode02"
nodename="drvpsam01"/><o:p></o:p></p>
<p class=MsoNormal> </fencedevices><o:p></o:p></p>
<p class=MsoNormal> <rm/><o:p></o:p></p>
<p class=MsoNormal> <totem consensus="4800"
join="60" token="10000"
token_retransmits_before_loss_const="20"/><o:p></o:p></p>
<p class=MsoNormal></cluster><o:p></o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]#<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Drbd.conf<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]# cat /etc/drbd.conf<o:p></o:p></p>
<p class=MsoNormal>resource r0 {<o:p></o:p></p>
<p class=MsoNormal>protocol C;<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>syncer { rate 1000M; }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>startup {<o:p></o:p></p>
<p class=MsoNormal> wfc-timeout
120;
# wait 2min for other peers<o:p></o:p></p>
<p class=MsoNormal> degr-wfc-timeout
120;
# wait 2min if peer was already<o:p></o:p></p>
<p class=MsoNormal>
# down before this node was rebooted<o:p></o:p></p>
<p class=MsoNormal> become-primary-on both;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>net {<o:p></o:p></p>
<p class=MsoNormal> allow-two-primaries;<o:p></o:p></p>
<p class=MsoNormal># cram-hmac-alg
"sha1";
# algo to enable peer authentication<o:p></o:p></p>
<p class=MsoNormal># shared-secret "123456";<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> # handle split-brain situations<o:p></o:p></p>
<p class=MsoNormal> after-sb-0pri discard-least-changes;# if
no primary auto sync from the<o:p></o:p></p>
<p class=MsoNormal>
# node that touched more blocks during<o:p></o:p></p>
<p class=MsoNormal>
# the split brain situation.<o:p></o:p></p>
<p class=MsoNormal> after-sb-1pri
discard-secondary; # if one primary<o:p></o:p></p>
<p class=MsoNormal> after-sb-2pri
disconnect; # if
two primaries<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> # solve the cases when the outcome<o:p></o:p></p>
<p class=MsoNormal> # of the resync decision is incompatible<o:p></o:p></p>
<p class=MsoNormal> # with the current role assignment in<o:p></o:p></p>
<p class=MsoNormal> # the cluster<o:p></o:p></p>
<p class=MsoNormal> rr-conflict
disconnect;
# no automatic resynchronization<o:p></o:p></p>
<p class=MsoNormal>
# simply disconnect<o:p></o:p></p>
<p class=MsoNormal>}<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>disk {<o:p></o:p></p>
<p class=MsoNormal> on-io-error
detach;
# detach the device from its<o:p></o:p></p>
<p class=MsoNormal>
# backing storage if the driver of<o:p></o:p></p>
<p class=MsoNormal>
# the lower_device reports an error<o:p></o:p></p>
<p class=MsoNormal>
# to DRBD<o:p></o:p></p>
<p class=MsoNormal># fencing resource-and-stonith;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> on mcvpsam01 {<o:p></o:p></p>
<p class=MsoNormal> device
/dev/drbd1;<o:p></o:p></p>
<p class=MsoNormal> disk /dev/sdb1;<o:p></o:p></p>
<p class=MsoNormal> address
202.37.1.133:7789;<o:p></o:p></p>
<p class=MsoNormal> meta-disk
internal;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> on drvpsam01 {<o:p></o:p></p>
<p class=MsoNormal> device
/dev/drbd1;<o:p></o:p></p>
<p class=MsoNormal> disk /dev/sdb1;<o:p></o:p></p>
<p class=MsoNormal> address
202.37.1.134:7789;<o:p></o:p></p>
<p class=MsoNormal> meta-disk
internal;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal>}<o:p></o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]#<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]# cat /etc/drbd.d/global_common.conf<o:p></o:p></p>
<p class=MsoNormal>global {<o:p></o:p></p>
<p class=MsoNormal> usage-count yes;<o:p></o:p></p>
<p class=MsoNormal> # minor-count
dialog-refresh disable-ip-verification<o:p></o:p></p>
<p class=MsoNormal>}<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>common {<o:p></o:p></p>
<p class=MsoNormal> protocol C;<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> handlers {<o:p></o:p></p>
<p class=MsoNormal>
pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh;
/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;
reboot -f";<o:p></o:p></p>
<p class=MsoNormal>
pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh;
/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;
reboot -f";<o:p></o:p></p>
<p class=MsoNormal>
local-io-error "/usr/lib/drbd/notify-io-error.sh;
/usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ;
halt -f";<o:p></o:p></p>
<p class=MsoNormal>
# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";<o:p></o:p></p>
<p class=MsoNormal>
# split-brain "/usr/lib/drbd/notify-split-brain.sh root";<o:p></o:p></p>
<p class=MsoNormal>
# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";<o:p></o:p></p>
<p class=MsoNormal>
# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15
-- -c 16k";<o:p></o:p></p>
<p class=MsoNormal>
# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> startup {<o:p></o:p></p>
<p class=MsoNormal>
# wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> disk {<o:p></o:p></p>
<p class=MsoNormal>
# on-io-error fencing use-bmbv no-disk-barrier no-disk-flushes<o:p></o:p></p>
<p class=MsoNormal>
# no-disk-drain no-md-flushes max-bio-bvecs<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> net {<o:p></o:p></p>
<p class=MsoNormal>
# sndbuf-size rcvbuf-size timeout connect-int ping-int ping-timeout max-buffers<o:p></o:p></p>
<p class=MsoNormal>
# max-epoch-size ko-count allow-two-primaries cram-hmac-alg shared-secret<o:p></o:p></p>
<p class=MsoNormal>
# after-sb-0pri after-sb-1pri after-sb-2pri data-integrity-alg no-tcp-cork<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> syncer {<o:p></o:p></p>
<p class=MsoNormal>
# rate after al-extents use-rle cpu-mask verify-alg csums-alg<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal>}<o:p></o:p></p>
<p class=MsoNormal>[root@mcvpsam01 init.d]#<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Any ideas how I can get the file system mounted to recover
the data.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Thanks<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal style='mso-margin-top-alt:5.0pt;margin-right:0cm;margin-bottom:
7.5pt;margin-left:0cm;text-autospace:none'><b><span style='font-family:"Arial CYR","sans-serif";
color:#003366'>Greg Machin</span></b><span style='font-size:9.0pt;font-family:
"Arial CYR","sans-serif";color:#008C9A'><br>
</span><b><span style='font-size:10.0pt;font-family:"Arial CYR","sans-serif";
color:#008C9A'>Systems Administrator - Linux</span></b><span style='font-size:
9.0pt;font-family:"Arial CYR","sans-serif";color:#008C9A'><br>
Infrastructure Group, Information Services<o:p></o:p></span></p>
<p class=MsoNormal><o:p> </o:p></p>
</div>
</body>
</html>