<div dir="ltr">The outage for the CentOS CI OCP 4 cluster is now over, service has been fully restored with a temporary workaround.<br>                                              <br>We had a hardware failure on the storinator node `storage02`, which provides storage services to our cluster. Logs show some issues with the backplane.<br>                                              <br>As a temporary workaround, we have migrated this storage to an older node (which is out of warranty). We'll have an on-site engineer visit the data center early next week to diagnose the problem affecting the main storinator node. At a future date, once this storinator node is repaired/replaced, we will schedule an outage to migrate our storage back to that device.<br>                                              <br>Tracking ticket [0] has been updated [0]      <br>                                              <br>                                              <br>- [0] <a href="https://pagure.io/centos-infra/issue/353">https://pagure.io/centos-infra/issue/353</a>   </div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 9 Jun 2021 at 17:42, Vipul Siddharth <<a href="mailto:vipul@redhat.com">vipul@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, Jun 8, 2021 at 6:33 PM David Kirwan <<a href="mailto:dkirwan@redhat.com" target="_blank">dkirwan@redhat.com</a>> wrote:<br>
><br>
> Hi ci-users,<br>
><br>
> We're currently suffering an issue with our storage on the CentOS CI OCP 4 cluster, we'll be taking the cluster down for emergency maintenance immediately.<br>
<br>
This problem seems bigger than we had anticipated. So far from our<br>
investigation it seems this is a low level hardware issue that will<br>
need an onsite visit. We may have to go with a server replacement<br>
(from logs this is a symptom of backplane issue or of the<br>
controller's) but hoping onsite visit reveals something like "power<br>
cable not connected properly or low voltage".<br>
<br>
There is no estimated resolution time for this but we will keep the<br>
ticket [0] up to date as we find out.<br>
<br>
[0] <a href="https://pagure.io/centos-infra/issue/353" rel="noreferrer" target="_blank">https://pagure.io/centos-infra/issue/353</a><br>
-- <br>
Vipul Siddharth<br>
He/His/Him<br>
Fedora and CentOS Infrastructure<br>
<br>
_______________________________________________<br>
CI-users mailing list<br>
<a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
<br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><font size="2"><span style="font-family:arial,sans-serif">David Kirwan</span></font></div><div><font size="2"><span style="font-family:arial,sans-serif">Software Engineer<br></span></font></div><div><p style="margin:0px"><font size="2"><span style="font-family:arial,sans-serif"><span style="color:rgb(0,0,0)">Community Platform Engineering @ Red Hat<br></span></span></font></p><font size="2"><span style="font-family:arial,sans-serif"><span style="color:rgb(0,0,0)"></span></span></font><p style="margin:0px 0px 6px"><font size="2"><span style="font-family:arial,sans-serif"><span style="color:rgb(0,0,0)">T: +(353) 86-8624108     <span>IM: <span>@dkirwan</span></span></span></span></font></p></div></div></div></div></div></div></div></div></div></div></div>