<div dir="ltr">Hello,<div>it seems that the `devtools-ci-slave04`  is down again.</div><div>Thank you, have a nice day</div><div>Katka</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 6, 2020 at 9:52 AM Katerina Foniok <<a href="mailto:kkanova@redhat.com">kkanova@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Ah, ok, thank you very much for clarifying!</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 6, 2020 at 9:42 AM Vipul Siddharth <<a href="mailto:vipul@redhat.com" target="_blank">vipul@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, Oct 6, 2020 at 12:50 PM Katerina Foniok <<a href="mailto:kkanova@redhat.com" target="_blank">kkanova@redhat.com</a>> wrote:<br>
><br>
> So, I can see that access to Vault was disabled on purpose, so it probably doesn't relate to the outage. Sorry for the hoax.<br>
><br>
> We also can see this error message in our jobs:<br>
>><br>
>> "msg": "Exceeded maximum allowed fail nodes limit, please release other machines to continue"<br>
><br>
> Example of the job is here.<br>
So when you mark a node fail (usually when the job fails), the node<br>
stays around for 12 hours in case someone wants to check manually on<br>
what went wrong.<br>
Keeping too many nodes in fail state becomes a bottleneck for duffy<br>
pool as it means those nodes can't be reprovisioned for the next round<br>
of jobs (for 12 hours).<br>
We have a limit on how many can be in the fail state.<br>
This is expected and you would have seen it on calling node/fail API<br>
which should ideally be called when the job failed. So error could be<br>
something else<br>
<br>
> Thank you for taking a look,<br>
> Katka<br>
><br>
> On Tue, Oct 6, 2020 at 9:04 AM Katerina Foniok <<a href="mailto:kkanova@redhat.com" target="_blank">kkanova@redhat.com</a>> wrote:<br>
>><br>
>> Thank you, the `devtools-ci-slave04` is running again but it seems that our jobs can not get credentials from the vault now. Can it be related to the outage?<br>
>><br>
>> On Tue, Oct 6, 2020 at 8:43 AM Vipul Siddharth <<a href="mailto:vipul@redhat.com" target="_blank">vipul@redhat.com</a>> wrote:<br>
>>><br>
>>> On Tue, Oct 6, 2020 at 11:40 AM Katerina Foniok <<a href="mailto:kkanova@redhat.com" target="_blank">kkanova@redhat.com</a>> wrote:<br>
>>> ><br>
>>> > Hello guys,<br>
>>> ><br>
>>> > our jobs on <a href="http://ci.centos.org" rel="noreferrer" target="_blank">ci.centos.org</a> are pending because the devtools-ci-slave04 is offline. Can someone take a look, please?<br>
>>> fixed<br>
>>> > One of the affected jobs is here.<br>
>>> > Thank you!<br>
>>> ><br>
>>> > Have a great day,<br>
>>> > Katka<br>
>>> > _______________________________________________<br>
>>> > CI-users mailing list<br>
>>> > <a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
>>> > <a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
>>><br>
>>><br>
>>><br>
>>> --<br>
>>> Vipul Siddharth<br>
>>> He/His/Him<br>
>>> Fedora | CentOS CI Infrastructure Team<br>
>>><br>
>>> _______________________________________________<br>
>>> CI-users mailing list<br>
>>> <a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
>>> <a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
>>><br>
> _______________________________________________<br>
> CI-users mailing list<br>
> <a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
> <a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
<br>
<br>
<br>
-- <br>
Vipul Siddharth<br>
He/His/Him<br>
Fedora | CentOS CI Infrastructure Team<br>
<br>
_______________________________________________<br>
CI-users mailing list<br>
<a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
<br>
</blockquote></div>
</blockquote></div>