<div dir="ltr">Hi KB,<div><br></div><div>In the future our team would like to help with Jenkins maintenance and issues.  This is something I have spoken about with Brian.</div><div>Let me know if this is an option you would like to pursue in the near term.</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jun 14, 2017 at 12:20 PM, Karanbir Singh <span dir="ltr"><<a href="mailto:kbsingh@centos.org" target="_blank">kbsingh@centos.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
<br>
On 14/06/17 10:51, Karanbir Singh wrote:<br>
><br>
><br>
> On 14/06/17 08:18, Daniel Horák wrote:<br>
>> Hi Brian,<br>
>> I see lots of slaves offline, is it connected to the yesterday's outage<br>
>> or is it different issue?<br>
>><br>
>> Thanks,<br>
>> Daniel<br>
>><br>
>> On 06/13/17 19:57, Brian Stinson wrote:<br>
>>> Hi Folks,<br>
>>><br>
>>> Jenkins was leaking file descriptors and hit a limit today at 17:00 UTC,<br>
>>> service was degraded for about 10 minutes, and service was fully<br>
>>> restored at around 17:24.<br>
>>><br>
>>> I've increased the open-files limit for jenkins and am working on tuning<br>
>>> the garbage collector to mitigate this in the future.<br>
>>><br>
>>> Thanks for your patience, and apologies for any inconvenience.<br>
>>><br>
><br>
> I noticed a lot of slaves were down, and was pointed to this by a few<br>
> people - on <a href="http://chat.openshift.io" rel="noreferrer" target="_blank">chat.openshift.io</a> and irc.freenode : on investigation it<br>
> looked like jenkins master had exhausted ram and other jobs on the<br>
> machine were killing the cpu with loads upto 50.x; I had to restart the<br>
> jenkins master to bring services back.<br>
><br>
> once Brian is online, he will likely do a more through investigation and<br>
> get back with details.<br>
><br>
<br>
</span>service went down again a few minutes back, I have restarted jenkins and<br>
its up again.<br>
<br>
Brian is on a long haul flight out of the US at the moment, I will try<br>
and keep an eye on things, but were going to need him to look when he can<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
--<br>
Karanbir Singh, Project Lead, The CentOS Project<br>
<a href="tel:%2B44-207-0999389" value="+442070999389">+44-207-0999389</a> | <a href="http://www.centos.org/" rel="noreferrer" target="_blank">http://www.centos.org/</a> | <a href="http://twitter.com/CentOS" rel="noreferrer" target="_blank">twitter.com/CentOS</a><br>
GnuPG Key : <a href="http://www.karan.org/publickey.asc" rel="noreferrer" target="_blank">http://www.karan.org/<wbr>publickey.asc</a><br>
<br>
</div></div><br>______________________________<wbr>_________________<br>
Ci-users mailing list<br>
<a href="mailto:Ci-users@centos.org">Ci-users@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/<wbr>mailman/listinfo/ci-users</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">-== @ri ==-</div></div>
</div>