<div dir="ltr">Thank you very much guys for your quick response and solving the issue!</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 12, 2019 at 11:17 AM Vipul Siddharth <<a href="mailto:vipul@redhat.com">vipul@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Thu, Dec 12, 2019 at 3:34 PM Jaime Melis <<a href="mailto:jmelis@redhat.com" target="_blank">jmelis@redhat.com</a>> wrote:<br>
><br>
> Hi Vipul,<br>
><br>
> I ended up killing the jobs manually because they were taking very long.<br>
><br>
> Can you re-enable the slave now?<br>
Done :)<br>
><br>
> Thanks a lot for the swift support Vipul.<br>
I am glad this was done with not a lot of delay :)<br>
><br>
> Cheers,<br>
> Jaime<br>
><br>
> On Thu, 12 Dec 2019 at 10:39, Vipul Siddharth <<a href="mailto:vipul@redhat.com" target="_blank">vipul@redhat.com</a>> wrote:<br>
> ><br>
> > On Thu, Dec 12, 2019 at 3:06 PM Jaime Melis <<a href="mailto:jmelis@redhat.com" target="_blank">jmelis@redhat.com</a>> wrote:<br>
> > ><br>
> > > Hi Vipul,<br>
> > ><br>
> > > The backup is done, can you please put the slave in maintenance mode?<br>
> > Done<br>
> > Please let me know once you are done cleaning the workspace.<br>
> > Once again, thank you for stepping in for this.<br>
> > ><br>
> > > On Thu, 12 Dec 2019 at 10:14, Vipul Siddharth <<a href="mailto:vipul@redhat.com" target="_blank">vipul@redhat.com</a>> wrote:<br>
> > > ><br>
> > > > On Thu, Dec 12, 2019 at 2:40 PM Jaime Melis <<a href="mailto:jmelis@redhat.com" target="_blank">jmelis@redhat.com</a>> wrote:<br>
> > > > ><br>
> > > > > I'm backing it up manually, so no need for step 2.<br>
> > > > ><br>
> > > > > Can I ping you once the backup is done so you can put the slave in<br>
> > > > > maintenance mode?<br>
> > > > yes<br>
> > > > please do :)<br>
> > > > ><br>
> > > > ><br>
> > > > > On Thu, 12 Dec 2019 at 10:05, Vipul Siddharth <<a href="mailto:vipul@redhat.com" target="_blank">vipul@redhat.com</a>> wrote:<br>
> > > > > ><br>
> > > > > > On Thu, Dec 12, 2019 at 2:32 PM Jaime Melis <<a href="mailto:jmelis@redhat.com" target="_blank">jmelis@redhat.com</a>> wrote:<br>
> > > > > > ><br>
> > > > > > > Hi Vipul,<br>
> > > > > > ><br>
> > > > > > > The slave is full. Basically too many workspaces with a fair amount of<br>
> > > > > > > data in them:<br>
> > > > > > ><br>
> > > > > > > 15.5 GiB /workspace<br>
> > > > > > ><br>
> > > > > > > And these are the top 10 dirs under /workspace:<br>
> > > > > > ><br>
> > > > > > > 547.9 MiB /devtools-openshift-jenkins-s2i-config-fabric8-push-prcheck@2<br>
> > > > > > > 547.3 MiB /devtools-openshift-jenkins-s2i-config-fabric8-push-prcheck<br>
> > > > > > > 464.2 MiB /devtools-kubernetes-model@2<br>
> > > > > > > 460.9 MiB /devtools-kubernetes-model-fabric8-push-build-master<br>
> > > > > > > 422.0 MiB /devtools-openshift-jenkins-s2i-config-fabric8-push-build-master<br>
> > > > > > > 362.3 MiB /devtools-kubernetes-client-fabric8-push-build-master<br>
> > > > > > > 241.8 MiB /devtools-kubernetes-client-fabric8-push-prcheck@4<br>
> > > > > > > 236.0 MiB /devtools-kubernetes-client-fabric8-push-prcheck@6<br>
> > > > > > > 236.0 MiB /devtools-kubernetes-client-fabric8-push-prcheck@5<br>
> > > > > > > 206.5 MiB /devtools-contract-test-consumer-fabric8-wit-fabric8-auth<br>
> > > > > > ><br>
> > > > > > > So, I would propose to delete all those, in order to do that I would<br>
> > > > > > > like to request the following:<br>
> > > > > > ><br>
> > > > > > > 1. put the slave in maintenance mode<br>
> > > > > > > 2. take snapshot of the slave's disk<br>
> > > > > > > 3. we will delete all the workspaces<br>
> > > > > > > 4. re-enable the slave node<br>
> > > > > > ><br>
> > > > > > > Can you do 1, 2 and 4, and coordinate with me to do 3?<br>
> > > > > > Thank you Jaime for the help,<br>
> > > > > > I am looking into it<br>
> > > > > > Appreciate your help<br>
> > > > > > ><br>
> > > > > > > Thanks,<br>
> > > > > > > Jaime<br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > > On Thu, 12 Dec 2019 at 09:41, Vipul Siddharth <<a href="mailto:vipul@redhat.com" target="_blank">vipul@redhat.com</a>> wrote:<br>
> > > > > > > ><br>
> > > > > > > > The Jenkins master has good space left, it could be that the slave<br>
> > > > > > > > node itself is full.<br>
> > > > > > > > Can you please share the build link?<br>
> > > > > > > ><br>
> > > > > > > > On Thu, Dec 12, 2019 at 1:53 PM Katerina Foniok <<a href="mailto:kkanova@redhat.com" target="_blank">kkanova@redhat.com</a>> wrote:<br>
> > > > > > > > ><br>
> > > > > > > > > Hello guys,<br>
> > > > > > > > ><br>
> > > > > > > > > from yesterday evening we are experiencing failures in our jobs on <a href="http://ci.centos.org" rel="noreferrer" target="_blank">ci.centos.org</a> saying No space left on device. It's blocking our PR checks.<br>
> > > > > > > > ><br>
> > > > > > > > > Could you please take a look at what's happening there? Thank you!<br>
> > > > > > > > ><br>
> > > > > > > > > Have a nice day,<br>
> > > > > > > > > Katka<br>
> > > > > > > > > _______________________________________________<br>
> > > > > > > > > Ci-users mailing list<br>
> > > > > > > > > <a href="mailto:Ci-users@centos.org" target="_blank">Ci-users@centos.org</a><br>
> > > > > > > > > <a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
> > > > > > > ><br>
> > > > > > > ><br>
> > > > > > > ><br>
> > > > > > > > --<br>
> > > > > > > > Vipul Siddharth<br>
> > > > > > > > He/His/Him<br>
> > > > > > > > Fedora | CentOS CI Infrastructure Team<br>
> > > > > > > > Red Hat<br>
> > > > > > > > w: <a href="http://vipul.dev" rel="noreferrer" target="_blank">vipul.dev</a><br>
> > > > > > > ><br>
> > > > > > > > _______________________________________________<br>
> > > > > > > > Ci-users mailing list<br>
> > > > > > > > <a href="mailto:Ci-users@centos.org" target="_blank">Ci-users@centos.org</a><br>
> > > > > > > > <a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
> > > > > > > ><br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > > --<br>
> > > > > > > Jaime Melis<br>
> > > > > > > Application SRE team, Service Delivery<br>
> > > > > > > Red Hat<br>
> > > > > > > <a href="mailto:jmelis@redhat.com" target="_blank">jmelis@redhat.com</a><br>
> > > > > > ><br>
> > > > > ><br>
> > > > > ><br>
> > > > > > --<br>
> > > > > > Vipul Siddharth<br>
> > > > > > He/His/Him<br>
> > > > > > Fedora | CentOS CI Infrastructure Team<br>
> > > > > > Red Hat<br>
> > > > > > w: <a href="http://vipul.dev" rel="noreferrer" target="_blank">vipul.dev</a><br>
> > > > > ><br>
> > > > ><br>
> > > > ><br>
> > > > > --<br>
> > > > > Jaime Melis<br>
> > > > > Application SRE team, Service Delivery<br>
> > > > > Red Hat<br>
> > > > > <a href="mailto:jmelis@redhat.com" target="_blank">jmelis@redhat.com</a><br>
> > > > ><br>
> > > ><br>
> > > ><br>
> > > > --<br>
> > > > Vipul Siddharth<br>
> > > > He/His/Him<br>
> > > > Fedora | CentOS CI Infrastructure Team<br>
> > > > Red Hat<br>
> > > > w: <a href="http://vipul.dev" rel="noreferrer" target="_blank">vipul.dev</a><br>
> > > ><br>
> > ><br>
> > ><br>
> > > --<br>
> > > Jaime Melis<br>
> > > Application SRE team, Service Delivery<br>
> > > Red Hat<br>
> > > <a href="mailto:jmelis@redhat.com" target="_blank">jmelis@redhat.com</a><br>
> > ><br>
> ><br>
> ><br>
> > --<br>
> > Vipul Siddharth<br>
> > He/His/Him<br>
> > Fedora | CentOS CI Infrastructure Team<br>
> > Red Hat<br>
> > w: <a href="http://vipul.dev" rel="noreferrer" target="_blank">vipul.dev</a><br>
> ><br>
><br>
><br>
> --<br>
> Jaime Melis<br>
> Application SRE team, Service Delivery<br>
> Red Hat<br>
> <a href="mailto:jmelis@redhat.com" target="_blank">jmelis@redhat.com</a><br>
><br>
<br>
<br>
-- <br>
Vipul Siddharth<br>
He/His/Him<br>
Fedora | CentOS CI Infrastructure Team<br>
Red Hat<br>
w: <a href="http://vipul.dev" rel="noreferrer" target="_blank">vipul.dev</a><br>
<br>
</blockquote></div>