<div dir="ltr"><div><div>Hello.<br></div>I'm sending you the list of the jobs that we've seen the failures on and specific build IDs as well.<br><br></div><div>Jobs:<br><a href="https://ci.centos.org/job/devtools-rh-che-periodic-prod-2/">https://ci.centos.org/job/devtools-rh-che-periodic-prod-2/</a><br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/</a><br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-1a/">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-1a/</a><br></div><div><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-1b/">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-1b/</a></div><div><a href="https://ci.centos.org/job/devtools-rh-che-periodic-prod-preview-2a/">https://ci.centos.org/job/devtools-rh-che-periodic-prod-preview-2a/</a></div><div><br></div><div>Builds that failed with various dirty node related errors:<br></div><div>cluster production-2:<br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2/1861/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2/1861/console</a></div><div>cluster production-2a:<br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1962/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1962/console</a><br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1949/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1949/console</a><br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1945/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1945/console</a><br></div><div><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1944/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1944/console</a><br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1943/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1943/console</a><br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1935/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1935/console</a><br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1638/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-2aProd/1638/console</a><br>cluster production-1a:<br></div><div>cluster production-1b:<br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-1b/1943/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-1b/1943/console</a><br><a href="https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-1b/1929/console">https://ci.centos.org/view/Devtools/job/devtools-rh-che-periodic-prod-1b/1929/console</a></div><div>cluster prod-preview-2a:<br><a href="https://ci.centos.org/job/devtools-rh-che-periodic-prod-preview-2a/2147/console">https://ci.centos.org/job/devtools-rh-che-periodic-prod-preview-2a/2147/console</a><br><a href="https://ci.centos.org/job/devtools-rh-che-periodic-prod-preview-2a/2142/console">https://ci.centos.org/job/devtools-rh-che-periodic-prod-preview-2a/2142/console</a></div><div><br></div><div>These are just examples. I hope it will be useful for you.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jan 24, 2020 at 10:55 AM Vipul Siddharth <<a href="mailto:vipul@redhat.com">vipul@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 24 Jan, 2020, 10:50 am Tibor Dancs, <<a href="mailto:tdancs@redhat.com" target="_blank">tdancs@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hello.</div><div><br></div><div>Do you want specific job builds as well or only the job IDs?<br></div></div></blockquote></div></div><div dir="auto">Anything would do</div><div dir="auto">The former would save me some time but not a problem at all</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jan 23, 2020 at 9:14 AM Vipul Siddharth <<a href="mailto:vipul@redhat.com" rel="noreferrer" target="_blank">vipul@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Thu, Jan 23, 2020 at 12:23 PM Katerina Foniok <<a href="mailto:kkanova@redhat.com" rel="noreferrer" target="_blank">kkanova@redhat.com</a>> wrote:<br>
><br>
> Hello,<br>
> we are still facing this problem on  devtools-ci-slave04. Our job is failing on conflicts during the installation of the dependencies of our project.<br>
yes, since I have been travelling for DevConf, I couldn't keep a watch<br>
on marking affected nodes in admin down state<br>
<br>
@Katerina Foniok, When you get time, could you please send me the job<br>
ids failing because of this issue?<br>
It would help me tracking down the nodes (also conforming if the issue<br>
is with other chassis as well)<br>
><br>
> Thank you for taking care of that.<br>
> Have a nice day!<br>
><br>
> Katka<br>
><br>
> On Mon, Jan 20, 2020 at 10:28 PM František Šumšal <<a href="mailto:frantisek@sumsal.cz" rel="noreferrer" target="_blank">frantisek@sumsal.cz</a>> wrote:<br>
>><br>
>><br>
>> On 1/20/20 10:12 PM, Vipul Siddharth wrote:<br>
>> > so the issue is another one of the reinstallation problems where it<br>
>> > rolls back to the previous version.<br>
>> > In +Katerina Foniok's case, it contained old data<br>
>> > and in +František Šumšal's case, it was not actually a C8 node but a<br>
>> > C7 marked wrongly.<br>
>> > The solution is to confirm twice (after installing the OS) in duffy..<br>
>> > and the way we think that would be very easy to implement would be to<br>
>> > check number of ssh key in authorized_keys. If it contains more in<br>
>> > ready state, that means it still has old data and instead of ready,<br>
>> > put it in some other state which I can take a look at later on.<br>
>> > This would be a quick fix but till then, I will drain the pufty<br>
>> > chassis (this is one with problems)<br>
>> > and reset the chassis (this has fixed the problem in the past so far)<br>
>> ><br>
>><br>
>> Thank you very much for your analysis and prompt solution!<br>
>><br>
>> --<br>
>> PGP Key ID: 0xFB738CE27B634E4B<br>
>><br>
<br>
--<br>
Vipul Siddharth<br>
He/His/Him<br>
Fedora | CentOS CI Infrastructure Team<br>
Red Hat<br>
w: <a href="http://vipul.dev" rel="noreferrer noreferrer" target="_blank">vipul.dev</a><br>
<br>
_______________________________________________<br>
CI-users mailing list<br>
<a href="mailto:CI-users@centos.org" rel="noreferrer" target="_blank">CI-users@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
</blockquote></div>
_______________________________________________<br>
CI-users mailing list<br>
<a href="mailto:CI-users@centos.org" rel="noreferrer" target="_blank">CI-users@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
</blockquote></div></div></div>
_______________________________________________<br>
CI-users mailing list<br>
<a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
</blockquote></div>