<div dir="ltr">Hello! <div></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I understand that the metal machines are expensive, and I'm not sure how many other projects are eventually going to migrate over to them, but I guess in the future some balance will need to be found out between the cost and available metal nodes. Is this even up to a discussion, or the size of the metal pools is given and can't/won't be adjusted?</blockquote><div><br></div><div>We're looking to optimize resource usage with the recent changes to CentOS CI. From our side, the goal is to find a balance between adjusting to tenants' needs (there are adaptations we could do to have more nodes available with an increase in resource consumption) and adjusting projects workflows to use EC2. </div><div><br></div><div>I'd appreciate your suggestions on mitigating how to make workflows more adaptable to EC2. </div><div><br></div><div>Also, how much is this impacting critical deliveries on your side at the moment? My goal here is to understand whether we need a more urgent solution for you before going for deeper discussions. As I understand, we still have some bandwidth to find the best solution we can, as it could become more critical in the future. Is that assumption correct? <br></div><div><br></div><div>Thank you for reaching out about this,</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Aug 19, 2022 at 8:35 AM Evgeni Golov <<a href="mailto:evgeni@redhat.com">evgeni@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Moin,<br>
<br>
On Fri, Aug 19, 2022 at 1:21 PM František Šumšal <<a href="mailto:frantisek@sumsal.cz" target="_blank">frantisek@sumsal.cz</a>> wrote:<br>
<br>
> After a couple of weeks of back and forth with the always helpful infra team I was able to migrate most of our (systemd) jobs over to the EC2 machines. As we require at least an access to KVM (and the EC2 VMs, unfortunately, don't support nested virt), I had to resort to metal machines over the "plain" VMs.<br>
<br>
We (foreman) are in the same boat, our tests spawn multiple VMs, so we<br>
require KVM access (metal or nested, with the latter sadly not<br>
supported by EC2)<br>
<br>
> After monitoring the situation for a couple of days I noticed an issue[0] which might bite us in the future if/when other projects migrate over to the metal machines as well (since several of them require at least KVM too) - Duffy currently provisions only one metal machine at a time, and returns an API error for all other API requests for the same pool in the meantime:<br>
><br>
> can't reserve nodes: quantity=1 pool='metal-ec2-c5n-centos-8s-x86_64'<br>
><br>
> As the provisioning takes a bit, this delay might stack up quite noticeably. For example, after firing up 10 jobs (current project quota) at once, all for the metal pool, the last one got the machine after ~30 minutes - and that's only one project. If/when other projects migrate over to the metal machines as well, this might get quickly out of hand.<br>
<br>
Our tests run up to 8 parallel jobs, so yeah, I can totally see this<br>
being a problem in the longer term for everybody.<br>
<br>
We're currently investigating whether we can change our scheduling and<br>
run multiple jobs on one metal host (it's big enough to host more than<br>
the 3 VMs one job needs), but it doesn't seem too trivial right now.<br>
<br>
Evgeni<br>
<br>
-- <br>
Beste Grüße/Kind regards,<br>
<br>
Evgeni Golov<br>
Senior Software Engineer<br>
________________________________________________________________________<br>
Red Hat GmbH, <a href="https://de.redhat.com/" rel="noreferrer" target="_blank">https://de.redhat.com/</a>, Registered seat: Werner von<br>
Siemens Ring 14, D-85630 Grasbrunn, Germany<br>
Commercial register: Amtsgericht Muenchen/Munich, HRB 153243,<br>
Managing Directors: Ryan Barnhart, Charles Cachera, Michael O'Neill, Amy Ross<br>
<br>
_______________________________________________<br>
CI-users mailing list<br>
<a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-weight:bold;margin:0px;padding:0px;font-size:14px"><span>Camila</span> <span>Granella</span><span style="text-transform:uppercase;color:rgb(170,170,170);margin:0px"></span></p><p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:12px;margin:0px"><span>Associate Manager, Software Engineering</span></p><p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;margin:0px 0px 4px;font-size:12px"><a href="https://www.redhat.com/" style="color:rgb(0,136,206);margin:0px" target="_blank">Red Hat<span></span></a></p><div style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:medium;margin-bottom:4px"></div><div style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:12px;margin-bottom:8px"><div><a href="https://twitter.com/redhat" title="twitter" style="background:url("https://static.redhat.com/libs/redhat/brand-assets/2/social/social-media--twitter--53x53.png") 0px 50%/14px no-repeat transparent;color:rgb(0,0,0);display:inline-block;line-height:20px;padding-left:14px" target="_blank"><span style="margin-left:2px">@Red Hat</span></a>   <a href="https://www.linkedin.com/company/red-hat" title="LinkedIn" style="background:url("https://static.redhat.com/libs/redhat/brand-assets/2/social/social-media--linkedin--53x46.png") 0px 50%/14px no-repeat transparent;color:rgb(0,0,0);display:inline-block;line-height:20px;padding-left:14px;margin:0px 4px 0px 3px;padding-top:1px" target="_blank"><span style="margin-left:4px">Red Hat</span></a>  <a href="https://www.facebook.com/RedHatInc" title="Facebook" style="background:url("https://static.redhat.com/libs/redhat/brand-assets/2/social/social-media--facebook--53x13.png") 0px 50%/9px no-repeat transparent;color:rgb(0,0,0);display:inline-block;line-height:20px;padding-left:12px;padding-top:1px" target="_blank"><span>Red Hat</span></a></div></div><div style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:medium;margin-top:12px"><table border="0"><tbody><tr><td width="100px"><a href="https://www.redhat.com/" target="_blank"><img src="https://static.redhat.com/libs/redhat/brand-assets/2/corp/logo--200.png" width="90" height="auto"></a></td></tr></tbody></table></div></div></div>