<div dir="ltr">Hi all, <div><br></div><div>Earlier today the infra team attempted to bump the amount of metal machines </div><div>available for provisioning on Duffy.</div><div>However, the AWS API returned that currently there is no capacity to provision </div><div>metal machines in the Availability Zone we are currently in (us-east-1a). </div><div>For this reason, we will need to default to the use of EC2. </div><div><br></div><div>Let us know if you need anything from our end to support you adapting your </div><div>workflows to it. </div><div><br></div><div>Regards,</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Aug 22, 2022 at 3:56 PM Vladimir Benes <<a href="mailto:benesv@email.cz">benesv@email.cz</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Mon, 2022-08-22 at 13:59 +0200, František Šumšal wrote:<br>
> <br>
> On 8/22/22 13:28, Fabian Arrotin wrote:<br>
> > On 19/08/2022 15:31, František Šumšal wrote:<br>
> > > Hey,<br>
> > > <br>
> > > On 8/19/22 14:23, Camila Granella wrote:<br>
> > > > Hello!<br>
> > > > <br>
> > > >     I understand that the metal machines are expensive, and I'm<br>
> > > > not sure how many other projects are eventually going to<br>
> > > > migrate over to them, but I guess in the future some balance<br>
> > > > will need to be found out between the cost and available metal<br>
> > > > nodes. Is this even up to a discussion, or the size of the<br>
> > > > metal pools is given and can't/won't be adjusted?<br>
> > > > <br>
> > > > <br>
> > > > We're looking to optimize resource usage with the recent<br>
> > > > changes to CentOS CI. From our side, the goal is to find a<br>
> > > > balance between adjusting to tenants' needs (there are<br>
> > > > adaptations we could do to have more nodes available with an<br>
> > > > increase in resource consumption) and adjusting projects<br>
> > > > workflows to use EC2.<br>
> > > > <br>
> > > > I'd appreciate your suggestions on mitigating how to make<br>
> > > > workflows more adaptable to EC2.<br>
> > > <br>
> > > The main blocker for many projects is that EC2 VMs don't support<br>
> > > nested virtualization, which is really unfortunate, since using<br>
> > > the EC2 metal machines is indeed a "bit" overkill in many<br>
> > > scenarios (ours included). I spent a week playing with various<br>
> > > approaches to avoid this requirement, but failed (in our case it<br>
> > > would be running the VMs with TCG instead of KVM, but that makes<br>
> > > the tests flaky/unreliable in many cases, and some of them run<br>
> > > for several hours with this change).<br>
> > > <br>
> > > Going through many online resources just confirms this - EC2 VMs<br>
> > > don't support nested virt[0], which is sad, since, for example,<br>
> > > Microsoft's Azure apparently supports it[1][2] (and Google's<br>
> > > Compute Engine apparently supports it as well from a quick<br>
> > > lookup).<br>
> > > <br>
> > > I'm not really sure if there's an easy solution for this (if<br>
> > > any). I'm at least trying to spread the workload on the machine<br>
> > > "to the limits" to utilize as much of the metal resources as<br>
> > > possible, which shortens the runtime of each job quite<br>
> > > considerably, but even that's not ideal (resource-wise).<br>
> > > <br>
> > > As I mentioned on IRC, maybe having Duffy changing the pool size<br>
> > > dynamically based on the demand for the past hour or so would<br>
> > > help with the overall balance (to avoid wasting resources in<br>
> > > "quiet periods"), but that's just an idea from top of my head,<br>
> > > I'm not sure how feasible it is or if it even makes sense.<br>
> > > <br>
> > <br>
> > Yes, that was always communicated that default EC2 instances don't<br>
> > support nested virt, as one request a cloud vm, so not an<br>
> > hypervisor :)<br>
> > It's just before migrating to ec2 that we saw it was possible to<br>
> > deploy bare-metal options at AWS side, but with a higher cost<br>
> > (obviousy) than traditional EC2 instances (VMs)<br>
> > <br>
> > Can you explain why you'd need to have an hypervisor instead of VMs<br>
> > ? I guess that troubleshooting comes to mind (`virsh console` to<br>
> > the rescue while it's not even possible with the ec2 instance as<br>
> > VM) ?<br>
> <br>
> The systemd integration test suite builds an image for each test and<br>
> then runs it with both systemd-nspawn and directly with qemu/qemu-<br>
> kvm, since running systemd tests straight on the host is in many<br>
> cases dangerous (and in some cases it wouldn't be feasible at all,<br>
> since we need to test stuff that happens during (early) boot).<br>
> Running only the systemd-nspawn part would be an option, but this way<br>
> we'd lose a significant part of coverage (as with nspawn you can't<br>
> test the full boot process, and some tests don't run in nspawn at<br>
> all, like the systemd-udevd tests and other storage-related stuff).<br>
> <br>
<br>
NetworkManager needs some more power to start qemu machine as we have<br>
tests trying all possible remote root mounts via nfs/iscsi (over, bond,<br>
bridge, vlans, etc, etc) so we have similar requirements as<br>
dracut/systemd for at least a part of our tests. We don't need<br>
something fancy but we at least need to be able to execute a vm inside<br>
the testing machine to simulate the early boot (remote filesystems are<br>
hosted directly from the machine we run tests on). Maybe we can live<br>
with paravirt, we have to experiment a bit. <br>
<br>
Thank you,<br>
Vladimir<br>
<br>
> > <br>
> > <br>
> > <br>
> > _______________________________________________<br>
> > CI-users mailing list<br>
> > <a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
> > <a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
> <br>
> -- <br>
> PGP Key ID: 0xFB738CE27B634E4B<br>
> _______________________________________________<br>
> CI-users mailing list<br>
> <a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
> <a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
<br>
<br>
_______________________________________________<br>
CI-users mailing list<br>
<a href="mailto:CI-users@centos.org" target="_blank">CI-users@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/ci-users" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/ci-users</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-weight:bold;margin:0px;padding:0px;font-size:14px"><span>Camila</span> <span>Granella</span><span style="text-transform:uppercase;color:rgb(170,170,170);margin:0px"></span></p><p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:12px;margin:0px"><span>Associate Manager, Software Engineering</span></p><p style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;margin:0px 0px 4px;font-size:12px"><a href="https://www.redhat.com/" style="color:rgb(0,136,206);margin:0px" target="_blank">Red Hat<span></span></a></p><div style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:medium;margin-bottom:4px"></div><div style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:12px;margin-bottom:8px"><div><a href="https://twitter.com/redhat" title="twitter" style="background:url("https://static.redhat.com/libs/redhat/brand-assets/2/social/social-media--twitter--53x53.png") 0px 50%/14px no-repeat transparent;color:rgb(0,0,0);display:inline-block;line-height:20px;padding-left:14px" target="_blank"><span style="margin-left:2px">@Red Hat</span></a>   <a href="https://www.linkedin.com/company/red-hat" title="LinkedIn" style="background:url("https://static.redhat.com/libs/redhat/brand-assets/2/social/social-media--linkedin--53x46.png") 0px 50%/14px no-repeat transparent;color:rgb(0,0,0);display:inline-block;line-height:20px;padding-left:14px;margin:0px 4px 0px 3px;padding-top:1px" target="_blank"><span style="margin-left:4px">Red Hat</span></a>  <a href="https://www.facebook.com/RedHatInc" title="Facebook" style="background:url("https://static.redhat.com/libs/redhat/brand-assets/2/social/social-media--facebook--53x13.png") 0px 50%/9px no-repeat transparent;color:rgb(0,0,0);display:inline-block;line-height:20px;padding-left:12px;padding-top:1px" target="_blank"><span>Red Hat</span></a></div></div><div style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:medium;margin-top:12px"><table border="0"><tbody><tr><td width="100px"><a href="https://www.redhat.com/" target="_blank"><img src="https://static.redhat.com/libs/redhat/brand-assets/2/corp/logo--200.png" width="90" height="auto"></a></td></tr></tbody></table></div></div></div>