<div dir="auto"><div><div class="gmail_quote"><div dir="ltr">On Mon, 28 Jan 2019, 11:15 Fabian Arrotin <<a href="mailto:arrfab@centos.org">arrfab@centos.org</a> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 27/01/2019 13:18, Gordan Bobic wrote:<br>
> Figured it out. Two kernel configuration options were in play:<br>
> <br>
> CONFIG_COMPAT=y<br>
> CONFIG_LSM_MMAP_MIN_ADDR=32768<br>
> <br>
> Above is what is required to run armv5tel and armv7hl chroots on aarch64.<br>
> Default for the latter option is 65535, which prevents 32-bit binaries<br>
> from running. Up and running with 4.9.153 now.<br>
<br>
<snip><br>
<br>
For the centos armhfp/armv7hl builds, instead of using chroot'ed env<br>
directly on the aarch64 nodes, we just converted those into hypervisors<br>
and run armhfp VMs on top.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Full fat virtualization tax at ~25%+ at full saturation load is too rich for me.</div><div dir="auto"><br></div><div dir="auto">And besides, isn't containerization/docker/kubernettes all the drvops-as-hell buzzword rage these days? ;-)</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">But, as Stephen also pointed out, it unfortunately only works on some<br>
aarch64 cpus and not all of them : I realized that when I wanted to use<br>
a thunderX node as replacement for a mustang board and couldn't get any<br>
armhfp VM to start : then, after some discussion with ARM specialists,<br>
they confirm that, per hardware design, the thunderx (and also<br>
thunderx2) nodes can't run 32 bits at all, so no way to get armhfp VMs<br>
running on that anymore.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">It's always important to pick the right set of tools for the job. :-)</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
That means that so far, the only boards on which we can still use the<br>
"armhfp VMs on top of aarch64 nodes" build process is on mustang or<br>
merlin (so basically X-Gene and X-Gene 2)<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Yup, that's what I have.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
I've heard also that the new Ampere eMAG should be able to also do that,<br>
but unfortunately, haven't verified (no access to such hardware)</blockquote></div></div><div dir="auto"><br></div><div dir="auto">My experience is that despite all the song and dance that makes the news when a manufacturer announces a big ARM server, they are either unavailable or ludicrously expensive compared to x86. Gigabyte MP30 AR0/AR1 is to date the only reasonable option I found for anything much bigger than the various Pi and clones (and I like my 128GB of RAM for large scale compile jobs).</div><div dir="auto"><br></div><div dir="auto"></div></div>