<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 11 Aug 2022 at 12:37, Marcin Juszkiewicz <<a href="mailto:marcin.juszkiewicz@linaro.org">marcin.juszkiewicz@linaro.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">W dniu 11.08.2022 o 17:34, Stephen Smoogen pisze:<br>
> On Thu, 11 Aug 2022 at 10:56, Marcin Juszkiewicz wrote:<br>
> <br>
>>     As part of OpenStack deployments we deploy RabbitMQ. During current<br>
>>     cycle I looked at moving from CentOS Stream 8 to 9.<br>
>> <br>
>>     And RabbitMQ is a problem.<br>
>> <br>
>>     When I boot CentOS Stream 9 system and then use just built 'rabbitmq'<br>
>>     container memory use of "/usr/lib64/erlang/erts-12.3.2.2/bin/beam.smp"<br>
>>     process goes up to 1.6GB ram:<br>
<br>
<br>
> CS9 on CS9<br>
<br>
>>     (rabbitmq)[root@kolla-cs9 /]# rabbitmq-diagnostics memory_breakdown<br>
>>     Reporting memory breakdown on node rabbit@kolla-cs9...<br>
>>     other_system: 1.6233 gb (68.59%)<br>
>>     allocated_unused: 0.5164 gb (21.82%)<br>
<br>
<br>
> CS9 on Debian (versions?)<br>
<br>
Debian 11 'bullseye' with up-to-date packages.<br>
<br>
>>     If I boot the same container on Debian host then same process uses<br>
>>     0.2GB ram:<br>
>> <br>
>>     (rabbitmq)[root@debian /]# rabbitmq-diagnostics memory_breakdown<br>
>>     Reporting memory breakdown on node rabbit@debian...<br>
>>     binary: 0.2787 gb (70.2%)<br>
>>     code: 0.0355 gb (8.93%)<br>
>>     other_system: 0.0255 gb (6.44%)<br>
<br>
<br>
> Debian on CS9<br>
> <br>
> Stats needed for better than<br>
<br>
(rabbitmq)[root@kolla-cs9 /]# rabbitmq-diagnostics memory_breakdown<br>
Reporting memory breakdown on node rabbit@kolla-cs9...<br>
other_system: 1.6231 gb (73.42%)<br>
allocated_unused: 0.512 gb (23.16%)<br>
code: 0.0355 gb (1.61%)<br>
other_proc: 0.0189 gb (0.85%)<br>
binary: 0.0133 gb (0.6%)<br>
other_ets: 0.0034 gb (0.15%)<br>
plugins: 0.0015 gb (0.07%)<br>
atom: 0.0014 gb (0.06%)<br>
mgmt_db: 4.0e-4 gb (0.02%)<br>
connection_other: 4.0e-4 gb (0.02%)<br>
metrics: 3.0e-4 gb (0.01%)<br>
connection_readers: 2.0e-4 gb (0.01%)<br>
queue_procs: 1.0e-4 gb (0.01%)<br>
mnesia: 1.0e-4 gb (0.0%)<br>
connection_channels: 0.0 gb (0.0%)<br>
msg_index: 0.0 gb (0.0%)<br>
quorum_ets: 0.0 gb (0.0%)<br>
connection_writers: 0.0 gb (0.0%)<br>
stream_queue_procs: 0.0 gb (0.0%)<br>
stream_queue_replica_reader_procs: 0.0 gb (0.0%)<br>
queue_slave_procs: 0.0 gb (0.0%)<br>
quorum_queue_procs: 0.0 gb (0.0%)<br>
stream_queue_coordinator_procs: 0.0 gb (0.0%)<br>
reserved_unallocated: 0.0 gb (0.0%)<br>
<br>
Erlang 1:24.2.1+dfsg-1~bpo11+1<br>
RabbitMQ 3.9.22-1<br>
<br>
>>     Booted CS9 system and deployed OpenStack using Debian based containers.<br>
>>     Again 1.6GB memory use.<br>
<br>
<br>
>>     So let build CS9 based containers using Erlang/RabbitMQ from CentOS<br>
>>     Stream 9 "messaging/rabbitmq-38" repository. Again 1.6GB memory use.<br>
<br>
(rabbitmq)[root@kolla-cs9 /]# rpm -qa|egrep "(rabbit|erlang-2)"<br>
erlang-24.3.4.2-1.el9s.x86_64<br>
rabbitmq-server-3.9.21-1.el9s.x86_64<br>
<br>
(rabbitmq)[root@kolla-cs9 /]# rabbitmq-diagnostics memory_breakdown<br>
Reporting memory breakdown on node rabbit@kolla-cs9...<br>
other_system: 1.6231 gb (73.98%)<br>
allocated_unused: 0.5107 gb (23.28%)<br>
code: 0.0356 gb (1.62%)<br>
other_proc: 0.018 gb (0.82%)<br>
other_ets: 0.0034 gb (0.16%)<br>
atom: 0.0014 gb (0.06%)<br>
plugins: 9.0e-4 gb (0.04%)<br>
mgmt_db: 4.0e-4 gb (0.02%)<br>
metrics: 2.0e-4 gb (0.01%)<br>
binary: 2.0e-4 gb (0.01%)<br>
mnesia: 1.0e-4 gb (0.0%)<br>
connection_other: 0.0 gb (0.0%)<br>
msg_index: 0.0 gb (0.0%)<br>
quorum_ets: 0.0 gb (0.0%)<br>
stream_queue_procs: 0.0 gb (0.0%)<br>
stream_queue_replica_reader_procs: 0.0 gb (0.0%)<br>
connection_readers: 0.0 gb (0.0%)<br>
connection_writers: 0.0 gb (0.0%)<br>
connection_channels: 0.0 gb (0.0%)<br>
queue_procs: 0.0 gb (0.0%)<br>
queue_slave_procs: 0.0 gb (0.0%)<br>
quorum_queue_procs: 0.0 gb (0.0%)<br>
stream_queue_coordinator_procs: 0.0 gb (0.0%)<br>
reserved_unallocated: 0.0 gb (0.0%)<br>
<br>
<br>
<br>
> So if I cut and summarized your data correctly:<br>
> <br>
> CS9 container of rabbitmq on CS9 base system: Other_system bloats to 1.6 GB<br>
> CS9 container of rabbitmq on Debian base system: Other system stays at <br>
> 0.025 GB<br>
> Debian container of rabbitmq on CS9 base system: Something bloats to 1.6GB<br>
> Built-from-scratch container of rabbitmq on CS9 base system: Something <br>
> bloats to 1.6Gb<br>
<br>
It is "other_system" in all 4 causes.<br>
<br>
<br>
> I think we would want to make sure that the 'Something' in those is also <br>
> Other system, and then look to see what is 'Other system' and what <br>
> controls it. After that it would be to see what is 'controlling' that.<br>
<br>
> How was this container run? podman, docker, something else? <br>
<br>
Docker in all situations. We did not migrated to Podman yet.<br>
<br>
> How was this system configured? <br>
<br>
Host OS was minimal install in both (CS9 host, Debian host) cases.<br>
<br>
> Base install of packages?<br>
Only what is needed to connect over SSH and manage (from outside) using <br>
Ansible.<br>
<br>
Later added tmux, vim, mc, htop when I started checking what is going on.<br></blockquote><div><br></div><div><br></div><div>Ok thanks for the data. The following is going to be systems administration by stack overflow:</div><div><br></div><div> rabbitmqctl eval 'rabbit_diagnostics:top_memory_use(),rabbit_diagnostics:top_binary_refs().'</div><div><br></div><div> The other_system does not have much in google hits and I have not used any of these applications. I am hoping someone who knows more about this can jump in.</div><div><br></div></div><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div></div>Stephen Smoogen, Red Hat Automotive<br></div>Let us be kind to one another, for most of us are fighting a hard battle. -- Ian MacClaren<br></div></div></div>