<div dir="ltr"><font face="monospace" style="color:rgb(33,33,33)">No luck with qemu-kvm-ev, <span style="line-height:1.5">the </span><span style="line-height:1.5">behavior</span><span style="line-height:1.5"> is the same. Running </span><span style="line-height:1.5">perf record -a -g on the baremetal shows that most of the CPU time is in _raw_spin_lock</span></font><div style="color:rgb(33,33,33);font-family:"helvetica neue",helvetica,arial,sans-serif;font-size:13px"><div><span style="line-height:1.5"><font face="monospace"><br></font></span></div><div><font color="#212121" face="monospace"><span style="line-height:15.8438px">  Children      Self  Command          Shared Object                Symbol                                                                                                                     -  93.62%    93.62%  qemu-kvm         [kernel.kallsyms]            [k] _raw_spin_lock                                                                                                       <br></span></font></div><div><font color="#212121" face="monospace"><span style="line-height:15.8438px">   - _raw_spin_lock                                                                                                                                                                           </span></font></div><div><font color="#212121" face="monospace"><span style="line-height:15.8438px">      + 45.30% kvm_mmu_sync_roots                                                                                                                                                             </span></font></div><div><font color="#212121" face="monospace"><span style="line-height:15.8438px">      + 28.49% kvm_mmu_load                                                                                                                                                                   </span></font></div><div><font color="#212121" face="monospace"><span style="line-height:15.8438px">      + 25.00% mmu_free_roots                                                                                                                                                                 </span></font></div><div><font color="#212121" face="monospace"><span style="line-height:15.8438px">      + 1.12% tdp_page_fault       </span></font></div></div><br><div class="gmail_quote"><div dir="ltr">În joi, 18 aug. 2016 la 11:59, Laurentiu Soica <<a href="mailto:laurentiu@soica.ro">laurentiu@soica.ro</a>> a scris:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I've tried with KSM disabled and nothing changed.<div><br></div><div>I've upgraded KVM to qemu-kvm-ev. I'm waiting to see if there are any improvements and report back.</div></div><br><div class="gmail_quote"><div dir="ltr">În mie., 17 aug. 2016 la 15:10, Boris Derzhavets <<a href="mailto:bderzhavets@hotmail.com" target="_blank">bderzhavets@hotmail.com</a>> a scris:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">




<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<p>For myself KSM is unpredictable feature. The problem is Compute, just this node</p>
<p>does "copy on write" , so only Compute.</p>
<p>My concern exactly is where would it lead to worse or better Guest behavior ?</p>
<p>I am not expecting complete fix.  I would track via top/htop  and dmesg via Cron on 1-2 hr</p>
<p>period.<br>
</p>
<br>
<br>
<div style="color:rgb(0,0,0)">
<hr style="display:inline-block;width:98%">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"></font></div></div></div></div><div dir="ltr"><div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif"><div style="color:rgb(0,0,0)"><div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><b>From:</b> <a href="mailto:centos-virt-bounces@centos.org" target="_blank">centos-virt-bounces@centos.org</a> <<a href="mailto:centos-virt-bounces@centos.org" target="_blank">centos-virt-bounces@centos.org</a>> on behalf of Laurentiu Soica <<a href="mailto:laurentiu@soica.ro" target="_blank">laurentiu@soica.ro</a>><br>
</font></div></div></div></div><div dir="ltr"><div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif"><div style="color:rgb(0,0,0)"><div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><b>Sent:</b> Wednesday, August 17, 2016 6:38 AM</font></div></div></div></div><div dir="ltr"><div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif"><div style="color:rgb(0,0,0)"><div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><br>
<b>To:</b> Discussion about the virtualization on CentOS<br>
<b>Subject:</b> Re: [CentOS-virt] Nested KVM issue</font></div></div></div></div><div dir="ltr"><div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif"><div style="color:rgb(0,0,0)">
<div>
<div dir="ltr">Both baremetal and compute ? Are there any other metrics do you consider useful to collect for troubleshooting purposes ?<br>
<div class="gmail_quote">
<div dir="ltr">În mie., 17 aug. 2016 la 13:04, Boris Derzhavets <<a href="mailto:bderzhavets@hotmail.com" target="_blank">bderzhavets@hotmail.com</a>> a scris:<br>
</div>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<p>It sounds weird, but attempt to disable KSM and see would it help or no ?<br>
</p>
<br>
<br>
<div style="color:rgb(49,55,57)">
<hr style="display:inline-block;width:98%">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"></font></div>
</div>
</div>
</div>
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div style="color:rgb(49,55,57)">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><b>From:</b>
<a href="mailto:centos-virt-bounces@centos.org" target="_blank">centos-virt-bounces@centos.org</a> <<a href="mailto:centos-virt-bounces@centos.org" target="_blank">centos-virt-bounces@centos.org</a>> on behalf of Laurentiu Soica <<a href="mailto:laurentiu@soica.ro" target="_blank">laurentiu@soica.ro</a>><br>
</font></div>
</div>
</div>
</div>
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div style="color:rgb(49,55,57)">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><b>Sent:</b> Wednesday, August 17, 2016 4:56 AM</font></div>
</div>
</div>
</div>
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div style="color:rgb(49,55,57)">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><br>
<b>To:</b> Discussion about the virtualization on CentOS<br>
<b>Subject:</b> Re: [CentOS-virt] Nested KVM issue</font></div>
</div>
</div>
</div>
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div style="color:rgb(49,55,57)">
<div>
<div dir="ltr">Enabled the logging on both compute and baremetal. Nothing strange in logs:
<div><br>
</div>
<div>on baremetal :</div>
<div>
<div>
<div>Wed Aug 17 11:51:01 EEST 2016: committed 62310764 free 58501808</div>
<div>Wed Aug 17 11:51:01 EEST 2016: 87025667 < 123574516 and free > 24714903, stop ksm</div>
</div>
</div>
<div><br>
</div>
<div>on compute:</div>
<div>
<div>Wed Aug 17 08:52:52 UTC 2016: committed 24547132 free 76730936</div>
<div>Wed Aug 17 08:52:52 UTC 2016: 45139624 < 102962460 and free > 20592492, stop ksm</div>
</div>
<div><br>
</div>
<div>and the compute node is again at 100% CPU utilization.</div>
<div><br>
</div>
<div><br>
</div>
</div>
<br>
<div class="gmail_quote">
<div dir="ltr">În mar., 16 aug. 2016 la 15:26, Boris Derzhavets <<a href="mailto:bderzhavets@hotmail.com" target="_blank">bderzhavets@hotmail.com</a>> a scris:<br>
</div>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<p>I would enable ksmtuned logging ,if it has been done verify logs<br>
</p>
<br>
<br>
<div style="color:rgb(49,55,57)">
<hr style="display:inline-block;width:98%">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"></font></div>
</div>
</div>
</div>
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div style="color:rgb(49,55,57)">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><b>From:</b>
<a href="mailto:centos-virt-bounces@centos.org" target="_blank">centos-virt-bounces@centos.org</a> <<a href="mailto:centos-virt-bounces@centos.org" target="_blank">centos-virt-bounces@centos.org</a>> on behalf of Laurentiu Soica <<a href="mailto:laurentiu@soica.ro" target="_blank">laurentiu@soica.ro</a>><br>
</font></div>
</div>
</div>
</div>
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div style="color:rgb(49,55,57)">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><b>Sent:</b> Tuesday, August 16, 2016 7:16 AM</font></div>
</div>
</div>
</div>
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div style="color:rgb(49,55,57)">
<div dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><br>
<b>To:</b> Discussion about the virtualization on CentOS<br>
<b>Subject:</b> Re: [CentOS-virt] Nested KVM issue</font></div>
</div>
</div>
</div>
<div dir="ltr">
<div style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div style="color:rgb(49,55,57)">
<div>
<div dir="ltr">Yes. It is on both baremetal and compute node.</div>
<br>
<div class="gmail_quote">
<div dir="ltr"><br></div></div></div></div></div></div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
_______________________________________________<br>
CentOS-virt mailing list<br>
<a href="mailto:CentOS-virt@centos.org" target="_blank">CentOS-virt@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/centos-virt" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/centos-virt</a><br>
</blockquote>
</div>
</div>
</div>
</div></div></div>

_______________________________________________<br>
CentOS-virt mailing list<br>
<a href="mailto:CentOS-virt@centos.org" target="_blank">CentOS-virt@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/centos-virt" rel="noreferrer" target="_blank">https://lists.centos.org/mailman/listinfo/centos-virt</a><br>
</blockquote></div></blockquote></div></div><div dir="ltr">-- <br></div><div data-smartmail="gmail_signature"><div dir="ltr">Laurentiu Soica</div></div>