<div dir="ltr"><div><span style="font-size:12.8px">>Are there other kernel options that might </span><span style="font-size:12.8px">be useful to try?</span><br></div><div><br></div><div><span style="color:rgb(17,17,17);font-family:consolas,menlo,monaco,"lucida console","liberation mono","dejavu sans mono","bitstream vera sans mono","courier new",monospace,sans-serif;font-size:13px;white-space:pre-wrap;background-color:rgb(239,240,241)">pci=nomsi</span><br></div><br><div><a href="https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1521173/comments/13">https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1521173/comments/13</a><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 27 January 2017 at 18:21, Kevin Stange <span dir="ltr"><<a href="mailto:kevin@steadfast.net" target="_blank">kevin@steadfast.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 01/27/2017 06:08 AM, Karel Hendrych wrote:<br>
> Have you tried to eliminate all power management features all over?<br>
<br>
I've been trying to find and disable all power management features but<br>
having relatively little luck with that solving the problems.  Stabbing<br>
the the dark I've tried different ACPI settings, including completely<br>
disabling it, disabling CPU frequency scaling, and setting pcie_aspm=off<br>
on the kernel command line.  Are there other kernel options that might<br>
be useful to try?<br>
<br>
> Are the devices connected to the same network infrastructure?<br>
<br>
There are two onboard NICs and two NICs on a dual-port card in each<br>
server.  All devices connect to a cisco switch pair in VSS and the links<br>
are paired in LACP.<br>
<br>
> There has to be something common.<br>
<br>
The NICs having issues are running a native VLAN, a tagged VLAN, iSCSI<br>
and NFS traffic, as well as some basic management stuff over SSH, and<br>
they are configured with an MTU of 9000 on the native VLAN.  It's a lot<br>
of features, but I can't really turn them off and then actually have<br>
enough load on the NICs to reproduce the issue.  Several of these<br>
servers were installed and being burned in for 3 months without ever<br>
having an issue, but suddenly collapsed when I tried to bring 20 or so<br>
real-world VMs up on them.<br>
<br>
The other NICs in the system that are connected don't exhibit issues and<br>
run only VM network interfaces.  They are also in LACP and running VLAN<br>
tags, but normal 1500 MTU.<br>
<br>
So far it seems to correlate with NICs on the expansion cards, but it's<br>
a coincidence that these cards are the ones with the storage and<br>
management traffic.  I'm trying to swap some of this load to the onboard<br>
NICs to see if the issues migrate over with it, or if they stay with the<br>
expansion cards.<br>
<br>
If the issue exists on both NIC types, then it rules out the specific<br>
NIC chipset as the culprit.  It could point to the driver, but upgrading<br>
it to a newer version did not help and actually appeared to make<br>
everything worse.  This issue might actually be more to do with the PCIe<br>
bridge than the NICs, but these are still different motherboards with<br>
different PCIe bridges (5520 vs C600) experiencing the same issues.<br>
<br>
> I've been using Intel NICs with Xen/CentOS for ages with no issues.<br>
<br>
I figured that must be so.  Everyone uses Intel NICs.  If this was a<br>
common issue, it would probably be causing a lot of people a lot of trouble.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
Kevin Stange<br>
Chief Technology Officer<br>
Steadfast | Managed Infrastructure, Datacenter and Cloud Services<br>
800 S Wells, Suite 190 | Chicago, IL 60607<br>
<a href="tel:312.602.2689%20X203" value="+13126022689">312.602.2689 X203</a> | Fax: <a href="tel:312.602.2688" value="+13126022688">312.602.2688</a><br>
<a href="mailto:kevin@steadfast.net">kevin@steadfast.net</a> | <a href="http://www.steadfast.net" rel="noreferrer" target="_blank">www.steadfast.net</a><br>
______________________________<wbr>_________________<br>
CentOS-virt mailing list<br>
<a href="mailto:CentOS-virt@centos.org">CentOS-virt@centos.org</a><br>
<a href="https://lists.centos.org/mailman/listinfo/centos-virt" rel="noreferrer" target="_blank">https://lists.centos.org/<wbr>mailman/listinfo/centos-virt</a><br>
</font></span></blockquote></div><br></div>