Hi, I'm sorry for a so big email, but this might be a bug. As some of you may know, there is a characteristic of malloc called overcommit, which lets a program "allocate" more virtual memory than is available on the system. I've set overcommit_memory=2 and turned off swap, but I believe the behaviour of malloc is not the expected.

<br><br>Let me introduce the overcommit, then show the test code, then the results.<br><br>//-- Starting introduction of overcommit<br><br>According to <a href="http://www.die.net/doc/linux/man/man3/malloc.3.html">http://www.die.net/doc/linux/man/man3/malloc.3.html

</a>:<br><br>"By default, Linux follows an optimistic memory

allocation strategy. This means that when <b>malloc</b>() returns

non-NULL there is no guarantee that the memory really is available.

This is a really bad bug. In case it turns out that the system is

out of memory, one or more processes will be killed by the infamous

OOM killer. In case Linux is employed under circumstances where it

would be less desirable to suddenly lose some randomly picked

processes, and moreover the kernel version is sufficiently recent,

one can switch off this overcommitting behavior using a command

like

<dl compact="compact"><dd># echo 2 > /proc/sys/vm/overcommit_memory</dd></dl>See also the

kernel Documentation directory, files

<i>vm/overcommit-accounting</i> and <i>sysctl/vm.txt</i>."<br><br><br>Looking at vm/overcommit-accounting:<br><br>"The Linux kernel supports the following overcommit handling modes<br><br>0       -       Heuristic overcommit handling. Obvious overcommits of

<br>                address space are refused. Used for a typical system. It<br>                ensures a seriously wild allocation fails while allowing<br>                overcommit to reduce swap usage.  root is allowed to

<br>                allocate slightly more memory in this mode. This is the<br>                default.<br><br>1       -       Always overcommit. Appropriate for some scientific<br>                applications.<br><br>2       -       Don't overcommit. The total address space commit

<br>                for the system is not permitted to exceed swap + a<br>                configurable percentage (default is 50) of physical RAM.<br>                Depending on the percentage you use, in most situations

this means a process will not be killed while accessing                 pages but will receive errors on memory allocation as                 appropriate. The overcommit policy is set via the sysctl `vm.overcommit_memory'.

<br><br>The overcommit percentage is set via `vm.overcommit_ratio'."<br><br>//-- Ending introduction of overcommit<br><br>Then I started doing some tests. Below is my the test code:<br><br>//---------------------------- Top of test code

<br>#include <stdio.h><br>#include <malloc.h><br>#include <limits.h><br>#include <string.h><br>#include <unistd.h><br><br>int<br>main(void)<br>{<br>    int i;<br>    char *p;<br>        <br>4    char *r = malloc(1048576);

<br>    <br>    // Filling some useless space to copy later<br>    for (i = 0; i <= 1048576; i++)<br>    {<br>        *(char*)(r+i) = i;        <br>    }<br>    <br>    <br>    for (i = 1; ; i++)<br>    {<br>        p = malloc(1048576);

<br>        <br>        if (p == NULL)<br>        {<br>            printf("malloc %d MB - %p\n", i, p);<br>            printf("Returned null\n");<br>            return 0;            <br>        }<br>        else

<br>        {<br>//            printf("malloc %d MB - %p\n", i, p);<br>            if (memcpy(p, r, 1048576) == 0)<br>            {<br>                printf("Error in memcpy\n");<br>            }<br>            usleep(5);

<br>        }<br>        <br>    }<br>         <br>  printf("Ok, no NULL\n");<br>  return 0;<br>}<br>//---------------------------- End of test code<br><br>Conditions:<br>Kernel: 2.6.9-42.0.10.ELsmp<br>RAM memory: 2GB

<br>Swap: OFF<br>overcommit_memory=2 (changed by me)<br>overcommit_ratio=50 (default)<br><br>' free '  yields:<br>                     total       used       free     shared    buffers     cached<br>Mem:       2065252     602872    1462380          0      12372     283248

<br>-/+ buffers/cache:     307252    1758000<br>Swap:                0          0          0<br><br>There is about 1.4GB free RAM memory.<br><br>Then I've executed the test code got:<br>malloc 178 MB - (nil)<br>Returned null

<br><br>According to the kernel document above: <br>"The total address space commit for the system is not permitted to exceed swap + a<br>configurable percentage (default is 50) of physical RAM. Depending on the percentage

<br>you use, in most situations this means a process will not be killed while accessing pages<br>but will receive errors on memory allocation as appropriate."<br><br>Shouldn't I have got something about 1000 MB instead of 178 MB, because 1000 MB is 50% of  physical memory? As long as I have 

1.4GB free, I should be able to allocate those 1000 MB. Are there other (configurable or not) limits for memory allocation? (ulimit is not being used) Then I repeated the same test, but with swap on. Swap size is 1GB.

<br><br>Conditions:<br>

Kernel: 2.6.9-42.0.10.ELsmp<br>

RAM memory: 2GB<br>

Swap: 1GB<br>

overcommit_memory=2 (changed by me)<br>

overcommit_ratio=50 (default)<br>

<br>

' free '  yields:<br>                     total       used       free     shared    buffers     cached<br>Mem:       2065252     605480    1459772          0      12628     283512<br>-/+ buffers/cache:     309340    1755912

Swap:      1048568          0    1048568 Then I've executde the test code and got: malloc 1198 MB - (nil) Returned null It means this time I've allocated successfuly 1198 MB. Shouldn't I have got something about 2GB?

<br><br><br>Thanks<br>Leonardo Pinheiro<br>