LINUX内存管理 linux内存管理源码分析

本文目录一览：

• 1、linux怎么过滤出物理内存大小和空闲内存空间
• 2、Linux内存,PageFault与SwapOut
• 3、Linux的内存如何管理
• 4、Linux内存系统
• 5、Linux - 用户态内存映射 和 内核态内存映射
• 6、Linux系统默认是会将闲置的内存转为cache和buffer 是正常现象你发现空闲...

Linux怎么过滤出物理内存大小和空闲内存空间

要过滤出Linux操作系统中的物理内存大小和空闲内存空间，可以使用以下命令：
1. 查看物理内存大小：grep MemTotal procmeminfo
这将输出一个包含“MemTotal”行的文件，其中包含有关物理内存的信息
2. 查看空闲内存空间：grep MemFree procmeminfo
这将输出一个包含“MemFree”行的文件，其中包含有关可用内存的信息

Linux内存,PageFault与SwapOut

“内存并不一定总是快”

Linux 中内存主要有匿名内存和 Page Cache 两种。

Linux操作系统内存管理策略是会尽可能的利用内存来做各种缓存，所以一般来说服务器所谓的free内存都会较少，当应用alloc申请内存的时候，如果free内存不足就会引发内存回收，这就是所谓的PageFault缺页，这时候系统会先使用异步方式的后台回收来提高应用申请内存这个操作的响应速度。但是如果应用申请内存的速度大于系统后台回收的速度的话，就会进入所谓直接回收（Direct Reclaim）模式，这是一个同步的过程，应用会自旋等待内存回收完毕，产生比较大的延迟。见下图：

另一方面，内核会回收匿名内存页，并将其置换到磁盘里（这是Linux所谓虚拟内存的管理方式，磁盘上的这部分用来跟内存做交换的空间称为swap空间），匿名内存页一旦被换出然后再次被访问的时候，就会产生文件IO了（要从swap空间里把页加载回内存里），这也会导致比较大的延迟。见下图：

vm.extra_free_kbytes 和 vm.swappiness 两个内核参数可以针对PageFault和SwapOut两种内存访问延迟做调优。mlock 系统调用可以让应用程序“锁定”一块内存空间而不被内核swap出去。

万亿级数据洪峰下的分布式消息引擎-InfoQ

后记：
这篇小文来自于学习RocketMQ开发团队的技术分享文章（见参考），里边的“内存没那么快”观点笔者认为更确切说法应该是“内存并不总是那么快”，里边的Linux内存管理的一小段说明加深了笔者对之前了解的概念的理解，这些东西可能平时工作未必有什么用，但了解底层的东西总是会让人产生求知求所得的愉悦感受。看了阿里褚霸的个人背景简介，“14年c开发经验, 12年网络开发经验, 3年Linux内核开发”，他也遇到过“底层 IO(Input/Output) 技术。IO 技术涉及面非常广，驱动，块设备，文件系统，内存关系等等” ，做专家终归是要走入底层，到最后考验的是对系统、对计算机的理解。本文很水，而脚下这条路不知能走多远，但是想想不为什么就算只为求知的喜悦我也是愿意走下去的啊。这也是我为什么要建“系统底层”这个专题

Linux的内存如何管理

你可以在命令行下使用
Free
命令监控内存使用情况，
＃free
total

used
shared
buffers
cached
Mem:对应的数字
数字就是内存的一些基本情况
你可以使用
＃free
-
b
-
s数字，来进行连续监控，数字是代表的时间间隔
谢谢采纳

Linux内存系统

维基百科——虚拟内存定义

All about Linux swap space

Linux将物理RAM （Random Access Memory） 划分为称为页面的内存块。交换是将一页内存复制到硬盘上的预配置空间（称为交换空间）以释放改内存页面上的过程。物理内存和交换空间的组合就是可用的虚拟内存量。

虚拟内存的那点事儿

进程是与其他进程共享CPU和内存资源的。为了有效的管理内存并减少出错，现代操作系统提供了一种对主存的抽象概念，即：虚拟内存（ Virtual Memory ）。 虚拟内存为每个进程提供一个一致的，私有的地址空间，每个进程拥有一片连续完整的内存空间。

正如 维基百科 所说，虚拟内存不只是“使用硬盘空间来扩展内存”的技术。 虚拟内存的重要意义是它定义了一个连续的虚拟地址空间， 使得程序编写难度降低。并且， 把内存扩展到硬盘空间只是使用虚拟内存的必然结果，虚拟内存空间会存在硬盘中，并且会被全部放入内存中缓冲（按需），有的操作系统还会在内存不够的情况下，将一进程的内存全部放入硬盘空间中，并在切换到进程时再从硬盘读取 （这也是Windows会经常假死的原因...）。

虚拟内存主要提供了如下三个重要的能力：

内存通常被组织为一个由M个连续的字节大小的单元组成的数组。每个字节都有一个唯一的物理地址 （Physical Address PA） ，作为到数组的索引。

CPU访问内存最简单直接的方法就是使用物理地址，这种寻址方式称为 物理寻址 。

现代计算机使用的是一种被称为虚拟寻址 （Virtual Addressing） 的寻址方式。 使用虚拟寻址，CPU需要将虚拟地址翻译成物理地址，这样才能访问到真实的物理内存。

虚拟寻址需要硬件与操作系统之间相互合作。 CPU中含有一个被称为内存管理单元 （Memory Management Unit，MMU） 的硬件，它的功能是将虚拟地址转换称为物理地址，MMU需要借助存放在内存中的 页表 来动态翻译虚拟地址，该页表由操作系统管理。

分页表是一种数据结构，它用于计算机操作系统中虚拟内存系统，其存储了虚拟地址到物理地址之间的映射。虚拟地址在访问进程中是唯一的，而物理地址在硬件（比如内存）中是唯一的。

在操作系统中使用 虚拟内存 ，每个进程会认为使用一块大的连续的内存，事实上，每个进程的内存散布在 物理内存 的不同区域。或者可能被调出到备份存储中（一般是硬盘）。当一个进程请求自己的内存，操作系统负责把程序生成的虚拟地址，映射到实际存储的物理内存上。操作系统在 分页表 中存储虚拟地址到物理地址的映射。每个映射被称为 分页表项（page table entry ,PTE） 。

在一个简单的地址空间方案中，由虚拟地址寻址的页与物理内存中的帧之间的关系。物理内存可以包含属于许多进程的页。如果不经常使用，或者物理内存已满，可以将页面分页到磁盘。在上图中，并非所有页面都在物理内存中。

虚拟地址到物理地址的转换（即虚拟内存的管理）、内存保护、CPU高速缓存的控制。

现代的内存管理单元是以 页 的方式，分割虚拟地址空间（处理器使用的地址范围）的；页的大小是2的n次方，通常为几KB（字节）。地址尾部的n位（页大小的2的次方数）作为页内的偏移量保持不变。其余的地址位（address）为（虚拟）页号。

内存管理单元通常借助一种叫做转译旁观缓冲器（Translation Lookaside Buffer，TLB）和相联高速缓存来将虚拟页号转换为物理页号。当后备缓冲器中没有转换记录时，则使用一种较慢的机制，其中包括专用硬件的数据结构或软件辅助手段。这个数据结构称为 分页表 ，页表中的数据叫做 分页表项 （page table entry PTE）。物理页号结合页偏移量便提供了完整的物理地址。

页表 或 转换后备缓冲器数据项应该包括的信息有：

有时候，TLB和PTE会 禁止对虚拟页访问 ，这可能是因为没有RAM与虚拟页相关联。如果是这种情况，MMU将向CPU发出页错误的信号，操作系统将进行处理，也许会寻找RAM的空白帧，同时建立一个新的PTE将之映射到所请求的虚拟地址。如果没有空闲的RAM，可能必须关闭一个已经存在的页面，使用一些替换算法，将之保存到磁盘中（这被称为页面调度）。

当需要将虚拟地址转换为物理地址时，首先搜索TLB，如果找到匹配（TLB）命中，则返回物理地址并继续存储器访问。然而，如果没有匹配（称为TLB未命中），则MMU或操作系统TLB未命中处理器通常会查找 页表 中的地址映射以查看是否存在映射（页面遍历），如果存在，则将其写回TLB（这必须完成，因为硬件通过虚拟存储器系统中的TLB访问存储器），并且重启错误指令（这也可以并行发生）。此后续转换找到TLB命中，并且内存访问将继续。

虚拟地址到物理地址的转换过程，如果虚拟内存不存在与TLB，转换会被重置并通过分页表和硬件寻找。

通常情况下，用于处理此中断的程序是操作系统的一部分。如果操作系统判断此次访问有效，那么 操作系统会尝试将相关的分页从硬盘上的虚拟内存文件调入内存。 而如果访问是不被允许的，那么操作系统通常会结束相关的进程。

虽然叫做“页缺失”错误，但实际上这并不一定是一种错误。而且这一机制是利用虚拟内存来增加程序可用内存空间。

发生这种情况的可能性：

当原程序再次需要该页内的数据时，如果这一页确实没有被分配出去，那么系统只需要重新为该页在MMU内注册映射即可。

操作系统需要：

硬性页缺失导致的性能损失是很大的。
另外，有些操作系统会将程序的一部分延迟到需要使用的时候再加载入内存执行，以此提升性能。这一特性也是通过捕获硬性页缺失达到的。

当硬性页缺失过于频繁发生时，称发生 系统颠簸。

具体动作与所使用的操作系统有关，比如Windows会使用异常机制向程序报告，而类Unix系统则使用信号机制。

尽管在整个运行过程中，程序引用不同的页面总数（也就是虚拟内存大小）可能超出了物理存储器（DRAM）总大小，但是程序常常在较小的活动页面上活动，这个集合叫做工作集或者常驻集。在工作集被缓存后，对它的反复调用会使程序命中提高，从而提高性能。

大部分的程序都可以在存储器获取数据和读取中达到稳定的状态，当程序达到稳定状态时，存储器的使用量通常都不会太大。虚拟内存虽然可以有效率控制存储器的使用， 但是大量的页缺失还是造成了系统迟缓的主要因素。 当工作集的大小超过物理存储器大小，程序将会发生一种不幸的情况，这种情况称为 “颠簸” ，页面将不停的写入、释放、读取，由于大量的丢失（而非命中）而损失极大性能。用户可以增加随机存取存储器的大小或是减少同时在系统里运行程序的数量来降低系统颠簸的记录。

推荐阅读：

操作系统--分页(一)

操作系统实现（二）：分页和物理内存管理

Linux - 用户态内存映射 和 内核态内存映射

操作系统的内存管理，主要分为三个方面。
第一，物理内存的管理，相当于会议室管理员管理会议室。
第二，虚拟地址的管理，也即在项目组的视角，会议室的虚拟地址应该如何组织。
第三，虚拟地址和物理地址如何映射，也即会议室管理员如果管理映射表。

那么虚拟地址和物理地址如何映射呢？

每一个进程都有一个列表vm_area_struct，指向虚拟地址空间的不同的内存块，这个变量的名字叫mmap。

其实内存映射不仅仅是物理内存和虚拟内存之间的映射，还包括将文件中的内容映射到虚拟内存空间。这个时候，访问内存空间就能够访问到文件里面的数据。而仅有物理内存和虚拟内存的映射，是一种特殊情况。

如果我们要申请小块内存，就用brk。brk函数之前已经解析过了，这里就不多说了。如果申请一大块内存，就要用mmap。对于堆的申请来讲，mmap是映射内存空间到物理内存。

另外，如果一个进程想映射一个文件到自己的虚拟内存空间，也要通过mmap系统调用。这个时候mmap是映射内存空间到物理内存再到文件。可见mmap这个系统调用是核心，我们现在来看mmap这个系统调用。

用户态的内存映射机制包含以下几个部分。

物理内存根据NUMA架构分节点。每个节点里面再分区域。每个区域里面再分页。

物理页面通过伙伴系统进行分配。分配的物理页面要变成虚拟地址让上层可以访问，kswapd可以根据物理页面的使用情况对页面进行换入换出。

对于内存的分配需求，可能来自内核态，也可能来自用户态。

对于内核态，kmalloc在分配大内存的时候，以及vmalloc分配不连续物理页的时候，直接使用伙伴系统，分配后转换为虚拟地址，访问的时候需要通过内核页表进行映射。

对于kmem_cache以及kmalloc分配小内存，则使用slub分配器，将伙伴系统分配出来的大块内存切成一小块一小块进行分配。

kmem_cache和kmalloc的部分不会被换出，因为用这两个函数分配的内存多用于保持内核关键的数据结构。内核态中vmalloc分配的部分会被换出，因而当访问的时候，发现不在，就会调用do_page_fault。

对于用户态的内存分配，或者直接调用mmap系统调用分配，或者调用malloc。调用malloc的时候，如果分配小的内存，就用sys_brk系统调用；如果分配大的内存，还是用sys_mmap系统调用。正常情况下，用户态的内存都是可以换出的，因而一旦发现内存中不存在，就会调用do_page_fault。

Linux系统默认是会将闲置的内存转为cache和buffer 是正常现象你发现空闲...

procsysvmdrop_caches (since Linux 2.6.16)
Writing to this file causes the kernel to drop clean caches,
dentries and inodes from memory, causing that memory to become
free.
To free pagecache, use echo 1 procsysvmdrop_caches; to
free dentries and inodes, use echo 2 procsysvmdrop_caches;
to free pagecache, dentries and inodes, use echo 3
procsysvmdrop_caches.
Because this is a non-destructive operation and dirty objects
are not freeable, the user should run sync(8) first.