Linux缓存机制buffers/cached

在Linux 操作系统中，当应用程序需要读取文件中的数据时，操作系统会先分配一些内存，将数据从磁盘读入到这些内存中，然后再将数据发给应用程序；当需要往文件中写数据时，操作系统先分配内存接收用户数据，然后再将数据从内存写到磁盘上。然而，如果有大量数据需要从磁盘读取到内存或者由内存写入磁盘时，系统的读写性能就变得低下。因为无论是从磁盘读数据，还是写数据到磁盘，都是一个很消耗时间和系统资源的过程。

缓存原理：为了提高系统读写性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。缓存优点是减少系统调用次数，降低CPU上下文切换和磁盘访问频率。缓存是内存的一部分，它透明地存储数据，以便将来对该数据的请求可以更快地得到服务。内核利用内存来缓存磁盘数据并提高I/O性能。
缓存机制：Linux引入了buffers和 cached机制，buffers与cached都是内存操作，用来保存系统曾经打开过的文件以及文件元数据，这样当操作系统需要读取某些文件时，首先在buffers与cached内存区查找，如果找到，直接读出给应用程序，如果没有找到需要数据，才从磁盘读取，这就是操作系统的缓存机制，通过缓存，大大提高了操作系统的性能。
目录项和元数据：在介绍buffers和cached不同之前，先解释目录项(dentry)，元数据(metadata)概念，Linux文件系统是典型的树状关系，可以在根目录下使用tree命令查看。为了方便查找文件，linux引入目录项(dentry)描述目录与文件的关系树，Linux为每一个目录建立一个目录项，也为每个文件建立一个目录项。一个目录项主要包括文件名和索引节点号，索引节点号是指向索引节点表( system inode table )中对应的索引节点，使用ls -i命令就可以看到当前目录中的目录或文件的名字和索引节点号。目录项结构中包含很多信息，可以建立目录、子目录、文件之间的关系，利用目录项关系，加快文件的查找。在Linux系统中数据可分为两大类，数据和元数据，数据泛指普通文件中的实际数据，元数据是用来描述一个文件的特征的系统数据。为了便于更好的理解数据和元数据，请看下面的例子，使用cat命令查看/etc/hostname文件，显示的内容就是实际数据，使用stat命令查看/etc/hostname，显示的内容就是元数据，包括块大小，文件类型，索引节点号码，访问权限，时间戳等。

# ls -i
9605314 doc 25167360 jump 26452260 scripts 4429632 soft 228749 test.txt

# cat /etc/hostname
safeidc

# stat /etc/hostname
File: /etc/hostname
Size: 9 Blocks: 8 IO Block: 4096 regular file
Device: fd00h/64768d Inode: 8620417 Links: 1
Access: (0644/-rw-r–r–) Uid: ( 0/ root) Gid: ( 0/ root)
Context: system_u:object_r:hostname_etc_t:s0
Access: 2020-12-19 13:52:26.158472928 +0800
Modify: 2020-11-06 13:48:38.917519851 +0800
Change: 2020-11-06 13:48:38.917519851 +0800
Birth: –
buffers与cached不同：Buffers是存储在页缓存下的数据的磁盘块表示形式，Buffers包含驻留在页缓存(Page Cache)下的文件/数据的元数据（metadata)，通常指的是目录项（dentries)和索引节点（inode)。而cached是用来给文件/数据做缓冲。更通俗一点说，cached里面存储的是数据，buffers里面存储的是数据在磁盘块表示形式。
为了便于更好地理解buffers和cached机制，下面做两个测试：

测试一：执行cat命令查看主机名，第一次查看主机名后，Cached值明显增大了，是因为主机名的数据存入了cached；第二次查看主机名后，Cached值只增加了4kB，且消耗的时间比第一次查看主机名消耗的时间要小的多，是因为直接从cached中读取主机名数据，所以消耗时间变短。

# echo 3 > /proc/sys/vm/drop_caches;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
Buffers: 108 kB
Cached: 115716 kB

# time cat /etc/hostname ;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
safeidc
real 0m0.005s
user 0m0.001s
sys 0m0.003s
Buffers: 108 kB
Cached: 121964 kB

# time cat /etc/hostname ;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
safeidc
real 0m0.002s
user 0m0.001s
sys 0m0.001s
Buffers: 108 kB
Cached: 121968 kB
测试二：执行find命令在系统中查找文件fstab，第一次找到文件之后，bfffers的值变大了，这是因为文件的目录项存入了buffers；第二次找到文件之后，buffers的值没变，且消耗的时间要比第一次查找消耗的时间小的多，是因为直接从buffers中找到了文件所在的路径，所以消耗的时间变短。

# echo 3 > /proc/sys/vm/drop_caches;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
Buffers: 108 kB
Cached: 115720 kB

# time find / -name fstab;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
/etc/fstab
real 0m7.805s
user 0m0.524s
sys 0m5.360s
Buffers: 1388 kB
Cached: 118172 kB

# time find / -name fstab;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
/etc/fstab
real 0m1.112s
user 0m0.565s
sys 0m0.529s
Buffers: 1388 kB
Cached: 118172 kB
共享内存段：共享内存段也被视为缓存，尽管它们不代表磁盘上的任何数据。可以使用ipcs -m命令并检查bytes列来检查共享内存段的大小。

# ipcs -m
—— Shared Memory Segments ——–
key shmid owner perms bytes nattch status
0x301375cf 0 root 640 32768 0
查看cached和buffers大小：通过cat /proc/meminfo命令可以查看cached和buffers的大小，如果系统是RHEL6&CentOS6或之前的版本，可以使用free命令查看cached和buffers大小，但自RHEL7&CentOS7开始，free命令只显示cache/buffer的总和，且cache指的是由page cache和slabs使用的内存，和cached是不同的。

# cat /proc/meminfo |egrep -w “Buffers:|Cached:”
Buffers: 14648 kB
Cached: 12621116 kB

# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.4 (Santiago)

# free -m
total used free shared buffers cached
Mem: 7872 4329 3542 0 380 3053
-/+ buffers/cache: 895 6976
Swap: 6143 0 6143

# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 7.8 (Maipo)

# free -m
total used free shared buff/cache available
Mem: 15883 2230 383 791 13269 12531
Swap: 2047 1 2046
如果没有剩余的空闲内存，而新进程需要空闲内存，会发生什么情况？
当一个新进程需要内存上的空闲页时，内核将检查是否有任何页在缓存中，相应地内核将通过将文件从缓存同步到本地磁盘来回收空闲页，并为新进程释放内存。

为什么缓存会占用这么多内存？
根据Linux虚拟内存管理机制，这种行为是正常的。要理解为什么缓存会变得如此之高，以及为什么这不是一个问题，就必须了解I/O在Linux上是如何工作的。当用户进程读取或写入文件时，它实际上是在修改主内存中该文件的副本。内核从磁盘创建该副本，并在必要时将更改写回磁盘。这些副本占用的内存称为缓存内存。

每当用户进程启动读或写操作时，都会消耗缓存内存。内核将查找用户正在操作的文件部分的副本，如果没有这样的副本，它将分配一个新的缓存页，并用从磁盘读取的适当内容填充它。如果用户只读取文件，则此页将标记为“干净”缓存页。但是，一旦用户写入文件，页面将被标记为“dirty”。ps中出现的名为pdflush的内核线程将定期唤醒并将所有标记为脏的页面复制回磁盘，然后再次将它们标记为干净。请注意，该页只被重新标记为clean，当它被写回时，它不会被释放，而是被保留起来，以防有人想对它缓存的文件部分执行进一步的IO操作。

缓存页只有在内核需要内存用于其他操作时才会再次释放。因为已经从磁盘读取缓存页可以加快I/O，而且由于清除干净的缓存页与分配空闲页一样容易，而且由于空闲页对系统的性能和功能没有任何帮助，因此没有理由将缓存页转换为空闲页。如果内存充满了缓存页，下一次内核需要内存时，它将简单地逐出最近最少使用的干净缓存页并重新使用它们。

如何进行手动 buffer/cached回收？
系统在内存使用达到一定阀值的情况下会自动启动回收机制回收buffer/cached，也可以进行手动的buffer/cached回收，由于buffer/cache主要是用于文件的读写使用，所以进行文件回收时，一般常伴随系统的I/O繁忙，因为系统会将缓存数据写回磁盘。

警告：红帽不建议在产品环境手动释放缓存，因为在实践中发现可能会出现系统挂起现象，手动释放缓存只能临时的屏蔽系统中出现的缓存占用内存过大现象，没有去查找根本原因，并解决问题。

将内存中数据强制先刷新到磁盘中：
sync; sleep 3; sync
清理缓存：
echo 3 > /proc/sys/vm/drop_caches 表示清除pagecache和slab分配器中的缓存对象
echo 1 > /proc/sys/vm/drop_caches:表示清除pagecache。
echo 2 > /proc/sys/vm/drop_caches:表示清除回收slab分配器中的对象（包括目录项缓存和inode缓存）。slab分配器是内核中管理内存的一种机制，其中很多缓存数据实现都是用的pagecache。
如果buffers/cached过高，如何排查哪些进程引起的？
通过hcache和lsof命令我们可以找到引起缓存过高的进程，但是hcache命令不是系统预安装命令，可以从网上直接下载hcache或下载hcache的源码包编译安装后使用，对于产品环境，从安全的角度考虑，建议先在测试环境从github下载hcache的源码包编译生成hcache命令，然后再拷贝 hcache命令到产品环境使用。

hcache编译安装方法如下：

git clone https://github.com/silenceshell/hcache.git
cd hcache
make build
sudo cp hcache /usr/local/bin/
使用hcache和lsof命令查找引起缓存过高的进程示例如下：

# hcache -top 3
+———————————+—————-+————+———–+———+
| Name | Size (bytes) | Pages | Cached | Percent |
|———————————+—————-+————+———–+———|
| /var/lib/sss/mc/initgroups | 11567160 | 2825 | 2825 | 100.000 |
| /var/lib/sss/mc/passwd | 9253600 | 2260 | 2260 | 100.000 |
| /usr/lib64/libmozjs-60.so.0.0.0 | 23727992 | 5793 | 1776 | 030.658 |
+———————————+—————-+————+———–+———+

# hcache -top 3 –bname
+———————-+—————-+————+———–+———+
| Name | Size (bytes) | Pages | Cached | Percent |
|———————-+—————-+————+———–+———|
| initgroups | 11567160 | 2825 | 2825 | 100.000 |
| passwd | 9253600 | 2260 | 2260 | 100.000 |
| libmozjs-60.so.0.0.0 | 23727992 | 5793 | 1776 | 030.658 |
+———————-+—————-+————+———–+———+

# lsof /var/lib/sss/mc/initgroups
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sssd_nss 1337 root mem-w REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sssd_nss 1337 root 20uw REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sshd 57738 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sshd 57738 root 3r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sshd 57756 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sshd 57756 root 3r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
dbus-daem 57780 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
dbus-daem 57780 root 7r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
使用free命令查看内存使用情况时需要注意的问题：应该更关注的是可用内存的大小，而不是实际物理内存剩余多少。从Linux缓存机制来说，buffers和cached都是系统可用内存，通常情况下看到bufferes和cached占用内存多，这是一个正常现象，它不是一个问题，所以在看到物理内存快要耗尽时，不要惊慌，因为系统在需要时会自动回收buffers和cached占用的内存。