Linuxbuff/cache占用大量内存分析

1、问题根源：使用Linux系统时；我们经常会发现缓存占用了大量的内存。
例如，当你使用free命令查询内存状态时，你会看到buff/cache占用了2.1G内存。
Linux从2.4版本开始，“buffer”和“cache”被合并到页缓存中，整体内存使用率很高，但实际使用（used）的内存只有282M。
这表明保留的内存多于实际使用的内存。
2、Linux缓存内容：缓存是文件数据的页缓存，主要用于加速文件读写操作。
地图，当使用缓冲I/O（BufferedI/O）和预读（Read-Ahead）等技术时。
内核会生成一个页面缓存。
但是，如果您使用RawI/O或DirectI/O；您可以绕过缓存，避免缓存使用，直接在磁盘或分区上执行I/O操作。
3.检查Linux缓存工具：查看缓存了哪些文件；你是“fincore”；`pcstat`,`hcache`,您可以使用“vmtouch”等工具。
他们不再维护“fincore”。
主要是`pcstat`；`hcache`和`vmtouch`。
这些工具可以帮助分析缓存使用情况以识别问题区域。
4.使用`pcstat`-`pcstat`缓存是一个用来分析的工具，其安装和使用如下。
首先需要安装`go`语言包，然后，生成源代码；您需要编译该工具并运行它以验证其功能。
需要注意的是，不同的操作系统和CPU架构需要编译相应版本的“pcstat”可执行文件，以确保兼容性和最佳性能。
5.`hcache`工具：`hcache`是一个缓存分析工具，其设置方法与`pcstat`类似。
`hcache`提供了一些附加功能，例如求和计算和用于显示最高缓存消耗的文件或进程的`--top`选项，但此功能的准确性可能有限。
6.`vmtouch`工具：`vmtouch`是一个用C语言编写的工具，用于理解和控制Unix和类Unix系统的文件系统缓存。
它查询缓存中的文件；加载热文件；清除缓存；它提供了许多功能，包括锁定文件页面以防止它们被传输到磁盘等。
7.总结：通过上面提到的工具；我们有效分析Linux系统的缓存存在性它可以管理、优化内存使用并提高系统性能。
通过组合使用这些工具，您可以直观地解决诸如识别占用大量缓存的文件和进程并采取适当措施减少缓存使用、提高系统性能等问题。

Linux中内存buffer和cache的区别详解

细心的朋友会注意到，在Linux下经常使用文件时，物理内存会很快被用完，很多人似乎都在问，但没有人看看有没有好的解决方案，那么我就来说说这个问题

cache和buffer的区别：

Cache：高速缓存，它位于CPU和缓冲区之间。
主存储器一种容量小但速度快的存储器。
由于CPU的速度远高于主存，CPU要等待一定的时间才能直接从内存中访问数据，“Cache”中存放着刚刚被CPU使用过的一部分数据。
CPU被回收当CPU再次使用该数据时，可以直接从Cache中检索，这样减少了CPU的等待时间，提高了系统效率。
缓存分为一级缓存（L1Cache）和二级缓存（L2Cache），集成在CPU内部，容量为256KB或512KBL2Cache。
通过缓冲，可以减少进程之间的等待，使得当从慢速设备读取数据时，快设备的操作进程不会被中断。

Free中的Buffer和cache：（都占用内存）：

Buffer：和buffercache内存一样，是设备块缓存的读写缓冲区（名字）：一样页面缓存、文件系统缓存如果cache(name)的值太大，说明缓存中的文件太多。
如果经常访问的文件可以存放在内存中（动词），那么磁盘读IO就会很小。

先说free命令

[root@server~]#free-mtotalusedfreesharedbufferscachedMem:2491638601094-/+buffers/cache:58191Swap:5110511

其中：

已用内存总数已用空闲内存数已分配空闲内存总数多个进程共享的内存buffersBufferCache和cachedPageCache磁盘缓存大小-缓存缓冲区/缓存数量：used-buffers-cached+buffers/缓存数量：free+buffers+cache可用内存=freemory+buffers+cached

是了解了这个基础后我们可以知道我当前使用的是163MB，空闲的是86。
缓冲区和内存分别是10和94那么让我们看看如果复制文件，内存会发生什么变化。

[root@server~]#cp-r/etc~/test/。
[root@serverver~]#free-mtotalusedfreeshedbufferscachedMem:249244408174-/+buffers/cache:62187Swap:5110511

运行我的命令后，已用空间为244MB，可用空间为4MB，缓存空间为174MB，天啊，都被缓存吃掉了，这是为了提高效率文件读取为了提高磁盘效率，Linux除了存储齿（在VFS中用于加速文件路径名到inode的转换）之外，还做了一些精心设计，还使用了两种主要的Cache方式：BufferCache和PageCache。
。
第一个用于读写磁盘块，第二个用于读写文件inode。
这些缓存有效地缩短了系统I/O调用（例如read、write、getdents）的时间。
”然后有人说，过一段时间Linux会自动释放使用过的内存，我们再用free试试看是否释放了？

[root@servertest]#free-mtotalusedfreeshedbufferscachedMem:249244508174-/+buffers/cache:61188Swap:5110511

MS没有变化，我可以手动释放它吗我的记忆也就是说，可以通过修改/proces中的文件来调整当前的内核行为，释放缓存，操作如下：

[root@servertest]#cat/proc/sys/vm/drop_caches0

首先是/proc/sys/的值。
vm/drop_caches,默认为0

[root@servertest]#sync手动运行sync命令（说明：sync命令运行sy子程序nc如果系统需要停止，运行sync命令到确保文件系统的完整性。

/proc/sys/vm/drop_caches[root@servertest]#cat/proc/sys/vm/drop_caches3

设置值/proc/sys/vm/drop_caches为3

[root@servertest]#free-mtotalusedfreesharedbufferscachedMem:249661820011-/+buffers/cache:55194Swap:5110511

再次运行free命令，发现当前使用的是66MB，空闲的是182MB，buffers是0MB，cache是​​11MBBuffers和cache使用/proc/sys/vm/drop_caches进一步解释down/proc/sys/vm/drop_caches(自Linux2.6.16起)写入此文件会导致内核从内存中清理缓存、目录和节点，导致内存变为空闲。
要释放页面缓存，useecho1>/proc/sys/vm/drop_caches;tofreedentriesandinodes,useecho2>/proc/sys/vm/drop_caches;tofreepagecache,dentriesandinodes,useecho3>/proc/sys/vm/drop_caches因为这是一个破坏性操作并且脏对象不是免费的，所以用户应该了解.和缓存

“Bufferissomething”到磁盘。
Acacheissomething“已从磁盘读取”并存储以供以后使用。
更详细的解释请参考：DifferenceBetweenBufferandCache一般来说应用程序不会申请使用共享内存，并且作者没有验证上式中共享内存的影响。
如果您有兴趣，请参考：什么是共享内存高速缓存和缓冲区的区别：高速缓存：高速缓存是位于CPU和主存之间的一种容量较小但速度较高的存储器。
由于CPU的速度远高于主存，CPU要等待一定的时间才能直接从内存中访问数据，“Cache”中存放着刚刚被CPU使用过的一部分数据。
CPU被回收当CPU再次使用该数据时，可以直接从Cache中检索，这样减少了CPU的等待时间，提高了系统效率。
缓存分为一级缓存（L1Cache）和二级缓存（L2Cache），集成在CPU内部，容量为256KB或512KBL2Cache。
Buffer：缓冲区，用于存储速度不同步的设备或优先级不同的设备之间传输的数据的区域。
通过缓冲，可以减少进程之间的等待，使得当从慢速设备读取数据时，快设备的操作进程不会被中断。
Free中的Buffer和cache：（都占用内存）：Buffer：用作buffercache的内存是设备块缓存读写buffer：用作页缓存、文件系统缓存的内存如果cache值很大，则表示缓存有太多文件无法生存。
如果经常访问的文件能够被缓存，那么磁盘读取IObi将会很小。

cache是​​缓存，用于CPU和内存之间的缓冲是I/O缓存，用于内存和硬盘的缓冲

cache最初是用于cpucache；原因在于CPU和内存由于CPU速度快，内存和不是上面的，而且有些值被多次使用，所以被缓存起来，主要目的是为了重用，而一级、二级物理缓存主要用于磁盘和内存，保护硬盘或者减少网络传输次数（内存数据代表数据）。
当然也可以提高速度（数据不会立即写入硬盘或者直接从硬盘读取的数据会立即显示）并且会复用asp.net有输出缓存和数据缓存目的主要是可重用性，提高速度，输出主要保存Reader后的页面一般情况下，同一个HTML会被多次使用。
”，使用缓冲区r，在发生读或写之前让缓冲区填满（输出文件到c也是如此，主要目的是保护硬盘），这样也可以提高以后访问的速度客户端的浏览端是：true是一次性显示，或者不显示等，false是一次显示几个，显示在网络输出上访问也是如此file,buffer=true是asp.net默认使用的，等于Response.write();不需要及时重新生成html，control.ascx也有组件缓存（htmlCach）。
同样适用对于dataSet来说，DataCache和buffer都是缓冲区，从翻译上来说，cache翻译成高速缓冲区更好（因为它主要是为了加速其他访问）。
它更好地翻译为卫生棉条。
它们都是用来缓冲的，但目的略有不同。
主要目标是理解，没必要太字面意思。

缓存和缓冲区的区别

<。
1Buffer是缓冲区2，而Cache是​​高速缓存，分为数据库数据缓存Cache用于存储从硬盘读取的数据，减少磁盘的I/O3用于保存最近执行的语句，ETC。
eedup对存储在速度较低、容量较高的组件che.buffercache中的普通数据的访问是按块读取和写入的。

缓存（cache）在重读时保存读取的数据（缓存），不读取硬盘。
数据会按照阅读频率进行组织，将最常阅读的内容放在最容易找到的位置，将不再阅读的内容移到后面直至删除。
缓冲区是基于磁盘读写而创建的，它们集中分布式写入操作，以减少磁盘碎片和重复的磁盘搜索，从而提高系统性能。
Linux有一个守护进程，定期清除缓冲区的内容（即写入磁盘。
例如：

我上面有一个ext2的U盘，但是U盘灯在运行一段时间后不灭。
while（或者会手动进入同步）。
灯开始闪烁。
下载设备时缓冲区会被清除。
所以有时需要等待几秒钟才能下载设备。
修改vm.swappiness右边的数字在/etc/sysctl.conf中调整下次启动时使用交换的策略。
该数字范围从0到100。
数字越大，越可能使用交换。
默认为60。
您可以尝试。
改变它。
------------------------------------------两者都是RAM中的数据。
简单来说，缓冲区将被写入磁盘，而缓存将从磁盘读取。
缓冲区由不同进程共享，并用于输入队列等方面。
缓存经常用于磁盘I/O请求，如果多个进程想要访问一个文件，该文件将被缓存以方便其他访问，这可以提高系统性能。
更详细的解释请参考：DifferenceBetweenBufferandCache。
对于共享内存（Sharedmemory）来说，主要是在不同的环境下使用，一般应用程序不会申请使用共享内存，而且作者也没有验证上式中共享内存的影响。
如果您有兴趣，请参考：什么是共享内存高速缓存和缓冲区的区别：高速缓存：高速缓存是位于CPU和主存之间的一种容量较小但速度较高的存储器。
由于CPU的速度远高于主存，CPU要等待一定的时间才能直接从内存中访问数据，“Cache”中存放着刚刚被CPU使用过的一部分数据。
CPU被回收当CPU再次使用该数据时，可以直接从Cache中检索，这样减少了CPU的等待时间，提高了系统效率。
缓存分为一级缓存（L1Cache）和二级缓存（L2Cache），集成在CPU内部，容量为256KB或512KBL2Cache。

Buffer：缓冲区，每个存储一个存储速率不同步的设备或优先级不同的设备之间传输数据的区域。
通过缓冲，可以减少进程之间的等待，使得当从慢速设备读取数据时，快设备的操作进程不会被中断。

Free中的Buffer和cache：（都占用内存）：

Buffer：像buffercache内存，是块设备的读写缓冲区缓存：像页缓存、文件系统缓存如果缓存值很大，则说明缓存中的文件过多。
如果经常访问的文件能够被缓存，那么磁盘读取IObi将会很小。

/proc/sys/vm/drop_cachesecho2>/proc/sys/vm/drop_cachesecho3>/proc/sys/vm/drop_cachescache释放：Tofreepagecache:echo1>/proc/sys/vm/drop_cachesTofreedentriesandinodes:echo2>/proc/sys/vm/drop_cachesTofreepagecache,dentriesandinodes:echo3>/proc/sys/vm/drop_caches说明最好在删除数据之前进行同步。
由于LINUX内核机制的原因，一般不需要刻意释放已经使用过的缓存。
这些缓存的内容可以提高文件和文件的读写速度。

讲解Linux内核高速缓存(cache)原理（图例解析）

高速缓存（Cache）是一种靠近处理器的快速、小容量存储器。
它由基于静态随机存取存储器（SRAM）的硬件自动管理。
主要原理是将经常访问的数据块存储在缓存中，以减少CPU对其的直接访问。
主存储器一定次数。
处理器首先在高速缓存中查找所需的数据，而不是直接访问主存，希望将访问的数据存储在高速缓存中。
访问数据块时，并不是以单个字节为单位，而是以CPULines（缓存线）为单位。
当访问的块不在缓存中时，将从内存中删除并放入缓存中。
放置策略决定了块将被放置在哪里，替换策略决定了哪个块将被替换。
IntelCorei7处理器的dCache（数据高速缓存）和iCache（指令高速缓存）是高速缓存层次结构的一个示例。
关键的缓存问题包括确定数据是否在缓存中、查找数据（DataIdentification）、地址映射（AddressMapping）、替换策略（PlacementPolicy）以及确保缓存和内存之间的一致性（WritePolicy）。
主存和缓存之间的地址映射有三种方法：直接映射（一对一映射）、全关联映射（一对多映射）、组关联映射（多对多映射）。
直接映射的优点是地址变换快、替换算法简单，但容易产生冲突、缓存利用率低、命中率低。
全关联映射的优点是缓存利用率高，但硬件开销增加，相应的替换算法复杂。
组关联映射的优点是命中率提高、块争用概率降低、缓存利用率高，但寻道速度相比稍慢。
在缓存容量的选择上，容量较小时采用组相联映射或全相联映射，容量较大时采用直接映射。
当访问速度要求高时使用直接映射，当访问速度要求低时使用关联或全关联映射。
当多个线程同时从同一缓存行读取和写入不同变量时，就会出现缓存伪共享问题，从而导致缓存未命中。
解决方案是避免数据位于同一缓存行中，使用__cacheline_aligned_in_smp或字节填充等宏定义。
JavaDisruptor并发框架。
使用继承来避免错误共享。
更多关于Linux内核源代码的高级知识和免费资源可以从开发交流群获得。

Linux如何清理swapbuffer及cache等缓存

Buffer和Cache都是Linux服务器的缓存。
如果交换分区占用率过高，系统将会受到影响。
因此，在Linux系统上需要及时清除它们。
如何在Linux系统上清除交换空间。
下面我们一起来了解一下buffer和cache。
清除swap：代码如下：swapoff-a&&swapon-a注意。
对于这样的清理，有一个必要条件：空闲内存量必须大于已使用的交换空间：代码如下：sync;sync;sync。
;&&echo3》/proc/sys/vm/drop_caches【sleep2】echo0【/proc/sys/vm/drop_caches】Tofreepagecache：代码如下：【echo1】/proc/sys/vm/drop_caches【Tofreedentriesandinodes：代码如下：echo2》/proc/sys/vm/drop_cachestofreepagecache,dentriesandinodes:代码如下：echo3》/proc/sys/vm/drop_caches/proc/sys/vm/drop_caches的默认值为0（所以我们清除后，我们将其值恢复为0）。
以上就是Linux系统上清除swap、buffer、cache的方法的介绍。
清除swap的前提是有条件的，定期清理swap和buffer也是必要的。