Linux中內存buffer和cache的區別詳解
細心的朋友會注意到,當你在linux下頻繁存取文件后,物理內存會很快被用光,當程序結束后,內存不會被正常釋放,而是一直作為caching.這個問題,貌似有不少人在問,不過都沒有看到有什么很好解決的辦法.那么我來談談這個問題
cache 和 buffer的區別:
Cache:高速緩存,是位于CPU與主內存間的一種容量較小但速度很高的存儲器。由于CPU的速度遠高于主內存,CPU直接從內存中存取數據要等待一定時間周期,Cache中保存著CPU剛用過或循環使用的一部分數據,當CPU再次使用該部分數據時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1
Cache)和二級Cache(L2 Cache),L1 Cache集成在CPU內部,L2
Cache早期一般是焊在主板上,現在也都集成在CPU內部,常見的容量有256KB或512KB L2 Cache.
Buffer:緩沖區,一個用于存儲速度不同步的設備或優先級不同的設備之間傳輸數據的區域。通過緩沖區,可以使進程之間的相互等待變少,從而使從速度慢的設備讀入數據時,速度快的設備的操作進程不發生間斷。
Free中的buffer和cache:(它們都是占用內存):
buffer :作為buffer cache的內存,是塊設備的讀寫緩沖區
cache(名詞):作為page cache的內存,
文件系統的cache
如果 cache(名詞) 的值很大,說明cache住的文件數很多。如果頻繁訪問到的文件都能被cache(動詞)住,那么磁盤的讀IO
必會非常小。
先來說說free
命令
1
2
3
4
5
|
[root@server ~] # free -m total used free shared buffers cached Mem: 249 163 86 0 10 94 -/+ buffers /cache : 58 191 Swap: 511 0 511 |
其中:
total 內存總數
used 已經使用的內存數
free 空閑的內存數
shared 多個進程共享的內存總額
buffers
Buffer Cache和cached Page Cache 磁盤緩存的大小
-buffers/cache 的內存數:used - buffers -
cached
+buffers/cache 的內存數:free + buffers + cached
可用的memory=free
memory+buffers+cached
有了這個基礎后,可以得知,我現在used為163MB,free為86,buffer和cached分別為10,94
那么我們來看看,如果我執行復制文件,內存會發生什么變化.
1
2
3
4
5
6
|
[root@server ~] # cp -r /etc ~/test/ [root@server ~] # free -m total used free shared buffers cached Mem: 249 244 4 0 8 174 -/+ buffers /cache : 62 187 Swap: 511 0 511 |
在我命令執行結束后,used為244MB,free為4MB,buffers為8MB,cached為174MB,天吶都被cached吃掉了.別緊張,這是為了提高文件讀取效率的做法.
為了提高磁盤存取效率,
Linux做了一些精心的設計, 除了對dentry進行緩存(用于VFS,加速文件路徑名到inode的轉換), 還采取了兩種主要Cache方式:Buffer
Cache和Page Cache。前者針對磁盤塊的讀寫,后者針對文件inode的讀寫。這些Cache有效縮短了
I/O系統調用(比如read,write,getdents)的時間。"
那么有人說過段時間,linux會自動釋放掉所用的內存,我們使用free再來試試,看看是否有釋放?
1
2
3
4
5
|
[root@server test ] # free -m total used free shared buffers cached Mem: 249 244 5 0 8 174 -/+ buffers /cache : 61 188 Swap: 511 0 511 |
MS沒有任何變化,那么我能否手動釋放掉這些內存呢???回答是可以的!
/proc是一個虛擬文件系統,我們可以通過對它的讀寫操作做為與kernel實體間進行通信的一種手段.也就是說可以通過修改/proc中的文件,來對當前kernel的行為做出調整.那么我們可以通過調整/proc/sys/vm/drop_caches來釋放內存.操作如下:
[root@server test]# cat /proc/sys/vm/drop_caches
0
首先,/proc/sys/vm/drop_caches的值,默認為0
[root@server test]# sync
手動執行sync命令(描述:sync 命令運行 sync 子例程。如果必須停止系統,則運行
sync 命令以確保文件系統的完整性。sync 命令將所有未寫的系統緩沖區寫到磁盤中,包含已修改的 i-node、已延遲的塊 I/O 和讀寫映射文件)
[root@server test]# echo 3 > /proc/sys/vm/drop_caches
[root@server
test]# cat /proc/sys/vm/drop_caches
3
將/proc/sys/vm/drop_caches值設為3
1
2
3
4
5
|
[root@server test ] # free -m total used free shared buffers cached Mem: 249 66 182 0 0 11 -/+ buffers /cache : 55 194 Swap: 511 0 511 |
再來運行free命令,發現現在的used為66MB,free為182MB,buffers為0MB,cached為11MB.那么有效的釋放了buffer和cache.
有關/proc/sys/vm/drop_caches的用法在下面進行了說明
/proc/sys/vm/drop_caches
(since Linux 2.6.16)
Writing to this file causes the kernel to drop clean
caches,
dentries and inodes from memory, causing that memory to
become
free.
To free pagecache, use echo 1 > /proc/sys/vm/drop_caches;
to
free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;
to
free pagecache, dentries and inodes, use echo 3
>
/proc/sys/vm/drop_caches.
Because this is a non-destructive operation
and dirty objects
are not freeable, the user should run sync(8) first.
buffer 與cache 的區別
A buffer is something that has yet to be "written" to disk. A cache is
something that has been "read" from the disk and stored for later
use.
更詳細的解釋參考:Difference Between Buffer and Cache
對于共享內存(Shared
memory),主要用于在UNIX
環境下不同進程之間共享數據,是進程間通信的一種方法,一般的應用程序不會申請使用共享內存,筆者也沒有去驗證共享內存對上面等式的影響。如果你有興趣,請參考:What
is Shared Memory?
cache 和
buffer的區別:
Cache:高速緩存,是位于CPU與主內存間的一種容量較小但速度很高的存儲器。由于CPU的速度遠高于主內存,CPU直接從內存中存取數據要等待一定時間周期,Cache中保存著CPU剛用過或循環使用的一部分數據,當CPU再次使用該部分數據時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1
Cache)和二級Cache(L2 Cache),L1 Cache集成在CPU內部,L2
Cache早期一般是焊在主板上,現在也都集成在CPU內部,常見的容量有256KB或512KB L2
Cache。
Buffer:緩沖區,一個用于存儲速度不同步的設備或優先級不同的設備之間傳輸數據的區域。通過緩沖區,可以使進程之間的相互等待變少,從而使從速度慢的設備讀入數據時,速度快的設備的操作進程不發生間斷。
Free中的buffer和cache:(它們都是占用內存):
buffer
: 作為buffer cache的內存,是塊設備的讀寫緩沖區
cache: 作為page cache的內存, 文件系統的cache
如果
cache 的值很大,說明cache住的文件數很多。如果頻繁訪問到的文件都能被cache住,那么磁盤的讀IO bi會非常小。
cache是高速緩存,用于CPU和內存之間的緩沖;
buffer是I/O緩存,用于內存和硬盤的緩沖
cache最初用于cpu cache, 主要原因是cpu 與memory,
由于cpu快,memory跟不上,且有些值使用次數多,所以放入
cache中,主要目的是,重復使用,
并且一級\二級物理cache速度快,
buffer 主要用于disk 與
memory, 主要是保護硬盤或減少網絡傳輸的次數(內存數據表現dataSet).當然也可以提高速度(不會立即寫入硬盤或直接從硬盤中讀出的數據馬上顯示),重復使用,最初最主要的目的是保護disk,
asp.net的cache有outputcahe與數據cache,
主要目的是 重復使用,提高速度,outputcache主要存儲Reader后的頁,一般是多次使用同一個HTML,建議不要varybyparam,不要存多version,
數據cache,如dataSet,
dataTable, 等
@page buffer="true",
使用buffer,讓buffer滿后再顯示讀出或寫入,(c中文件輸出也是如此,主要目的是保護硬盤), 也可以提高下次的訪問速度. 在client
browse端表現是: true是一次性顯示,要么不顯示, 中間等, false是一次顯示一些,
這在網絡輸出也是如此表現.
對于文件訪問c中默認采用的是buffer = true, 這與asp.net一樣,
相當于Response.write();中當buffer滿后輸出,以減少網絡的傳輸次數
<%@ OutputCache
Duration="60" VaryByParam="none"%>, 是將asp.net生成的HTML緩存起來,在指定的時間內不需要重新生成html,
control.ascx.也有組件緩存(htmlCach)。 dataSet也是如此。DataCache,
cache和buffer都是緩沖區,
在翻譯上,cache翻譯成高速緩沖區要好一點(因為主要是為下次訪問加速),
buffer翻譯成緩沖區好點。都是緩沖的作用,可目的有點不同,主要是理解,不需要太咬文嚼字.
cache 和 buffer的區別
1, Buffer是緩沖區
2, Cache 是高速緩存,分library cache; data dictionary cache;
database buffer cache
Buffer cache 緩沖區高速緩存,用于緩存從硬盤上讀取的數據,減少磁盤I/O.
3,
buffer有共享SQL區和PL/SQL區 , 數據庫緩沖區高速緩存有獨立的subcache
4, pool 是共享池
用于存儲最近執行的語句等
5, cache:
A cache is a smaller, higher-speed component that
is used to speed up the
access to commonly used data stored in a lower-speed,
higher-capacity
component.
database buffer cache:
The database buffer
cache is the portion of the SGA that holds copies of data
blocks
read from
data files. All user processes concurrently (同時地,兼任地)connected
to the
instance share access to the database buffer cache.
buffer
cache就是以block為單位讀入寫出的。
緩存(cache)是把讀取過的數據保存起來,重新讀取時若命中(找到需要的數據)就不要去讀硬盤了,若沒有命中就讀硬盤。其中的數據會根據讀取頻率進行組織,把最頻繁讀取的內容放在最容易找到的位置,把不再讀的內容不斷往后排,直至從中刪除。
緩沖(buffers)是根據磁盤的讀寫設計的,把分散的寫操作集中進行,減少磁盤碎片和硬盤的反復尋道,從而提高系統性能。linux有一個守護進程定期清空緩沖內容(即寫如磁盤),也可以通過sync命令手動清空緩沖。舉個例子吧:
我這里有一個ext2的U盤,我往里面cp一個3M的MP3,但U盤的燈沒有跳動,過了一會兒(或者手動輸入sync)U盤的燈
就跳動起來了。卸載設備時會清空緩沖,所以有些時候卸載一個設備時要等上幾秒鐘。
修改/etc/sysctl.conf中的vm.swappiness右邊的數字可以在下次開機時調節swap使用策
略。該數字范圍是0~100,數字越大越傾向于使用swap。默認為60,可以改一下試試。
-----------------------------------------
兩者都是RAM中的數據。簡單來說,buffer是即將要被寫入磁盤的,而cache是被從磁盤中讀出來的。
buffer是由各種進程分配的,被用在如輸入隊列等方面,一個簡單的例子如某個進程要求有多個字段讀入,在所有字段被讀入完整之前,進程把先前讀入的字段放在buffer中保存。
cache經常被用在磁盤的I/O請求上,如果有多個進程都要訪問某個文件,于是該文件便被做成cache以方便下次被訪問,這樣可提供系統性能。
A
buffer is something that has yet to be "written" to disk. A cache issomething
that has been "read" from the disk and stored for later
use.
更詳細的解釋參考:Difference Between Buffer and Cache
對于共享內存(Shared
memory),主要用于在UNIX
環境下不同進程之間共享數據,是進程間通信的一種方法,一般的應用程序不會申請使用共享內存,筆者也沒有去驗證共享內存對上面等式的影響。如果你有興趣,請參考:What
is Shared Memory?
cache 和
buffer的區別:
Cache:高速緩存,是位于CPU與主內存間的一種容量較小但速度很高的存儲器。由于CPU的速度遠高于主內存,CPU直接從內存中存取數據要等待一定時間周期,
Cache中保存著CPU剛用過或循環使用的一部分數據,當CPU再次使用該部分數據時可從Cache中直接調
用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1
Cache)和二級Cache(L2 Cache),L1 Cache集成在CPU內部,L2
Cache早期一般是焊在主板上,現在也都集成在CPU內部,常見的容量有256KB或512KB L2 Cache。
Buffer:緩沖區,一個用于存儲速度不同步的設備或優先級不同的設備之間傳輸數據的區域。通過緩沖區,可以使進程之間的相互等待變少,從而使從速度慢的設備讀入數據時,速度快的設備的操作進程不發生間斷。
Free中的buffer和cache:(它們都是占用內存):
buffer : 作為buffer cache的內存,是塊設備的讀寫緩沖區
cache: 作為page cache的內存,
文件系統的cache
如果 cache 的值很大,說明cache住的文件數很多。如果頻繁訪問到的文件都能被
cache住,那么磁盤的讀IO
bi會非常小。
===========================================
# sync
# echo 1 >
/proc/sys/vm/drop_caches
echo 2 > /proc/sys/vm/drop_caches
echo 3 >
/proc/sys/vm/drop_caches
cache釋放:
To free pagecache:
echo 1 >
/proc/sys/vm/drop_caches
To free dentries and inodes:
echo 2 >
/proc/sys/vm/drop_caches
To free pagecache, dentries and inodes:
echo 3
>
/proc/sys/vm/drop_caches
說明,釋放前最好sync一下,防止丟數據。
因為LINUX的內核機制,一般情況下不需要特意去釋放已經使用的cache。這些cache起來的內容可以增加文件以及的讀寫速度。
關鍵字:Linux、內存、buffer、cache
新文章:
- CentOS7下圖形配置網絡的方法
- CentOS 7如何添加刪除用戶
- 如何解決centos7雙系統后丟失windows啟動項
- CentOS單網卡如何批量添加不同IP段
- CentOS下iconv命令的介紹
- Centos7 SSH密鑰登陸及密碼密鑰雙重驗證詳解
- CentOS 7.1添加刪除用戶的方法
- CentOS查找/掃描局域網打印機IP講解
- CentOS7使用hostapd實現無AP模式的詳解
- su命令不能切換root的解決方法
- 解決VMware下CentOS7網絡重啟出錯
- 解決Centos7雙系統后丟失windows啟動項
- CentOS下如何避免文件覆蓋
- CentOS7和CentOS6系統有什么不同呢
- Centos 6.6默認iptable規則詳解