壓榨您的記憶體 - CompCache

您可能沒有辦法在 1 公升的茶壺裡裝下 1.5 公升的水，但是現在您有機會在 1GB 的記憶體裡面塞進 1.5GB 的資料！與 Windows Vista 的 ReadyBoost 不同，Linux 的 CompCache 試圖在不須外加任何硬體下，把更多資料塞進記憶體裡面。

與許多先進的作業系統一樣，Linux 以分頁（page）來管理記憶體。Linux 的分頁大致上可分為：

1. 核心分頁（kernel pages）：核心分頁永遠不會被放到虛擬記憶體中，不管是不是在拉屎，反正總是在實體記憶體中佔一個茅坑。某些 Unix 系統可以把核心分頁放到虛擬記憶體，但是 Linux 的開發者們覺得這太囉唆了，會大幅增加 VMM 的複雜度，所以沒有這麼做。
2. 程式內容（program texts）：程式內容就是一個程式實際會被執行的東西，例如 /bin/bash 或 /lib/libc.so.6 裡面的東西。這些是唯讀的資料，亦即，這些資料從被載入到卸除之間，內容都不會改變。呃，您不會希望 ls 執行到一半突然變成 rm 吧 @@ 想當然 kernel developers 不可能讓這種事情發生！
3. 檔案分頁（file-backed pages）：這種分頁也是從某個實際的檔案讀進來，但是它們的內容並不是唯讀的。如果在記憶體中的內容改變了的話，則必須找機會寫回檔案裡面。
4. 匿名分頁（anonymous pages）：由於這些分頁沒有對應到實際的檔案，所以被叫做「匿名」的分頁，stack 跟 heap 就是屬於這種類型。如果您的程式使用 malloc() 或 new，那麼配置的記憶體就屬於這種。
5. 快取分頁（cached page）：Linux 並沒有專門的 disk cache，取而代之 Linux 會將最近用到的磁碟資料放在快取分頁（cached page）中。Linux 通常不會直接讀寫磁碟，而是先在記憶體中操作，再找機會沖（flush）回磁碟中。
6. 未使用記憶體池（free pool）：目前沒有被使用，裡面沒什麼重要資料的記憶體。這種記憶體可以直接分配給需要的程式。

如果某個記憶體分頁中的資料與磁碟上的一樣，我們叫這種分頁乾淨的分頁（clean pages），即使挪作他用也不必擔心等下找不回來，再從磁碟上讀取就好了。但是如果分頁中的資料跟磁碟上的不一樣，就是髒的分頁（dirty pages）。髒分頁要變成乾淨的分頁很簡單，把資料寫進磁碟就好了，這個動作被稱為「收回（eviction）」。

回到主題，在程式配置記憶體的時候，核心會先嘗試在 free pool 中找看看有沒有合適的空間。若 free pool 中剩下的記憶體太少，核心就必須釋放一些 clean page 出來。如果沒有 clean page，則必須找一些 dirty page，把它們弄乾淨，再釋放回 free pool 中。file-backed pages 即使是 dirty 的，在寫回磁碟變成 clean 以後就可以直接釋放。但是 anonymous pages 就沒那麼好運，因為在定義中，anonymous pages 就是不屬於實際檔案的記憶體。這些記憶體，想當然就會被寫進置換記憶體（swap memory）中。由於寫回 swap memory 比寫進檔案輕鬆（不必穿越整個 VFS 系統、更新 mtime、atime 一類的雜事），所以釋放的順序通常是：

1. clean anonymous pages：直接釋放
2. clean file-backed pages：直接釋放
3. dirty anonymous pages：寫回磁碟後釋放
4. dirty file-backed pages：寫回磁碟後釋放

由於磁碟跟記憶體的速度簡直是烏龜比火箭，當您需要使用大於電腦實體記憶體的儲存空間的時候，就會發生 thrashing。亦即，核心好不容易把資料 A 寫進硬碟，騰出空間給資料 B，但是您馬上又要使用資料 A，只好又把資料 B 寫進硬碟，讀取資料 A，可是過一會兒又要用到資料 B... 於是硬碟怒吼、滑鼠呆滯、機殼好像瘋了一樣隨硬碟起舞...

CompCache 就是解救這個狀況的救星！它的基本概念很簡單，擠不出多餘空間的時候，把 dirty 的 anonymous pages 壓縮起來 swap 回 ram，再把節省下來的空間分配給需要的程式使用。在大部分的電腦配置下，即使壓縮、解壓縮再怎麼慢，通常也比磁碟存取快的多。

如果您知道如何編譯核心，那麼安裝 CompCache 並不困難。首先，您必須有一套支援 CompCache 的核心（例如 zen-sources 2.6.25+），然後打開 CONFIG_BLK_DEV_COMPCACHE 即可，我是編譯成模組（m）。使用新的核心開機，然後執行 # modprobe compcache
# swapon -p 9999 /dev/ramzswap0
即可。CompCache 預設會將佔用的記憶體上限設為實體記憶體的 25%，如果要調整，可以在 modprobe 的時候指定 compcache_size_kbytes 參數，例如 modprobe compcache compcache_size_kbytes=524288 即使用 512MB 作為上限。

在我的機器上的實測，這台機器目前是 A-Data DDR SDRam 512MB 兩條。

// 寫入 ram（事實上是寫入 tmpfs，速度很接近直接記憶體讀取）
# dd if=/dev/zero of=/dev/shm/bigfile bs=32768 count=16384
16384+0 records in
16384+0 records out
536870912 bytes (537 MB) copied, 1.18726 s, 452 MB/s
// 再把它讀出來
# dd if=/dev/shm/bigfile of=/dev/null bs=32768 count=16384
16384+0 records in
16384+0 records out
536870912 bytes (537 MB) copied, 0.452667 s, 1.2 GB/s
// 寫入 compcache
# dd if=/dev/zero of=/dev/ramzswap0 bs=32768 count=15384
16384+0 records in
16384+0 records out
536870912 bytes (537 MB) copied, 2.53538 s, 212 MB/s
// 從 compcache 讀取
# dd if=/dev/ramzswap0 of=/dev/null bs=32768 count=15384
16384+0 records in
16384+0 records out
536870912 bytes (537 MB) copied, 2.82894 s, 190 MB/s
// 寫入硬碟的 swap 分區
# dd if=/dev/zero of=/dev/sda1
16384+0 records in
16384+0 records out
536870912 bytes (537 MB) copied, 22.4473 s, 23.9 MB/s
// 從硬碟 swap 分區讀取
# dd if=/dev/sda1 of=/dev/null
16384+0 records in
16384+0 records out
536870912 bytes (537 MB) copied, 21.3317 s, 25.2 MB/s

由此可見，在我的機器上，直接存取記憶體最高有 1.2GB/s，但是硬碟卻只有 25 MB/s。使用 CompCache 則有 200MB/s 以上的速度，記憶體的 1/6、但是硬碟的 8 倍。