Linux 使用I/O Scheduler來調整硬碟I/O模式以及加大Readahead Cache來增加效能[含1張圖]

IT_man

tid=66165&一、 首先介紹硬碟的  I/O Scheduler


I/O Scheduler是什麼？看看Wiki的說明:
Input / Output Scheduling or I/O Scheduling is a term used to describe the method computer operating systems decide the order that block I/O operations will be submitted to storage volumes. I/O Scheduling is sometimes called 'disk scheduling'.


簡單的說，就是讓我們可以經由不同的設定，來達到調整磁碟存取(I/O)模式的一種設定工具。


) J0 w! t5 g! o: m$ y5 r5 z4 \目前Linux支援四種I/O Schedule模式，分別為:


( x6 A0 m) K% G- G7 k+ R: VNoop Scheduler (簡稱noop) -- RIAD 或 SSD 建議使用 noop
可以算是最基本且簡化的Scheduler，主要應用於一些較為特別的軟體與硬體搭配操作的環境中，且這些軟/硬體已經具備有自己的I/O存取機制，且對於系統核心的要求較少，這樣的Scheduler比較適合運用在嵌入式的環境系統中。
: _7 H. @' B3 g, Q( y5 ^
' F+ P8 ^( o" a( L+ v
, G- f, Q! h6 O4 k! ECompletely Fair Queuing (簡稱cfq)
8 e8 U( x! b6 Z9 L顧名思義，針對硬碟與系統應用所需要的所有I/O任務，均分配給相同的佇列順序(Queuing)，這樣的Scheduler最適合用於一般使用者桌上型電腦的操作環境，自從2006年12月Linux Kernel 2.6.18問世直至今日，CFQ Scheduler一直是Linux核心預設的 I/O scheduler。
; C; S! i' |8 }4 S

Anticipatory Scheduling (簡稱anticipatory)
8 o: {# u$ t) V+ T' N: h9 r5 }. P曾經一度是Linux 2.6 Kernel 的預設 I/O Scheduler ，由Anticipatory (預先/預想) 的文字解釋來看，如果有第一個I/O出現，且同時又有別的系統第二個I/O請求操作時，Anticipatory Scheduling將會產生一個預設需要6毫秒的"猜測"(預想)時間，這個猜測，是在猜測第二個I/O請求是要做什麼用的，這樣的猜測預想模式在經常性進行隨機存取的系統內會造成較大的時間延遲，尤其是像資料庫這樣的系統環境，但反之，Anticipatory Scheduling對於像網頁伺服器這樣的系統則會表現的相當好。


Deadline Scheduler (簡稱deadline) -- SATA 建議使用 deadline
8 _4 w3 M1 b/ ?( D! e主要這個Scheduler就是針對Anticipatory Scheduling的缺點來進行改善，它會針對磁碟中經常遭到存取的不同應用程式，記錄並製作符合最小延遲時間的佇列順序，這樣的結果對於資料庫系統能提供更加的存取效率。
8 |8 p2 J; v$ D( e. @& p
- y* B# k6 V  P' y1 N9 ?
下圖是Red Hat Enterprise Linux 4 (2.6 Kernel) 搭配Oracle10G資料庫與各種I/O Scheduler測試的結果 (圖片與資料來源屬Redhat公司所有)


簡單理解了I/O Scheduler模式的差異後，我們可以針對不同儲存設備來搭配不同的I/O Scheduler進行效能上的調校，首先我們先找到管理I/O Scheduler的系統檔案，這個檔案可用cat的方式來讀取:
1 B$ C) t' O3 ~0 B: S  K2 j
" p# W  z# q( Z2 m7 Q, w, |) [
#cat /sys/block/sda/queue/scheduler
[noop] anticipatory deadline cfq
" f6 t6 r* x1 J

! t, \- t) T+ E) T$ W* E從上例，我們可以知道目前的I/O Scheduler模式為Noop. (有框號 [ ] 處)

+ v1 }% H; h5 }  l( c* e
若需要進行修改調整，作法有兩種:
, Q* u4 Z5 J& A& V, [% E
  l. n* K, X) n" M# O$ t
. h+ S" G' N! o2 j% @  z# G1. 單次調整，即調整即生效，經由echo指令來更改I/O Scheduler的模式

4 X; V4 i" k$ M: X$ c" ?
#echo Deadline>/sys/block/sda/queue/scheduler

  C3 U) x% ]; i& [1 L  \/ [
% R3 _% x6 e' j2 J! g上例為將目前sda這顆硬碟的I/O Scheduler更改為Deadline模式，改完隨即生效，但重新開機後又會回到系統核心默認的I/O Scheduler模式
# {; b5 v8 `& {9 F8 t

2. 隨著系統開機進行調整生效:
: C$ @; E7 d7 J以下2選1
' H: H. F5 i1 ~; z4 ^& G& s

❶

在 /etc/rc.local 內加入一行:

echo anticipatory > /sys/block/sdb/queue/scheduler

❷

在系統的GRUB開機檔案中，最後一行加上elevator=deadline，即可於每次開機後都保有Deadline Scheduler的運作模式，如下例:


編輯 /boot/grub/grub.conf

5 u) |3 M5 l* K8 u! |: o9 I
title Fedora Core (2.6.9-5.0.3.EL_lustre.1.4.2custom)
( }. r9 ^% H  T) Kroot (hd0,0)
kernel /vmlinuz-2.6.9-5.0.3.EL_lustre.1.4.2custom ro
root=/dev/VolGroup00/LogVol00 rhgb noapic quiet elevator=deadline
: s2 d& R8 x- N# F+ H  o7 w# f8 j



二、 接下來是硬碟的 Readahead 快取

3 g# v8 ]; S$ v! |% r: w
這部份就比較容易理解，經由系統磁碟的預先讀取設定來加速讀取效能，而經由調整Readahead Sectors大小來增進系統磁碟的讀取效能差異，這就是調校的主要目的。
) y3 g' M1 b+ \0 E
! D; S! i) L/ x0 ~$ C0 Y* a( H2 a% u) j0 ^
0 \) M" ^5 i2 d8 C經由Linux系統指令: blockdev 來檢視目前sda硬碟的Readahead Sectors大小，範例如下

% n9 P: Y5 ~. T1 s" u/ p7 E# N, A
#blockdev --getra /dev/sda   (系統預設是256M)
512

5 }# f' K# N; ]9 o
- e' _% d: r/ A9 o" F3 P而經由調整參數並帶入Sectors大小，來進行效能調整，範例如下:

: x$ v! b6 X( |6 e& x
#blockdev --setra 4096 /dev/sda


# l" p$ V6 ?( j5 S, H#blockdev --getra /dev/sda
  }& }) D2 J. Y+ t8 v4096
9 l7 T; f7 X- L9 K, G
9 F7 L1 y$ q- m" p3 @隨著系統開機自動設定:
+ b' C4 }# l) T! j& U6 S在 /etc/rc.local 內加入一行:
blockdev --setra 4096 /dev/sda

經有這兩種硬碟效能調校的小方案，可望能在原本讀取效能就比較差的硬體環境之下，再多壓榨出一些讀取效能。
實例:以前當server同時做很多工作,例如 ffmpeg, php(move_uploaded_file)上傳大檔案 ,tar , mv 大的檔案時,所有動作幾乎會卡住,完全動不了,經過上述的調整,問題完全解決。

另外,sysctl.conf的調整也是有幫助的
1 d: |' Q* s. s
0 z$ w: ~9 ]- U9 F& l) w$ C
. r+ s9 q3 k, y8 I4 b( i% k參考來源:
( k8 J0 d: h7 l/ W! i
http://itstorage.storageforum.tw ... eadahead-cache.html
7 B, z: T9 Z$ [1 J) s# E5 A% d
4 j4 _3 m* W0 W! L. u* O( B
3 B7 f0 @1 ~, r4 m