ZFS Benchmark - RAID10編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略raid10編。 測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

OpenIndianaは元気に伸びた。FreeBSDは若干伸び悩んでるよう。

こう見ると逆に2台構成のミラー測定値に疑問が出るのだが、まぁ順当に伸びるということで。

FreeBSDはやっぱりOpenIndianaに水を開けられている。

予想外にFreeBSDの方が性能の伸びが良い。当てにはならないけどCPU使用率も速度に対して低く見える。

逆にOpenIndianaは6台構成(ミラー*3ストライプ)の方がRandom時は安定するか。

Random Readに関しては差が小さい、および台数による性能変動がほとんどないことは分かってる。

I/O Blockingの観点から言うとレイテンシに全て持っていかれているということなんだろうかね。

少しずつ性能向上してる。OpenIndiana/FreeBSD双方で同様の傾向と測定値。

台数を増やしたほうが若干良い値。

性能差で言えばOpenIndianaの方がいいが、これがどれだけの体感差を生むか予測できてない。

総評

  • RAID10は安定して全体的な性能向上と耐障害性を得られるように感じる。(後でRAIDZ2と比較した方がいいかもしれない)
  • RAIDZ/Z2/Z3に見られた部分的に性能が落ち込みすぎることも少なそうなので、安定的に性能向上が見込めるように見える(若干そう言いがたい部分もあるが)。
  • FreeBSDとの対比では語りにくいが、4KiB Read/Writeの結果は実運用におけるRAIDZ/Mirror …
more…

ZFS Benchmark - RAIDZ3編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略raidz3編。 測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

RAIDZ3でも相変わらずOpenIndianaは綺麗にスケールする。

FreeBSDは少し8台目でもたついてるけど、7台構成ならほぼ同等じゃないかな。

OpenIndianaの方がガタつきが激しい稀有な例。

どちらも、5台構成時にほぼピークが来てしまっているのは一体何なんでしょう。

例えば9台構成の時に再度大きく性能向上するのであれば、データディスク本数を3+(2+4n)にしたほうがいいのかなー、とか妄想出来る。

これまた明確に異なる特性が見える。

OpenIndianaの8台構成は追試した方がいいかもしれないが、それ以外の性能差は小さい気がする。

6台構成が良いのは両者共通。
WriteとReadでかなり本数別特性が異なるように見受けられるなぁ。

まぁ、大体一緒。

まぁ、大体一緒。

総評

  • 構成本数によって大きく差が出る部分が見られた。
  • 特性からすると、OpenIndianaでは7本、FreeBSDでは8本で組むといいのかもしれない。
more…

ZFS Benchmark - RAIDZ2編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略raidz2編。測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

綺麗なスケール。そして性能差が歴然となるFreeBSD。

6台構成まではFreeBSDの方が順調な伸びを見せるものの、7,8台構成であっさり抜かれる。

でも、ここではFreeBSDが割と頑張ってる感じするよね。

面白いことにほぼ同じ傾向を示した。

7,8台構成時の測定値はFreeBSDの方が劣るが、6台構成まではほぼ同様の伸びと性能を見せている。どう読み取ればいいんだろう。

若干ばらつきかたが似てるけど、OpenIndianaの方が安定して良い性能。大した差ではないけど。

大体一緒。

大体一緒。

総評

  • RandomとSequentialで明確に異なる傾向を示した。
  • 構成本数をこれまた考え無いといけないが、恐らく最も安定するのは6台構成ではないかと思う。
  • 実データ格納ディスクの本数が偶数になった方がいいという話も聞くけど、グラフを見るかぎりでは明確にそうとも言えない気がするし、そういう傾向があるようにも見える。
more…

ZFS Benchmark - RAIDZ編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略raidz編。

測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

2台構成のraidzの性能が今ひとつなのはどちらも同じ。

OpenIndianaでは7台構成時の性能が今ひとつ、FreeBSDでは6台目か。

伸び方はほぼ同じような傾向を示しているように見えるが、最大値を見るとOpenIndianaに軍配が上がる。

何故かReadはどちらもガタつきが激しい。

5台構成では、OpenIndiana/FreeBSDの双方で安定感のある数値を見せている。

6台構成では、どちらも5台構成の方が優位な値を見せている。

8台構成では、OpenIndianaでは順当な伸びを見せているが、FreeBSDでは7台構成に劣る。

OpenIndianaの方が圧倒的に性能は上だが、raidz構成では本数を闇雲に組み合わせるのはまずいかもしれない。

OpenIndianaは7台目で少し下がるが、8台目では持ち直し、綺麗なスケール性能を見せる。

逆にFreeBSDは伸びに苦しんでいて、これなら5台構成の方が安定するだろうと思わせる変動。

測定値は大体一緒。

Random Readは他のRAID構成でもそうだが、どうにも変化に乏しい値しか見れない。

これは、Random Readをvdev単位にしか割り振れないから。

まぁ、大体一緒。

まぁ、大体一緒。

総評

  • 安定したスケールはやっぱりOpenIndiana。でも、台数によってガタつきが見られるのでraidzを組む時は台数に多少気を配ったほうが良いように思う …
more…

ZFS Benchmark - RAID1編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略RAID1(ミラー)編。誰も8台なんて吊るさないと思うが。

測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

ミラーにおける書き込み速度は、台数を増やすことで性能低下しなければいい。

という意味では、どちらもそう目立った問題はなさそうに見える。

oi-zfs-mirror-seqw-480x314.png fbsd-zfs-mirror-seqw-480x314.png

ミラーにおける読み込み速度は、台数を増やすと並列読み込み出来るから早くなるね。

OpenIndianaは台数を増やすことで綺麗に読み込み速度が向上している。

FreeBSDは8台目だけ飛び上がっていて、どこまで信用に足る値か判断しかねる。

ただ、どちらも増やせば読み込みに関しては向上する余地がある。

oi-zfs-mirror-seqr-480x315.png fbsd-zfs-mirror-seqr-480x314.png

512KiB Random Writeでは特に差もなく問題もない。

oi-zfs-mirror-512K-randw-480x314.png fbsd-zfs-mirror-512K-randw-480x314.png

Readに関してはFreeBSDの性能向上はほとんど無いように見える。 OpenIndianaは若干向上していると見てもいいと思う。

oi-zfs-mirror-512K-randr-480x314.png fbsd-zfs-mirror-512K-randr-480x314.png

大体一緒。

oi-zfs-mirror-4K-randw-480x315.png fbsd-zfs-mirror-4K-randw-480x314.png

大体一緒。

oi-zfs-mirror-4K-randr-480x315.png fbsd-zfs-mirror-4K-randr-480x314.png

総評

  • ミラーの台数を増やせばいいのはOpenIndiana/FreeBSDで同様だが、FreeBSDは増やした台数だけリニアに読み込み性能が向上するわけではない。普通8台もミラーするなんてことは無いと思うけど。
more…

ZFS Benchmark - RAID0編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

おそらく2番目に需要のないRAID0編を続けるのであった。 測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

美しいスケールOpenIndiana、ガタつくFreeBSD。基本的には本数増やすとスケールするよね、というグラフ。

oi-zfs-stripe-seqw-480x314.png fbsd-zfs-stripe-seqw-480x314.png

何故か8本目でカクッと下がるOpenIndiana。綺麗にスケールするFreeBSD。OpenIndianaの方が速い。

単にサチってるだけかもしれないので、スケールの美しさはやはりOpenIndianaの方が上。

oi-zfs-stripe-seqr-480x314.png fbsd-zfs-stripe-seqr-480x315.png

面白いことに5台目で同じ傾向が見られた。ベンチマークソフトまたはZFSの共通問題じゃないかな。

FreeBSDは6台目以降スケールしてないけど、OpenIndianaは綺麗に伸びてる。

oi-zfs-stripe-512K-randw-480x314.png fbsd-zfs-stripe-512K-randw-480x315.png

512KiB Random Readは同じくらいだ。ふむ。

oi-zfs-stripe-512K-randr-480x314.png fbsd-zfs-stripe-512K-randr-480x315.png

これも大体同じ。FreeBSDの方が綺麗だけど誤差か。

oi-zfs-stripe-4K-randw-480x314.png fbsd-zfs-stripe-4K-randw-480x314.png

大体同じ。

oi-zfs-stripe-4K-randr-480x315.png fbsd-zfs-stripe-4K-randr-480x314.png

総評

  • 現状のスケール性能はOpenIndianaの方がFreeBSDよりも上。
  • Random性能は大体同じような傾向を示した。
  • 何故か同じ性能劣化傾向を示す組み合わせが見られた。
more…

ZFS Benchmark - Single編

単体ディスクのZFS性能変動をfioを用いて測定する。

おそらく最も一般的に興味のない単一ディスク編から始まるのであった。

測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

Sequential WriteはOpenIndiana/FreeBSD共に同じくらい、と言っても差し支えない気がする。

図1.1 OpenIndiana Sequential Write

図1.2 FreeBSD Sequential Write

Sequential ReadはなぜかOpenIndianaが爆速で、FreeBSDが(1本を除いて)遅い。

HDDの本来性能以上の値が測定できているのか、FreeBSDが単に遅いのか、全部キャッシュのせいなのかは今のところ棚上げ。

図1.3 OpenIndiana Sequential Read

Single-7だけ変に飛び上がってるけど、その値とOpenIndianaの平均値が同じくらい。

図1.4 FreeBSD Sequential Read

512KiB Random …

more…

ZFS Benchmark - 環境構成編

OpenIndiana 151a/FreeBSD 9.0-RC1で動かすZFSストレージの性能変動をfioを用いて測定する。

まずは、環境構成の整理と設定について簡単にまとめる。

この構成は基本的に両OSで同じものを使用する。

OS

  • OpenIndiana 151a
  • FreeBSD 9.0-RC1

設定

  • OpenIndiana : インストール後IPとSSH設定をした程度
  • FreeBSD 9.0-RC1 : インストール後IPとSSH設定をした程度(/boot/loader.confにはノータッチ)

機器構成 …

more…

istgtからSTMF(COMSTAR)への移行調査 - File to zvol編

FreeBSD + ZFS + istgtなiSCSI環境を、OpenIndiana + ZFS + COMSTARなiSCSI環境へ移設することを検討する。

前回に引き続き、今度はFileからzvolへの移行を考える。

仕組み的には前回同様、metaデータを外出しにすれば移行は簡単であった。

前略。

以下手順:

# sftp older-sister@192.168.11.9
sftp> get /mnt/iSCSI/misaka/misaka.system
sftp> exit
# zfs create -V 40G zfs-pool/iscsi-01
# # *1)
# dd if=./misaka.system of=/dev/zvol/dsk/zfs-pool/iscsi-01 bs=4M
# # *2)
# touch misaka.system …
more…

istgtからSTMF(COMSTAR)への移行調査 - File to File編

FreeBSD + ZFS + istgtなiSCSI環境を、OpenIndiana + ZFS + COMSTARなiSCSI環境へ移設することを検討する。

現状を以下のような構成とする。:

OS : FreeBSD 8.1
ZFS : ZFSv3, ZPOOLv14
iSCSI : istgt
LU Files : /mnt/iSCSI/{$HOSTNAME}/{$LUNAME}

zfs rollbackを容易にするため、istgtにTarget or LUを追加する際には、:

zfs create /mnt/iSCSI/{$HOSTNAME}

として、階層を生成してLUファイル郡を置き、上記階層を定期snapshotスクリプトに追加している。

上記環境でzfs create -V 20G tank/iscsi-01等を使用している場合、zfs send/recvによる移設方式となるため、

逆にCOMSTAR環境をやめてistgtに戻ろうとした場合にZFS/ZPOOLのバージョン差異に悩まされることになると思うのだが、今回はそういった環境が無いので割愛。

ファイル構成なので、1つの注意点を除き簡単に移設可能であることが確認できている。

(とはいえ …

more…