STMF(COMSTAR)からFile(NFS)への移行調査 - zvol to file編

OpenIndiana + ZFS + COMSTARなiSCSIから、Proxmox VE + NFSな環境に移行する場合の話。

zvolのmetaデータを外出しにしているので、zvolをddしてrawデータを抽出するだけで済むはず。

OpenIndianaのiSCSI(STMF)の場合、LU作成時にメタデータが付与されるので、そのままでは移行しにくくなることが予想されます。

メタデータを外部ファイルに出力することでzvolをそのままRAWディスクとして扱うことが出来るので、今回はそれが前提の処理をします。

結構前に OpenIndianaでiSCSIする時、メタデータは外部ファイルにした方が良いんじゃないか、って話 をしたことがありました。

メタデータを外部ファイルにしていない場合のサイズ感とかは調べ切れてないので、この場では扱えませんの。すみませんの。

今回は keine.system とか言う名前のzvolが対象のLU(サイズは40GB)です。

Proxmox VE側のディスクは SCSI / 40GB / RAW を選択して、既に仮想マシンが作成されているものとします。(SCSI部分は旧仮想マシンの設定に沿うように作ります)

以下移行手順:

# zfs list | grep keine
dango-01/iSCSI/keine                          74.4G   507G    36K  /dango-01 …
more…

ファイルサーバを新しくしました。 Samba4とOpenLDAPの移行、その他もろもろ

つい最近、ファイルサーバを新しくした のですけど、

旧ファイルサーバではSamba36と連携しているOpenLDAPも動いてるのでこれの移行もする必要があった。

と言ってもコールドスタンバイな移行なので、BDBからMDBへの変更も特に意識する必要は無くて、結果的にはFreeBSD 10にOpenLDAPをSamba連携するように入れ直す程度。

なんか既に記憶とメモが曖昧だけど...まぁ、ね。

ではゴー。

more…

ファイルサーバを新しくしました。 ZFSをSambaで公開した時の空き領域調整編

つい最近、ファイルサーバを新しくした のですけど、

ファイルサーバの空き領域をSambaで見たら使用量が分かりにくかったので、何とかしたかった。

図で言うと、左じゃ困るので右にしたい、みたいな。

0908a_freebsd10_zfs_samba_001.png

ではゴー。

more…

ZFS SATAディスク交換例 – camcontrol使えない編

1TB*5台で構成されているRAIDZの空き容量が不足しているので、全部2TBに交換してオンラインマイグレーションする。

zpoolのオンラインマイグレーションは、

  • zpoolのautoexpandプロパティを使用する
  • zpool online -e を使用する

の2パターンがあるが、FreeBSD 8.2(zpool v15)以前では使用出来ず再起動したので、実際は「オンラインマイグレーションする予定でした。」が正しい。

その一部ログを単に貼り付けるだけですよ、っと。

現在の接続状況

# camcontrol devlist -v
scbus0 on mpt0 bus 0:
<ATA WDC WD10EADS-00L 1A01>        at scbus0 target 0 lun 0 (da0,pass0)
<ATA ST2000DL003-9VT1 CC3C>        at scbus0 target 1 lun …
more…

ZFS SATAディスク交換例 - atacontrol編

1TB*5台で構成されているRAIDZの空き容量が不足しているので、全部2TBに交換してオンラインマイグレーションする。

その一部ログを単に貼り付けるだけですよ、っと。

現在の接続状況

# atacontrol list
ATA channel 0:
    Master:      no device present
    Slave:       no device present
ATA channel 2:
    Master:  ad4  SATA revision 2.x
    Slave:       no device present
ATA channel 3:
    Master:  ad6  SATA revision 2.x
    Slave:       no device present
ATA channel 4:
    Master:  ad8 …
more…

ZFS Benchmark - RAID10編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略raid10編。 測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

OpenIndianaは元気に伸びた。FreeBSDは若干伸び悩んでるよう。

こう見ると逆に2台構成のミラー測定値に疑問が出るのだが、まぁ順当に伸びるということで。

FreeBSDはやっぱりOpenIndianaに水を開けられている。

予想外にFreeBSDの方が性能の伸びが良い。当てにはならないけどCPU使用率も速度に対して低く見える。

逆にOpenIndianaは6台構成(ミラー*3ストライプ)の方がRandom時は安定するか。

Random Readに関しては差が小さい、および台数による性能変動がほとんどないことは分かってる。

I/O Blockingの観点から言うとレイテンシに全て持っていかれているということなんだろうかね。

少しずつ性能向上してる。OpenIndiana/FreeBSD双方で同様の傾向と測定値。

台数を増やしたほうが若干良い値。

性能差で言えばOpenIndianaの方がいいが、これがどれだけの体感差を生むか予測できてない。

総評

  • RAID10は安定して全体的な性能向上と耐障害性を得られるように感じる。(後でRAIDZ2と比較した方がいいかもしれない)
  • RAIDZ/Z2/Z3に見られた部分的に性能が落ち込みすぎることも少なそうなので、安定的に性能向上が見込めるように見える(若干そう言いがたい部分もあるが)。
  • FreeBSDとの対比では語りにくいが、4KiB Read/Writeの結果は実運用におけるRAIDZ/Mirror …
more…

ZFS Benchmark - RAIDZ3編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略raidz3編。 測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

RAIDZ3でも相変わらずOpenIndianaは綺麗にスケールする。

FreeBSDは少し8台目でもたついてるけど、7台構成ならほぼ同等じゃないかな。

OpenIndianaの方がガタつきが激しい稀有な例。

どちらも、5台構成時にほぼピークが来てしまっているのは一体何なんでしょう。

例えば9台構成の時に再度大きく性能向上するのであれば、データディスク本数を3+(2+4n)にしたほうがいいのかなー、とか妄想出来る。

これまた明確に異なる特性が見える。

OpenIndianaの8台構成は追試した方がいいかもしれないが、それ以外の性能差は小さい気がする。

6台構成が良いのは両者共通。
WriteとReadでかなり本数別特性が異なるように見受けられるなぁ。

まぁ、大体一緒。

まぁ、大体一緒。

総評

  • 構成本数によって大きく差が出る部分が見られた。
  • 特性からすると、OpenIndianaでは7本、FreeBSDでは8本で組むといいのかもしれない。
more…

ZFS Benchmark - RAIDZ2編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略raidz2編。測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

綺麗なスケール。そして性能差が歴然となるFreeBSD。

6台構成まではFreeBSDの方が順調な伸びを見せるものの、7,8台構成であっさり抜かれる。

でも、ここではFreeBSDが割と頑張ってる感じするよね。

面白いことにほぼ同じ傾向を示した。

7,8台構成時の測定値はFreeBSDの方が劣るが、6台構成まではほぼ同様の伸びと性能を見せている。どう読み取ればいいんだろう。

若干ばらつきかたが似てるけど、OpenIndianaの方が安定して良い性能。大した差ではないけど。

大体一緒。

大体一緒。

総評

  • RandomとSequentialで明確に異なる傾向を示した。
  • 構成本数をこれまた考え無いといけないが、恐らく最も安定するのは6台構成ではないかと思う。
  • 実データ格納ディスクの本数が偶数になった方がいいという話も聞くけど、グラフを見るかぎりでは明確にそうとも言えない気がするし、そういう傾向があるようにも見える。
more…

ZFS Benchmark - RAIDZ編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略raidz編。

測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

2台構成のraidzの性能が今ひとつなのはどちらも同じ。

OpenIndianaでは7台構成時の性能が今ひとつ、FreeBSDでは6台目か。

伸び方はほぼ同じような傾向を示しているように見えるが、最大値を見るとOpenIndianaに軍配が上がる。

何故かReadはどちらもガタつきが激しい。

5台構成では、OpenIndiana/FreeBSDの双方で安定感のある数値を見せている。

6台構成では、どちらも5台構成の方が優位な値を見せている。

8台構成では、OpenIndianaでは順当な伸びを見せているが、FreeBSDでは7台構成に劣る。

OpenIndianaの方が圧倒的に性能は上だが、raidz構成では本数を闇雲に組み合わせるのはまずいかもしれない。

OpenIndianaは7台目で少し下がるが、8台目では持ち直し、綺麗なスケール性能を見せる。

逆にFreeBSDは伸びに苦しんでいて、これなら5台構成の方が安定するだろうと思わせる変動。

測定値は大体一緒。

Random Readは他のRAID構成でもそうだが、どうにも変化に乏しい値しか見れない。

これは、Random Readをvdev単位にしか割り振れないから。

まぁ、大体一緒。

まぁ、大体一緒。

総評

  • 安定したスケールはやっぱりOpenIndiana。でも、台数によってガタつきが見られるのでraidzを組む時は台数に多少気を配ったほうが良いように思う …
more…

ZFS Benchmark - RAID1編

構成ディスク台数の増加に伴うZFS性能変動をfioを用いて測定する。

前略RAID1(ミラー)編。誰も8台なんて吊るさないと思うが。

測定環境は ZFS Benchmark – 環境構成編(http://www.ainoniwa.net/ssp/?p=224) を参照。

ミラーにおける書き込み速度は、台数を増やすことで性能低下しなければいい。

という意味では、どちらもそう目立った問題はなさそうに見える。

oi-zfs-mirror-seqw-480x314.png fbsd-zfs-mirror-seqw-480x314.png

ミラーにおける読み込み速度は、台数を増やすと並列読み込み出来るから早くなるね。

OpenIndianaは台数を増やすことで綺麗に読み込み速度が向上している。

FreeBSDは8台目だけ飛び上がっていて、どこまで信用に足る値か判断しかねる。

ただ、どちらも増やせば読み込みに関しては向上する余地がある。

oi-zfs-mirror-seqr-480x315.png fbsd-zfs-mirror-seqr-480x314.png

512KiB Random Writeでは特に差もなく問題もない。

oi-zfs-mirror-512K-randw-480x314.png fbsd-zfs-mirror-512K-randw-480x314.png

Readに関してはFreeBSDの性能向上はほとんど無いように見える。 OpenIndianaは若干向上していると見てもいいと思う。

oi-zfs-mirror-512K-randr-480x314.png fbsd-zfs-mirror-512K-randr-480x314.png

大体一緒。

oi-zfs-mirror-4K-randw-480x315.png fbsd-zfs-mirror-4K-randw-480x314.png

大体一緒。

oi-zfs-mirror-4K-randr-480x315.png fbsd-zfs-mirror-4K-randr-480x314.png

総評

  • ミラーの台数を増やせばいいのはOpenIndiana/FreeBSDで同様だが、FreeBSDは増やした台数だけリニアに読み込み性能が向上するわけではない。普通8台もミラーするなんてことは無いと思うけど。
more…