Proxmoxのクラスタ間でのライブマイグレーションを行う場合、通常であればiSCSIやSANで仮想HDDなどをおいておくストレージが必要なのだけど、それなしでもvSANやNutanix CEを利用するようにしてライブマイグレーションを出来ないか調べてみた。
一応、ProxmoxのノードでCeph(RBD)を利用することが出来るのだけど、そうなると最低でも3台構成以上じゃないとあまり旨味が無いので、なんかいい方法が無いかと調べていたところ、各クラスタノードで共通のディレクトリ(ディスク)をDRBDで同期させて、そこに仮想マシンのファイルを配置することで対応出来そうだったので、やってみることにした。
前提として、すでにProxmoxクラスタは構築済、ディスクはまだフォーマットされていないけど各クラスタに同容量のが刺さってる状態で、DRBD9を導入する。
また、DRBDでディスクの同期を行うために、Proxmox上の仮想マシンで利用しないNIC(ここではeth1)を別途用意しておく必要がある。
作業はこちらの情報を参考に進めていく。
1.ネットワークの設定
ネットワークの設定ファイル(/etc/network/interfaces)を編集し、DRBDで通信を行うためのNIC(eth1)について設定を追加する。
●/etc/network/interfaces(例)
auto lo
iface lo inet loopback
auto eth1
iface eth1 inet static
address IPアドレス(DRBD用)
netmask 255.255.255.0
auto vmbr0
iface vmbr0 inet static
address IPアドレス(通常利用)
netmask XXX.XXX.XXX.XXX
gateway XXX.XXX.XXX.XXX
bridge_ports eth0
bridge_stp off
bridge_fd 0
設定完了後、念のため再起動しておくと良いだろう。
2.ディスクフォーマット&DRBDの導入
次に、各クラスタでディスク(/dev/sdb)のフォーマットを行う。
事前にpartedを導入しておくと良いだろう。
サブスクリプションは契約していないため、このままだとdebianのapt-getも出来ないので不要なファイルを削除してパッケージをインストールする。
rm /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian jessie pve-no-subscription" >> /etc/apt/sources.list
apt-get update
apt-get install parted thin-provisioning-tools
次に、partedコマンドでディスクのフォーマットを行う。
parted /dev/sdb mktable gpt
parted /dev/sdb mkpart drbd 1 100%
parted /dev/sdb p
root@BS-PUB-MICROSERVER-01:~# parted /dev/sdb mktable gpt
Warning: The existing disk label on /dev/sdb will be destroyed and all data on this disk will be lost. Do you want
to continue?
Yes/No? Y
Information: You may need to update /etc/fstab.
root@BS-PUB-MICROSERVER-01:~# parted /dev/sdb mkpart drbd 1 100%
Information: You may need to update /etc/fstab.
root@BS-PUB-MICROSERVER-01:~# parted /dev/sdb p
Model: ATA Hitachi HCS54505 (scsi)
Disk /dev/sdb: 500GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:
Number Start End Size File system Name Flags
1 1049kB 500GB 500GB drbd
ディスクフォーマット後、LVMの設定を実施する。
vgcreate drbdpool /dev/sdb1
lvcreate -L 450G -n drbdthinpool -T drbdpool
root@BS-PUB-MICROSERVER-02:~# vgcreate drbdpool /dev/sdb1
Physical volume "/dev/sdb1" successfully created
Volume group "drbdpool" successfully created
root@BS-PUB-MICROSERVER-02:~# lvcreate -L 450G -n drbdthinpool -T drbdpool
Logical volume "drbdthinpool" created.
次に、drbdmanage をapt-getから導入する。
apt-get install drbdmanage
互いにssh接続を行う必要があるので、DRBD用のNICがknown_hostsに登録されるよう事前にログインしあっておく。
(事前にクラスタ化しているようであれば、鍵認証はすでに出来てるはずである)
クラスタのウチの1台(ここでは、「BS-PUB-MICROSERVER-01」)で、以下のコマンドを実行する。
drbdmanage init -q 自身のDRBD用IPアドレス
root@BS-PUB-MICROSERVER-01:~# drbdmanage init -q 10.50.10.101
Failed to find logical volume "drbdpool/.drbdctrl_0"
Failed to find logical volume "drbdpool/.drbdctrl_1"
Logical volume ".drbdctrl_0" created.
Logical volume ".drbdctrl_1" created.
md_offset 4190208
al_offset 4157440
bm_offset 4153344
Found some data
==> This might destroy existing data! <== Do you want to proceed? *** confirmation forced via --force option *** initializing activity log NOT initializing bitmap Writing meta data... New drbd meta data block successfully created. md_offset 4190208 al_offset 4157440 bm_offset 4153344 Found some data ==> This might destroy existing data! <==
Do you want to proceed?
*** confirmation forced via --force option ***
initializing activity log
NOT initializing bitmap
Writing meta data...
New drbd meta data block successfully created.
empty drbdmanage control volume initialized.
empty drbdmanage control volume initialized.
Operation completed successfully
次に、以下のコマンドでもう一台のノード(ここでは、「BS-PUB-MICROSERVER-02」)を追加する。
drbdmanage add-node -q ノード名 IPアドレス
root@BS-PUB-MICROSERVER-01:~# drbdmanage add-node -q BS-PUB-MICROSERVER-02 10.50.10.102
Operation completed successfully
Operation completed successfully
Executing join command using ssh.
IMPORTANT: The output you see comes from BS-PUB-MICROSERVER-02
IMPORTANT: Your input is executed on BS-PUB-MICROSERVER-02
Logical volume ".drbdctrl_0" successfully removed
Logical volume ".drbdctrl_1" successfully removed
Logical volume ".drbdctrl_0" created.
Logical volume ".drbdctrl_1" created.
You want me to create a v09 style flexible-size internal meta data block.
There appears to be a v09 flexible-size internal meta data block
already in place on /dev/drbdpool/.drbdctrl_0 at byte offset 4190208
Do you really want to overwrite the existing meta-data?
*** confirmation forced via --force option ***
Do you want to proceed?
*** confirmation forced via --force option ***
NOT initializing bitmap
md_offset 4190208
al_offset 4157440
bm_offset 4153344
Found some data
==> This might destroy existing data! <== initializing activity log Writing meta data... New drbd meta data block successfully created. You want me to create a v09 style flexible-size internal meta data block. There appears to be a v09 flexible-size internal meta data block already in place on /dev/drbdpool/.drbdctrl_1 at byte offset 4190208 Do you really want to overwrite the existing meta-data? *** confirmation forced via --force option *** Do you want to proceed? *** confirmation forced via --force option *** NOT initializing bitmap md_offset 4190208 al_offset 4157440 bm_offset 4153344 Found some data ==> This might destroy existing data! <==
initializing activity log
Writing meta data...
New drbd meta data block successfully created.
Operation completed successfully
※もしこの時、「Error: Operation not allowed on satellite node」というエラーが出た場合は、こちらに記述されている対応を行うと良いだろう。
最後に、以下のコマンドを実行しノードの一覧を確認する。
drbdmanage list-nodes
root@BS-PUB-MICROSERVER-01:~# drbdmanage list-nodes
+------------------------------------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|------------------------------------------------------------------------------------------------------------|
| BS-PUB-MICROSERVER-01 | 460800 | 458910 | | ok |
| BS-PUB-MICROSERVER-02 | 460800 | 458910 | | ok |
+------------------------------------------------------------------------------------------------------------+
ちゃんとPool Size/Pool Freeの値が表示されている事が確認出来たら、「/etc/pve/storage.cfg」の内容を以下のように追記する。
なお、「redundancy」には同期するノード数を記述する(物理ノード数より大きい値は入れられないので注意)。
dir: local
path /var/lib/vz
content vztmpl,images,iso,rootdir
maxfiles 0
drbd: drbd1
content images,rootdir
redundancy 2
3.ライブマイグレーションの実施
DRBDの設定ができたら、後はWEBコンソール上で仮想マシンを作成するだけだ。
※当たり前の話だが、ディスクの作成先はDRBDのディスク上となる。また、ディスクフォーマットは「raw」一択なので注意。
で、作成後に対象のノードを右クリック、[マイグレート]を選択。
![20160327_000006]()
後は「オンライン」にチェックが入った状態でマイグレートを実施するだけだ。
![20160327_000007]()
![20160327_000008]()
確かに、別途ストレージ機器を用意しなくてもライブマイグレーションを行える事が確認できた。
ディスク容量はその分食うけど、仮想ホストノード機器のみでマイグレーションを行えるのはいいね。
![すべてわかる仮想化大全 2016（日経BP Next ICT選書）]()
すべてわかる仮想化大全 2016（日経BP Next ICT選書）
![OpenSSH[実践]入門 (Software Design plus)](http://ecx.images-amazon.com/images/I/51VCGrTmzvL._SL160_.jpg)
OpenSSH[実践]入門 (Software Design plus)
ネットワーク ―目には見えないしくみを構成する技術 ―
PFU Happy Hacking Keyboard Professional2 白 英語配列 USBキーボード 静電容量無接点 UNIX配列 WINDOWS/MAC両対応 ホワイト PD-KB400W
ネットワーク仮想化 基礎からすっきりわかる入門書
VMware徹底入門 第4版 VMware vSphere 6.0対応
すべてわかる仮想化大全2016(日経BPムック)
すべてわかる仮想化大全 2016（日経BP Next ICT選書）
VMware自動化ガイド スクリプティングとワークフローによる管理テクニック
IT技術者なら知っておきたい ストレージの原則と技術
iBUFFALO USBシリアルケーブル(USBtypeA to D-sub9ピン)1.0m ブラックスケルトン BSUSRC0610BS
絵で見てわかるWindowsインフラの仕組み
ヤマハ ファイアウォール FWX120