GNS3 + Nested KVM + OpenStack with RDO

KVM周りのインストール

各自、何か適当に仮想マシンを作れるレベルまで必要なものを入れてください、って感じです。

Ubuntuだとこんな感じで揃うんじゃないですかね？（適当）:

$ sudo apt-get install libvirt-bin kvm qemu-system virt-manager

GNS3のインストール

$ sudo apt-add-repository ppa:gns3/ppa
$ sudo apt-get update
$ sudo apt-get install gns3

テンプレート仮想イメージの作成

今回はRDOを使うので、無難なCentOS 6.5を使おうと思います。

OSのインストール手順は省略します。（流石にいらないよね...？）

方法は何でもいいので、virt-managerでも、packerでも、その辺に転がってるvmdkを拾ってくるでも問題ありません。

sudoが使えると良いんですけど、まぁrootログインでも構いませんね。

メモリは1台2GBずつ。

Compute Nodeとなるノードは仮想マシンを置くスペースも欲しいので、ディスク容量は40GB位。もちろん、最初にアロケートなんてしなくていいですよ？

GNS3を使うため、以下の点は考慮しましょう。ただし必須ではないです。

• クローンを作るので、MAC変更でethXがどんどん増えるのは避ける。
• GNS3からコンソールアクセス出来た方がイメージしやすいので、シリアルコンソールを有効にする。
• GUIがあると邪魔なので、ランレベルは3に落としておく。

OS自体のインストールは省略して、上記3点を適当に対応します。

1個目:

$ sudo echo -n /etc/udev/rules.d/70-persistent-net.rules
$ sudo echo "# " > /etc/udev/rules.d/75-persistent-net-generator.rules

2個目:

$ sudo vi /etc/init/ttyS0.conf
start on runlevel [345]
stop on runlevel [016]

respawn
instance /dev/ttyS0
exec /sbin/agetty ttyS0 115200 vt100-nav
$ sudo echo "ttyS0" >> /etc/securetty

3個目:

$ sudo vi /etc/inittab
id:3:initdefault:

これとは別に、個人的に面倒だったので、NetworkManagerは無効にしてしまいました。:

$ sudo service NetworkManager stop
$ sudo chkconfig NetworkManager off

あと、GNS3がクローンを作るので、MACアドレス変更されてもいいように/etc/sysconfig/network-scripts/ifcfg-eth0からHWADDRとUUIDを消しておくと良いでしょう。

controller

$ sudo hostname controller
$ sudo sed -i -e 's/localhost/controller/g' /etc/sysconfig/network
$ sudo echo "DHCP_HOSTNAME=controller" >> /etc/sysconfig/network
$ sudo echo "DHCPLEASE=yes" >> /etc/sysconfig/network
$ sudo ifdown eth0
$ sudo ifup eth0

network

$ sudo hostname network
$ sudo sed -i -e 's/localhost/network/g' /etc/sysconfig/network
$ sudo echo "DHCP_HOSTNAME=network" >> /etc/sysconfig/network
$ sudo echo "DHCPLEASE=yes" >> /etc/sysconfig/network
$ sudo ifdown eth0
$ sudo ifup eth0
$ sudo ip add add 192.168.101.2/24 dev eth1
$ sudo ip link set up eth1

compute01

$ sudo hostname compute01
$ sudo sed -i -e 's/localhost/compute01/g' /etc/sysconfig/network
$ sudo echo "DHCP_HOSTNAME=compute01" >> /etc/sysconfig/network
$ sudo echo "DHCPLEASE=yes" >> /etc/sysconfig/network
$ sudo ifdown eth0
$ sudo ifup eth0
$ sudo ip add add 192.168.101.11/24 dev eth1
$ sudo ip link set up eth1

compute02

$ sudo hostname compute02
$ sudo sed -i -e 's/localhost/compute02/g' /etc/sysconfig/network
$ sudo echo "DHCP_HOSTNAME=compute02" >> /etc/sysconfig/network
$ sudo echo "DHCPLEASE=yes" >> /etc/sysconfig/network
$ sudo ifdown eth0
$ sudo ifup eth0
$ sudo ip add add 192.168.101.12/24 dev eth1
$ sudo ip link set up eth1

その後、packstackを使ってController Nodeから自動構築を走らせます。

controller

controllerにだけpackstackを入れる。（RDOってのはCommunityの名前でしかない）

$ sudo yum install -y https://repos.fedorapeople.org/repos/openstack/openstack-icehouse/rdo-release-icehouse-4.noarch.rpm
$ sudo yum install -y openstack-packstack
$ packstack --gen-answer-file=answer.conf

で、answer.confファイルを編集する。

以下変更点のみ。IPアドレス(192.168.100.0/24の範囲)はDHCP任せなので、ホント適当です。eth1ってのはさっき設定した192.168.101.0/24を使うため。

$ vi answer.conf
CONFIG_CONTROLLER_HOST=192.168.100.210
CONFIG_COMPUTE_HOSTS=192.168.100.233, 192.168.100.198
CONFIG_NETWORK_HOSTS=192.168.100.243
CONFIG_NEUTRON_OVS_TUNNEL_IF=eth1
CONFIG_PROVISION_DEMO=n

インストールを実行すると、rootログイン用のパスワードを聞かれるので躊躇なくパスワードを入れる。すると、puppetファイルが生成、転送されて勝手にインストールが始まる。座して待つ。

$ packstack --answer-file=answer.conf
Welcome to Installer setup utility
Packstack changed given value  to required value /home/yuki/.ssh/id_rsa.pub

Installing:
Clean Up                                             [ DONE ]
root@192.168.100.243's password:
root@192.168.100.198's password:
root@192.168.100.210's password:
root@192.168.100.233's password:
Setting up ssh keys                                  [ DONE ]
Discovering hosts' details                           [ DONE ]
Adding pre install manifest entries                  [ DONE ]
Preparing servers                                    [ DONE ]
Adding AMQP manifest entries                         [ DONE ]
Adding MySQL manifest entries                        [ DONE ]
Adding Keystone manifest entries                     [ DONE ]
（中略）
Applying Puppet manifests                            [ DONE ]
Finalizing                                           [ DONE ]

 **** Installation completed successfully ******


Additional information:
 * Time synchronization installation was skipped. Please note that unsynchronized time on server instances might be problem for some OpenStack components.
 * File /root/keystonerc_admin has been created on OpenStack client host 192.168.100.210. To use the command line tools you need to source the file.
 * Copy of keystonerc_admin file has been created for non-root user in /home/yuki.
 * To access the OpenStack Dashboard browse to http://192.168.100.210/dashboard .
Please, find your login credentials stored in the keystonerc_admin in your home directory.
 * To use Nagios, browse to http://192.168.100.210/nagios username: nagiosadmin, password: bdf8cf27d5be4211
 * The installation log file is available at: /var/tmp/packstack/20140921-035856-hHIyla/openstack-setup.log
 * The generated manifests are available at: /var/tmp/packstack/20140921-035856-hHIyla/manifests

こんな感じ。

network

$ sudo ovs-vsctl add-port br-ex eth2
$ sudo ip link set up eth2

client

$ sudo ip add add 10.0.0.101/24 dev eth0
$ sudo ip link set up eth0
$ ping 10.0.0.2 -c5
PING 10.0.0.2 (10.0.0.2) 56(84) bytes of data.
64 bytes from 10.0.0.2: icmp_seq=1 ttl=64 time=0.463 ms
64 bytes from 10.0.0.2: icmp_seq=2 ttl=64 time=0.698 ms
64 bytes from 10.0.0.2: icmp_seq=3 ttl=64 time=0.544 ms
64 bytes from 10.0.0.2: icmp_seq=4 ttl=64 time=0.727 ms
64 bytes from 10.0.0.2: icmp_seq=5 ttl=64 time=0.438 ms

--- 10.0.0.2 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4007ms
rtt min/avg/max/mdev = 0.438/0.574/0.727/0.118 ms

ハイオッケーデース。

ゲストOSを動かす。

仮想マシンイメージはこれを使用。

• http://download.cirros-cloud.net/0.3.3/cirros-0.3.3-x86_64-disk.img

適当にイメージを登録して

手元の環境ではリソースが足りなかったので、 Admin->System Panel->Flavors でm1.picoを増やしておいて

更に、OpenStackインストール直後に用意されているSecurity GroupはDHCPを通さないって言う落とし穴があるので、自分で勝手にSecurity Group(名前はtest)を作ったりなんかして

で、ようやく起動する。

正しくDHCPでIPを貰えているようであれば、こんなログが見えるはずです。

Network Topologyの画面からNoVNCのコンソールアクセスも出来ます。

ほーら、いつもの黒い画面だよー。

日本語圏で言うとkeymap問題があるのですが、ここでは無視したいので、Floating IPを割り当てて、外側(10.0.0.0/24)からアクセスできるようにします。

Clientからsshでアクセスして、pingが通るところまで確認します。

例えば、（今回仮想マシンが動いている）compute02のInternal network側でキャプチャを取ると、こんな感じです。

で、それをwiresharkで見るとこんな感じです。

ログインしているSSH、それから仮想マシン間のpingも良く見えます。

一応置いておきましたので、見たい方はご自由に。 https://www.ainoniwa.net/data/pcap/gns3_openstack_compute02_eth1.pcap

今回はとりあえずここまで。

別の構成で試したくなった場合は、一旦GNS3を落とした後に:

$ sudo rm -r ~/GNS3/Projects/<project-name>/qemu-flash-drives/*
$ sudo gns3

からやり直すと良いでしょう。

一からやり直せるので、時間はかかりますが確実です。（今回も、この記事を書きながら何度もスクラップアンドビルドしました）

GNS3 + qemu(KVM)を使うなら

• e1000しか使えないので注意
• 動作する仮想マシンの実体は、テンプレートイメージの差分ファイルとして展開される
• テンプレートイメージを変更する場合は、プロジェクトファイルの中の qemu-flash-drives/<hostname>/FLASH を削除すること
• 起動しない場合は、オプションとqemuパス、Qemu flavorの調整をすること
• 物理インタフェース以外のインタフェースと接続する場合は、TAPを使う

それでは、良いGNS3ライフを過ごせるようお祈り申し上げます。