openstack 怎样创建虚拟网络

（一）网络服务配置

1、在compute node上面安装nova-network nova-api-metadata，在controller管理机上面安装nova-network服务compute node：# apt-get install nova-api-metadata

controller : # apt-get install nova-network

2、编辑nova.conf定义网络模块，在[DEFAULT]选项下修改添加如下，注意，controller和compute节点都要添加该配置文件

[DEFAULT]

...

network_manager=nova.network.manager.FlatDHCPManager

firewall_driver=nova.virt.libvirt.firewall.IptablesFirewallDriver

network_size=254

allow_same_net_traffic=False

multi_host=True

send_arp_for_ha=True

share_dhcp_address=True

force_dhcp_release=True

flat_network_bridge=br100

flat_interface=eth1

public_interface=eth1

3、重启网络服务

# service nova-network restart

4、现在在controller管理机设置环境变量，运行

# source openrc.sh

然后创建一个可以使用的虚拟机网络

# nova network-create vmnet --fixed-range-v4=10.0.0.0/24 --bridge=br100 --multi-host=T

5、通过nova命令查看创建的虚拟机网络

root@ubuntu:~# nova network-list

+--------------------------------------+-------+-------------+

| ID | Label | Cidr |

+--------------------------------------+-------+-------------+

| f115a713-3411-4ff9-b71e-4fa43bcfda79 | vmnet | 10.0.0.0/24 |

+--------------------------------------+-------+-------------+

compute的网卡最少可以1块，并且我看来所有节点最少都可以只有1块网卡，多网卡的作用主要是让不同的数据走不同的网卡，这样更好管理网络。出现错误时能更方便的找出错误以及让网络不会太拥堵

概述

关于如何安装部署openstack，各个大小公司纷纷推出自己的方案和产品，例如fuel、trippleO、RDO、devstack等等。试用了RDO等工具后，也萌生了实现一个自研工具的想法（顺便弥补这一块知识的空白），现将思路及过程记录如下。

需求

1、支持灵活的安装部署方式（单台host或者批量host）和多种安装介质（物理机或者虚拟机）

2、安装部署过程用户体验好

（1）安装工时短

（2）并发安装服务器数量多

（3）用户参与环节尽量少

3、兼容性好

（1）可以支持业界主流服务器

（2）跨vlan部署

总体思路

步骤备选方案技术点

制作安装源

备选1：标准cd/dvd形式linux系统iso文件+RPM包形式openstack源（例如centos.iso+yum openstack源）

备选2：livced形式iso，openstack已安装到iso中

本方案选择备选2， *** 作系统采用centos 6.5，openstack采用H版本

1、openstack rpm包制作：复用rdo h版本openstack的spec文件，制作openstack的rpm包

2、制作livecd：livecd-tools开源工具、kickstart文件定制（ *** 作系统裁剪）

iso安装

livecd的安装不能使用anaconda安装工具，需要自行写作脚本程序（shell或python等），脚本大致流程如下：

（1）执行安装脚本，入参为目的安装磁盘（例如/dev/sda）

（2）安装脚本完成清理磁盘工作，物理卷（pv）、卷组（vg）、逻辑卷（lv）、磁盘分区等

（3）安装脚本完成创建分区的工作（例如创建两个分区/dev/sda1、/dev/sda2，磁盘分区选择mbr类型，/dev/sda1设置为boot类型分区）

（4）安装脚本找到根文件系统文件所绑定的loop设备（例如/dev/loop3），将其内容复制到/dev/sda1

（5）安装脚本生成启动引导程序（例如extlinux），确保后续系统可以从硬盘启动

（6）安装脚本完成其他工作，例如设置root账户密码，将剩余磁盘空间生成vg等

1、脚本实现参考ovirt-node开源软件代码

2、系统引导相关知识

（1）启动引导程序，grub、extlinux

（2）磁盘分区格式，mbr、gpt、EFI

3、磁盘相关工具，parted、fdisk、blkid、pvcreate等

pxe安装

pxe服务器搭建

备选1：使用tftp、dhcp等自行搭建pxe服务器

备选2：选择一个业界成熟的具备pxe能力的安装配置工具

本方案选择cobbler开源工具

制作的livcecd能够支持pxe流程

备选1：使用livecd-iso-to-pxe工具将iso封装成vmlinuz和initrd.img（200多MB）两个文件，可以通过标准pxe流程引导

备选2：制作一个mini镜像（50MB以内）用于pxe引导，mini镜像中植入安装脚本，安装脚本启动后，再将真正的镜像文件下载到光盘镜像环境并安装

本方案当前已实现备选1，后续会尝试备选2

pxe能支持大规模批量部署，可靠性好

1、使用以上“制作的livcecd能够支持pxe流程”备选1时，initrd.img大概200-300MB，pxe使用tftp协议不可靠，故需要使用gpxe

2、使用以上“制作的livcecd能够支持pxe流程”备选2时，需要下载镜像到本地，可以引入p2p技术，加速下载过程

pxe能够跨vlan部署服务器

交换机配置dhcp中继、dhcp服务配置为不同vlan服务器分配对应网段ip

1、cobbler的配置和使用

2、mini镜像的运行机制

3、gpxe机制及配置

4、p2p功能（bittorrent开源软件）的引入

5、交换机dhcp配置

配置本方案需求是解决第一次openstack节点的配置问题，使用业界成熟的配置工具即可，例如puppet、salt等salt开源软件

关键技术点

1、制作livecd

介绍：

livecd是redhat体系提供的一种镜像格式，制作的iso可以直接启动，当然也可以安装到硬盘上。现在centos、fedora每个版本发布的repo都包含了已编译出的livecd iso。例如CentOS-6.4-x86_64-LiveCD.iso。也可以到其官方网站下载

步骤：

（1）执行以下命令，安装redhat openstack Grizlly的yum文件

yum install -y http://rdo.fedorapeople.org/openstack/openstack-grizzly/rdo-release-grizzly-2.noarch.rpm

（2）制作ks文件：可以在互联网上找一个标准的centos的ks文件作为模板，然后进行修改，将openstack的rpm包信息添加到ks文件中，则出iso时会自动安装openstack的rpm包

（3）安装livecd-tools rpm包

（4）执行以下命令出iso

livecd-creator --config=centos-livecd-minimal.ks --fslabel=openstack-LiveCD -d --shell

困难：

实际 *** 作过程中，碰到的最大困难是一开始在一个裁剪版centos ks文件基础上制作openstack iso。后续openstack系统运行时由于依赖包不全出现各种报错。解决办法是先在一个完备的ks基础上制作openstack iso，在openstack可以正常运后，再做系统裁剪

相关参考：

https://fedoraproject.org/wiki/How_to_create_and_use_a_Live_CD/zh-cn

http://www.centos.org/docs/5/html/Installation_Guide-en-US/s1-kickstart2-file.html

http://jgershater.ulitzer.com/node/2701636?page=0,1

2、写作脚本，将livcd安装到OS中，流程及所用到系统命令如下：

（1）找到livecd中文件系统所挂载的设备，例如ext3fs.img挂载到了/dev/loop3上

losetup -a |grep ext3fs.img

（2）将img拷贝到目的磁盘分区中,例如/dev/vda1

cat /dev/loop3 /dev/vda1

（3）安装bootloader，用的是extlinux，这样下次就可以从硬盘启动了

cat /usr/share/syslinux/mbr.bin >dev/vda #写入mbr

blkid -o value -s UUID /dev/vda1 #生成分区的uuid

mkdir /mnt/tmp #生成临时目录

mount /dev/vda1 /mnt/tmp #将根分区mount到临时目录

extlinux -i /mnt/tmp/boot/ #使用extlinux工具制作启动目录

extlinux --clear-once /mnt/tmp/boot/

cp -rf /dev/.initramfs/live/isolinux/* /mnt/tmp/boot/

mv /mnt/tmp/boot/isolinux.cfg /mnt/tmp/boot/extlinux.conf

sed -i 's/live:CDLABEL=.* /UUID=uuid /' /mnt/tmp/boot/extlinux.conf #uuid是上面生成的

sed -i 's/ ro / /' /mnt/tmp/boot/extlinux.conf

sed -i 's/ rd.live.image / /' /mnt/tmp/boot/extlinux.conf

umount /dev/vda1

到此，重启服务器就可以从硬盘启动了

相关参考：

http://www.syslinux.org/wiki/index.php/EXTLINUX

http://molinux.blog.51cto.com/2536040/548247

3、配置pxe服务器，通过pxe方式批量安装openstack节点

介绍：

关于集成pxe的部署工具，在开源社区有很多，例如xcat、cobbler，工具各有特点，本次考虑使用cobbler

步骤：

（1）参照网上资料，完成cobbler的基本搭建

（2）将livecd iso部署到cobbler中作为repo 。livecd本身是不支持pxe加载的，为支持此功能，需先使用livecd-iso-to-pxeboot工具，将iso生成vmlinuz和initrd0.img文件，然后将这两个文件部署到cobbler中。 其核心思想是将livced中的内存文件系统制作成ramdisk文件，就可以通过pxe流程引导启动到内存文件系统了。相关命令如下：

iso="openstack" #变量定义

livecd-iso-to-pxeboot $iso.iso #生成vmlinuz和initrd0.img文件

#部署vmlinuz和initrd0.img文件

cobbler distro add --name=$iso --kernel=/var/www/html/iso/$iso/tftpboot/vmlinuz0 --initrd=/var/www/html/iso/$iso/tftpboot/initrd0.img

cobbler distro edit --name=$iso --kopts='root=live:/'$iso.iso' rootfstype=auto rootflags=ro !text !lang !ksdevice installserverip='$serverIp

cobbler profile add --name=$iso --distro=$iso

到此，就可以通过pxe加载openstack的livced iso中

（3）使用cobbler加载openstack livecd

（4）livecd 加载起来后，可以手工执行以上介绍的“将livcd安装到OS中”脚本将系统安装到硬盘中。也可以在制作iso时写入系统自启动命令自动执行安装脚本

4、改进pxe加载的性能和可靠性

介绍：pxe下载vmlinuz和initrd0.img采用tftp协议，此协议在大规模并发下载大文件（ramdisk文件有200多MB）可能出现引导慢或者不稳定。业界推荐的替换方式是使用gpxe。gpxe的核心改进是可以用http协议代替tftp协议来下载

步骤：

1、配置cobbler打开gpxe开关，配置项为enable_gpxe

2、重启服务器/虚拟机，观察是否会变更为进入gpxe加载流程。

结果：gpxe安装虚拟机正常，但是安装服务器则一直进入不到http下载vmlinuz和initrd0.img的流程。经定位发现服务器网卡并不支持gpxe特性，而虚拟机的网卡是模拟的，可以支持gpxe。

疑问：如何能够同时支持pxe和gpxe，且对应不同服务器/虚拟机，自动采用合适方式呢？

答案：经分析，网卡发起dhcp请求时，会携带pxe支持情况的相关信息。可以配置dhcp server根据不同情况做对应处理。当网卡支持gpxe时，会进入gpxe分支代码，则从http://186.100.8.248/cblr/svc/op/gpxe/system/735135b1-d72f-47f2-9f1d-13c63e75dc9c获取下载vmlinuz和initrd0.img的http地址。

/etc/dhcp/dhcpd.conf中配置举例如下。

hardware ethernet 00:16:6D:AD:86:33

if exists user-class and option user-class = "iPXE" {

filename "http://186.100.8.248/cblr/svc/op/gpxe/system/735135b1-d72f-47f2-9f1d-13c63e75dc9c"

} else if exists user-class and option user-class = "gPXE" {

filename "http://186.100.8.248/cblr/svc/op/gpxe/system/735135b1-d72f-47f2-9f1d-13c63e75dc9c"

} else {

filename "undionly.kpxe"

}

http://186.100.8.248/cblr/svc/op/gpxe/system/735135b1-d72f-47f2-9f1d-13c63e75dc9c对应动态配置如下：

---