ceph Luminous crush device class（crush 设备分类）

Luminous版本的ceph引入了 device class，目的是解决 我们日常中相同主机下，或者不同主机混有ssd，或者 nvme，sas 硬盘，普通sata组成的磁盘osd管理问题。以前为了管理这个问题。我们会使用crush 命令去创建 虚拟的 bucket 比如 root 还有host，移动 osd 去不同的 host，root 上。虽然问题可以解决。但是带来一些管理上的混乱。比如需要系统conf 加上osd_crush_update_on_start =false。如果不加这个，systemctl osd 启动脚本会在启动的时候会让 osd 回到osd 本身的host归属下面。如果这个时候已经有了pool 规则和数据。问题就大了。这个时候ceph 推出了 class 标签这个功能，非常好用。

为了解决这个问题，Luminous 为每个OSD添加了一个新的属性：设备类。默认情况下，OSD将根据Linux内核公开的硬件属性自动将其设备类设置为HDD、SSD或NVMe（如果尚未设置）。这些设备类在ceph osd tree 中列出

看下面第一列，hdd 和 ssd 

一，crush管理问题

CEPH集群通常使用多种类型的存储设备构建：HDD、SSD、NVMe，甚至上述各种类型的存储设备。我们将这些不同类型的存储设备称为，以避免crush 桶的类型属性（如主机、机架、行等）之间的混淆。由SSD支持的CEPH OSD比普通磁盘支持的OSD快得多，这让它们更适合于某些工作负载，这一点不足为奇。CEPH使为不同的数据集或工作负载创建RADOS pool 并分配不同的crush 规则来控制这些池的数据放置。

官方介绍如下

The flexibility of the CRUSH map in controlling data placement in Ceph is one of the system’s great strengths.  It is also one of the most painful and awkward parts of the cluster to manage.  Previously, any non-trivial data placement policy required manual editing of the CRUSH map, either to adjust the hierarchy or to write the rules that implement the data placement policy.  In Luminous, we’ve added a new “device class” feature that automates one of the most common reasons CRUSH maps are directly edited, bringing us much closer to our goal of never requiring administrators to manually modify their CRUSH maps.

网上关于 class 的博客很多，不过 Luminous 早起关于 class 的创建 和管理有了一些变化

其中class的分类不能用命令创建了。 而是通过关联命令直接系统创建。这个是最大的不同。

所以我觉得这个文章还是要写一下。

变化如下：

以前

现在 已经没有 ceph osd crush class create 了 ！！！

#ceph osd crush class

no valid command found3 closest matches:

osd crush class ls

osd crush class ls-osd <class>

osd crush class rename <srcname><dstname>

改成了什么呢？ 

用 ceph osd crush set-device-class 自动创建

用ceph-deploy 创建的 osd 默认是 hdd 

ceph osd crush class ls

[

    "hdd",

]

这个 class 已经不需要创建了，可以删掉某个ssd 的class，再设置为 ssd clas。

就自动多了一个ssd class 。

我们测试一下，

#ceph osd crush rm-device-class osd.4

done removing class of osd(s): 4

ceph osd tree 看到如下 标签没了

这个是有可以设置 ssd 标签了

# ceph osd crush set-device-class ssd osd.4

set osd(s) 4 to class 'ssd'

osd tree 已经看到 标签变为 ssd 了。

再看 crush class 分类标签

ceph osd crush class ls

再看看 crush tree 里面隐藏项目 

你会发现 多了些 root default~ssd 之类的东西。  注意这个“ ～” 并不是 bug  

osd crush tree {--show-shadow} dump crush buckets and items in a tree view

#

ceph osd crush tree --show-shadow

ID  CLASS WEIGHT  TYPE NAME

-12  ssd 2.62738 root default~ssd

-9  ssd 0.87579    host ssd1~ssd

  4  ssd 0.43790        osd.4

  5  ssd 0.43790        osd.5

-10  ssd 0.87579    host ssd2~ssd

10  ssd 0.43790        osd.10

11  ssd 0.43790        osd.11

-11  ssd 0.87579    host ssd3~ssd

18  ssd 0.43790        osd.18

19  ssd 0.43790        osd.19

-2  hdd 6.54346 root default~hdd

-4  hdd 2.18115    host ssd1~hdd

  0  hdd 0.54529        osd.0

  1  hdd 0.54529        osd.1

  2  hdd 0.54529        osd.2

  3  hdd 0.54529        osd.3

-6  hdd 2.18115    host ssd2~hdd

  6  hdd 0.54529        osd.6

  7  hdd 0.54529        osd.7

  8  hdd 0.54529        osd.8

  9  hdd 0.54529        osd.9

-8  hdd 2.18115    host ssd3~hdd

12  hdd 0.54529        osd.12

13  hdd 0.54529        osd.13

16  hdd 0.54529        osd.16

17  hdd 0.54529        osd.17

-1      9.17084 root default

-3      3.05695    host ssd1

  0  hdd 0.54529        osd.0

  1  hdd 0.54529        osd.1

  2  hdd 0.54529        osd.2

  3  hdd 0.54529        osd.3

  4  ssd 0.43790        osd.4

  5  ssd 0.43790        osd.5

-5      3.05695    host ssd2

  6  hdd 0.54529        osd.6

  7  hdd 0.54529        osd.7

  8  hdd 0.54529        osd.8

  9  hdd 0.54529        osd.9

10  ssd 0.43790        osd.10

11  ssd 0.43790        osd.11

-7      3.05695    host ssd3

12  hdd 0.54529        osd.12

13  hdd 0.54529        osd.13

16  hdd 0.54529        osd.16

17  hdd 0.54529        osd.17

18  ssd 0.43790        osd.18

19  ssd 0.43790        osd.19

这个隐藏的 crush  root default~ssd 是不需要特别指定的，之前一些文章是luminous 早期的做法

官方doc 里面有：

ceph osd crush rule create-replicated <rule-name><root><failure-domain><class>

#osd crush rule create-replicated <name><root><type>{<class>} : create crush rule <name>for replicated pool to start from <root>, replicate across buckets of type <type>, using a choose mode of <firstn|indep>(default firstnindep best for erasure pools)

实际 *** 作

#ceph osd crush rule create-replicated ssdnew default host ssd

创建 名字为ssdnew 的rule root =default，故障域host ，class=ssd

注意：只需要写 defult，不需要写default~ssd 

看一下创建好的 rule ssdnew

#ceph osd crush rule dump ssdnew

{

    "rule_id": 2,

    "rule_name": "ssdnew",

    "ruleset": 2,

    "type": 1,

    "min_size": 1,

    "max_size": 10,

    "steps": [

        {

            "op": "take",

            "item": -12,

            "item_name": "default~ssd"

        },

        {

            "op": "chooseleaf_firstn",

            "num": 0,

            "type": "host"

        },

        {

            "op": "emit"

        }

    ]

}

也就是说通过 class 去关联了  default~ssd

创建一个 pool 测试一下

#ceph osd pool create ssdpool2 128 128 replicated ssdnew

pool 'ssdpool2’ created

查看pg 随便看一个pg 

2.68 0 00 0 0 0 00 active+clean 2019-04-04 11:15:14.691169 0'0 128:13 [10,4,18] 10 [10,4,18] 100'0 2019-04-04 11:15:13.669816

10，4，18 都是 我机器上的 6个ssd osd。

class 比以前修改crush rule 的方式方便非常多

下面 贴出官方 对纠删码的 创建ec profile 的说明

$ ceph osd erasure-code-profile set myprofile k=4 m=2 crush-device-class=ssd crush-failure-domain=host

$ ceph osd pool create ecpool 64 erasure myprofile

以上都是个人测试记录，如果有不正确地方请联系本人指出，同时欢迎加入ceph 中国社区一起讨论

QQ ：8488031  广州-西瓜

《红警2》rules代码修改：

1.查找 TeamDelays,这是 RULES 中最重要的 AI 命令.如 TeamDelays=1200,1350,1600,它分别对应冷酷的,中等的,简单的敌人的部队建造间隔。一般设为 250,250,250,与下面的代码连用的 话你将体会到敌人连续攻击的厉害!

MinimumAIDefensiveTeams 电脑最小的防御部队数量 MaximumAIDefensiveTeams 电脑最大的防御部队数量 AISafeDistance 电脑聚集部队离敌方(我方)基地的距离 DisabledDisguiseDetectionPercent 电脑识别幻影坦克的几率 AttackInterval 电脑每次进攻的时间间隔(建议设为 0) AttackDelay 电脑首次进攻的时间间隔(建议设为 0) PowerSurplus 电脑保留电量的大小(建议设为 250) repair and refit RefundPercent=50%

2.空投规则:

GEF ************ American Paradrop Special Rules *********** These two lists _must_ have the same number of elements AmerParaDropInf=E1,GHOST,ENGINEER AmerParaDropNum=6,6,6 How many of each of those infantry AmerParaDropInf=E1 (美国空投步兵类型) AmerParaDropNum=8 (美国空投步兵数量) AllyParaDropInf=E1 (盟军占有科技机场空投步兵类型) AllyParaDropNum=6 (盟军占有科技机场空投步兵数量) SovParaDropInf=E2 (苏军占有科技机场空投步兵类型) SovParaDropNum=9 (苏军占有科技机场空投步兵数量)。

可以把 E1 和 E2 改成 COW（母牛）如：AmerParaDropInf=COW 你就会看到美国空投母牛 了。E1 是美国大兵,E2 是动员。

3.遭遇战设置：

[MultiplayerDialogSettings] MinMoney=5000(可调最小资金) Money=10000(默认资金) MaxMoney=10000(可调最大资金,不要超过 50000,否则数据有可能溢出) MoneyIncrement=100 MinUnitCount=1(开始时最小单位数)* UnitCount=10(开始时默认单位数) MaxUnitCount=10(开始时最大单位数) TechLevel=10* GameSpeed=0* AIDifficulty=0* AIPlayers=0* BridgeDestruction=yes(桥是否可摧毁) ShadowGrow=no Shroud=yes Bases=yes* TiberiumGrows=yes(矿石是否自然增长) Crates=yes(升级工具箱) CaptureTheFlag=no* HarvesterTruce=no* MultiEngineer=no* AlliesAllowed=no(是否允许结盟) ShortGame=yes(快速游戏)* FogOfWar=no*

MCVRedeploys=yes(基地重新部署)*

4.自然规则：

在 RULES.INI 中查找下列语句 RepairPercent=15% (修理建筑物所耗资金与原价比例) BuildSpeed=.7 (建造时花费 1000 元所用时间,默认 42 秒,若改为".1"则只用 6 秒,暴快! SoloCrateMoney=2000 (获得金钱升级工具箱所得资金) ReloadRate=.3 (战机或反潜直升机重新装d速度) GrowthRate=5 (矿石自然增长速度,该值越大越慢)

5.单位注册名字：

步兵类: [E1]美国大兵 [SNIPE]狙击手 [E2]动员兵 [FLAKT]防空步兵 [SHK]磁暴步兵 [ENGINEER] 盟军工程师 [SENGINEER]苏军工程师 [JUMPJET]火箭飞行兵 [GHOST]海豹部队 [TANY]谭雅 [YURI]尤里 [IVAN]疯狂伊万 [DESO]辐射工兵 [CLEG]超时空军团兵 [DOG]苏军警犬 [ADOG]盟军警犬 [SPY]间谍 [TERROR]恐怖分子

战车类:[APOC]天启坦克 [DTRUCK]自爆卡车 [V3]V3 火箭车 [DRON]恐怖机器人 [HARV]武装采矿车 [CMIN]超时空采矿车 [AMCV]盟军基地车 [SMCV]苏军基地车 [HTK]防空履带车 [HTNK]犀牛坦克 [MTNK]灰熊坦克 [MGTK]幻影坦克 [FV]多功能战斗车 [TNKD]坦克杀手 [TTNK]磁能坦克 [SREF]光棱坦克 舰船类攻击潜艇 [DLPH]海豚 [AEGIS]神盾巡洋舰 [CARRIER]航空母舰 [DRED]无畏级战舰[HYD]海蝎 [DEST]驱逐舰 [SQD]乌贼 [LCRF]盟军气垫船 [SAPC]苏军气垫

战机类:[ORCA]入侵者战机 [SHAD]夜鹰直升机 [ZEP]基洛夫飞艇 [BEAG]黑鹰战机

建筑类:[GATECH]盟军作战实验室 [NATECH]苏军作战实验室 [GAWEAP]盟军战车工厂[NAWEAP]苏军战车工厂 [GAREFN]盟军矿厂 [NAREFN]苏军矿厂 [GAOREP]矿石精炼器 [GAYARD]盟军船坞[NAYARD]苏军船坞 [GAAIRC]空指部 [AMRADR]美国空指部

[GASPYSAT]间谍卫星[GAGAP]裂缝产生器 [GAPOWR]盟军发电厂 [NAPOWR]苏军发电厂

[NAHAND]苏军兵营 [NARADR]雷达 [NADEPT]苏军修理厂[NACLON]复制中心

[GAPILE]盟军兵营 [GADEPT]盟军修理厂[GAWALL]盟军围墙 [NAWALL]苏军围墙

[NAIRON]铁幕装置 [GAWEAT]天气控制器 [GACSPH]时空转移器 [NAPSIS]心灵感应器

[TESLA]磁暴线圈 [ATESLA]光棱塔 [NAMISL]核d井 [NALASR]哨戒炮

[GAPILL]碉堡 [NASAM]爱国者导d [NAFLAK]防空炮 [NANRCT]核电站 [GTGCAN]巨炮

提取红警游戏里面的文件的方法：

红警游戏目录下有很多以 mix 为扩展名的文件，它们实际上是多个文件的集合，经过打包形成了一个文件（你可以把它想象成压缩文 件）。红警游戏里面的许多游戏属性，都写在 ini 为扩展名的文件内，而 ini 文件就被藏在 mix 文件里。我们要修改游戏，就是把 ini 文件从 mix 文件中提取出来，经过对 ini 文件进行修改，以达到我们修改游戏的目的。

要想把从 mix 文件中提取文件，目前最常用的工具就是“Xcc Mixer”。

下载后，解压缩，直接执行里面的“XCC Mixer.exe”文件即可运行该程序。

它的程序界面是这样的（以 XCC Mixer 1.24 版为例）：

可以看到，这个窗口分为两个部分，左侧是一个目录窗口，它显示当前文件夹的内容及电脑内所有驱动器的分布情况：第一行 “a:\”指的 是电脑中的 A 盘驱动器，第二行至第五行指的是硬盘上从 C 盘到 F 盘四个分区，第六行“g:\”是光盘驱动器。当然了，每台电脑的分区 各不相同，也许你的硬盘分区较多，“g:\”就不是光盘驱动器了。第七行“..”指的是当前文件夹的上一级目录。你只要用鼠标双击上面的 任一行，就可进入相应的目录。

我们利用上面的窗口就可以打开 mix 文件了。

下面以《阴云密布》为例详细介绍从 mix 文件中提取文件的方法：

在上面的窗口中用鼠标左键单击“文件”->“打开”，d出一个标题为“打开”的窗口，在该窗口内找到并进入游戏目录，找到一个 “expandmd01.mix”文件，在该窗口内双击这个文件，我们就打开了这个 mix 文件。如下图：

在左侧的窗口中可以看到这个 mix 文件中所包含的全部文件信息，它显示了每个文件的文件名、文件类型、文件大小等信息。用鼠标左 键单击其中的某个文件（以“rulesmd.ini”为例），在右侧窗口立即可以显示这个文件的部分内容预览。

如果你要编辑这个文件（这个文件很重要），必须把它提取出来。方法是：用鼠标右键在左侧窗口单击这个文件，d出的右键菜单中有 一个选项是“释放（E）...”，用鼠标左键单击一下这个选项，出现一个以“另存为”为标题的窗口，你可以把这个“rulesmd.ini”文件释放 到硬盘的任意一个地方，以方便你以后对它进行编辑。

CRUSH算法通过每个设备的权重来计算数据对象的分布。对象分布是由cluster map和data distribution policy决定的。cluster map描述了可用存储资源和层级结构(比如有多少个机架，每个机架上有多少个服务器，每个服务器上有多少个磁盘)。data distribution policy由placement rules组成。rule决定了每个数据对象有多少个副本，这些副本存储的限制条件(比如3个副本放在不同的机架中)。CRUSH算出x到一组OSD集合(OSD是对象存储设备)：(osd0, osd1, osd2 … osdn) = CRUSH(x)CRUSH利用多参数HASH函数，HASH函数中的参数包括x，使得从x到OSD集合是确定性的和独立的。CRUSH只使用了cluster map、placement rules、x。CRUSH是伪随机算法，相似输入的结果之间没有相关性。

---