大数据需突破存储、性能瓶颈

大数据需突破存储、性能瓶颈,第1张

PUE不大于14在空调技术上是可行的。制约PUE的,我认为,现阶段主要是冷却技术、空调技术、如何高效排热的问题。

贴一个清华大学江亿院士的演讲:

各位来宾、各位专家、各位领导早上好!我好象是第一次参加绿色数据中心的技术大会,因为咱们不是搞计算机这行的,是搞空调,搞建筑节能的,但是好象也慢慢把我们推到这个行业了。为什么?是因为空调的能耗或者说派热降温的能耗在数据中心里占了比较大的比例。所以,刚才我听前面这位领导讲数据中心都快到了运行这个程度了,运行主要是能源消耗,能源消耗里就40%或者更多是空调的能耗。所以,怎么能够降低空调的能耗,一方面给国家的节能减排作贡献,一方面也使我们数据行业产生更好的经济效益,就变成重要的问题了,所以我今天跟大家汇报一下我们在这方面的想法跟体会。

从空调的特点来看,现在随着计算机电子技术的发展,芯片技术都比原来高,主机的发热度越来越大,这样导致空调排热成为这里面大的部分。后面有一些细的发展状况不说了,就直接看到空调里头。现在统计大致的结果,对于中小型的数据中心大概PUE值都在2,或者以上,这是空调占了一半或者还多的一个能源消耗。对大型的IDC机房管理做的比较好的,这时候空调效率相对比较高,但是也能占到40%左右的能耗。

所以,降低数据中心的能耗可能一个是提高服务器的使用效率,没活儿的让它歇着,一方面减少了空气的运行能耗,当然,电源也有可以提高的技术。空调应该有很大的潜力,空调里面的能耗由什么构成?以前一想说制冷机,压缩机耗电多,实际上压缩机耗电在50%-60%左右,除了压缩机之外,风机也能占在40%或者更多的空调耗能。

现在的情况什么样?大概有这么几块:第一、因为全年制冷,所以绝大部分的数据中心制冷机都开了,这是一年来总的空调的考点状况,可以看出冬天、夏天区别很少,北京、上海、广州冷的地方,热的地方区别很少,应该说冬天天凉了,北京空调越来越大幅度下来,这个变化也不大,所以全年度在这儿用。然后,有关发热密度非常大,负责把这些热量排走,所以循环风特别大。并且风吹的还厉害,不行把风量减少,降低送风温度,但是当冷源温度低于屋子里温度的时候,蒸发器就凝水,恨不得天天都出湿,出了湿又怕屋子里太干,所以又有了一些加湿器,这边除湿,那边又得加湿,又得用电,冬天大冷的天还得制冷,这构成了现在数据中心,无论是大的,还是小的空调能源消耗高的主要问题。

有这样问题是坏事儿,反过来又是好事儿。说明咱们在这儿的潜力特别大,有很大的潜力可以把空调能源消耗降下来。那么,走哪条道?怎么做?一听说这个空调跟你们建筑节能是一码事,建筑节能都抓围护结构保温,咱们整这个,围护结构,效果非常小,或者无效果,为什么?因为一个IDC密一点的机房一平米大概产热量3-5千万,通过围护结构进入或者出去的热量不会超过折合在占地面积上不会超过50瓦,所以,围护结构的影响很小,就是1%,2%的影响。当然,通过一些技术,避免外墙直接太阳辐射,比来我这儿热,再拿太阳照我,尽可能的密闭,别让风进来,这是很重要的。可能有些专家说,风渗进来,有什么不好,如果房子做的不密闭,就是不可控制的室外渗风,是凉快了,但是湿度下降了,夏天热容器不好,而且由于室外的湿度变化大,我数据中心里面希望湿度维持基本稳定不变,给我添加湿、除湿的麻烦事儿。因此,通过各方面应该把房子做密闭了,对目前来说不是保温的事儿,而且密闭的事儿,密闭最重要。

那么,怎么把热量排出去,马上前几年一些企业想办法说既然冬天不开制冷机,而且外边凉,最简单的通风换气吧,是通过凉风进来,把热量排走,这是有点节能,但是恐怕数据中心这么做不太合适,为什么?室外的灰尘赃,机器得干净,湿度室外是变化的,夏天北京的一立方米空气有2克的水汽,另外中国是烧煤的国家,70%的化石能源都来自于煤,燃煤就出硫,硫化物到室内,就会导致表面发生腐蚀现象,所以这是不行,您的冷却系统是为主机服务的,要是有损于主机,无论是灰尘还是硫化物,还有湿度都会影响主机的寿命,这是绝对不能有的。因此,说就想法通过过滤消除灰尘,想法加湿、除湿改变湿度,想法脱硫,当把这些东西都架上,就发现投入的成本和能源消耗就不低了,而且维护管理的工作量立刻上去了,那么这么大的数据中心要求高可靠性运行,于是这事儿有点别扭了。

还有通过热交换把凉气取回来,这个思路是挺好,对于一些小规模的计算中心,像一个大楼里的数据中心有时候还可以,但是对于大规模的机房是无法实现的,是因为直接走风道这么大发热量得有多大的风量直接室外来回换气,风道的体积在那儿摆着不合适,然后维护工作量非常大,尤其还是赃。所以,室外的低温必须想法用上,是通过室外的新风,怎么通过某种能量凉下来,最后把机器里面的热量带走。

所以,整个的数据中心的空调跟咱们楼里的空调概念不一样,它的核心事儿就是怎么把芯片那儿出来的热量通过某种介质传热,传完之后,几次交换,最后导到室外去就这么一个任务。所以,这时候根本目标就是让芯片的温度不要超过标准温度,然后把这个温度排出来。这样芯片表面温度和冷源温度的差跟热阻成正比,就是怎么把这个等效热阻降低了核心的事儿就变成了这么一个问题。温差小就是如果我芯片温度不许超过40度,如果我的温差是20度,只要室外温度低于20度,我就不用开冷空气就可以把热量排走,所以就要减少等效热阻。那么,这个等效热阻由什么构成?发现就像咱们的一个网络,三个电阻,三个等效热阻,哪三个过程?一个就是芯片跟空气之间的换热环节,这个差越大,温差就越大,比如我可以取平均温度,等效热阻就是这块面积除以热量,第一个环节就是容器跟芯片表面换热的环节。第二个环节,比如说我有一个精密空调跟水,或者室外的冷水换热,这冷水跟容器之间的换热环节,我们叫输送与换热热阻。第三个环节,循环介质与冷源之间换气,叫做冷源换热热阻。比如说室内温度到20度,实际只欠10度的温差,这时候冷空机提供的活儿就是这10度的温差。所以,把热阻减少了,无论是用自然冷源还是开冷风机都可以降低功耗。因此,核心的问题就是把这三个环节的热阻降下来。所以,就三个关键,第一、降低热量采集过程的热阻,同时不增加风机电耗。第二、降低热量传输过程中的热阻,同时不增加传输电耗。第三、找到温度更低的自然冷源,但是别破坏环境。

下面逐条看,采集过程中的热阻,实际的采集热阻,除了空气跟芯片换热之外,还有相当大的消耗是机房里面冷风跟热风的互相搀混,制冷机就是把冷风热的温度分开,分出冷热风,这个屋子里面又没地儿跑,又搀混起来了,所以避免冷风热机的搀混。比如说要是给定芯片温度,当搀混小的时候,回风温度可以更紧的接近芯片,如果我恒定芯片温度回风少的时候,这样就可以更大程度的利用这个资源。有一些实测的数据,是在大的IC机房里实测的,大家可以看出来,比如冷通道进来,从机房送出来应该这儿是16点几度,到这儿怎么就能30多度呢?它这儿上面还有一块挡,这30多度是哪儿来的?就是因为部分的过了服务器之后,服务器里面有空档,空档的热风又渗回来了,热风跟这些东西搀混到这些地儿,能到35度。为了保证上面服务器的这些效果,于是就得降低送风温度,为了保证上面差不多,结果把这个温差就拉大了,导致整个的冷交热的增加。所以,这儿看着排风有40度的,这些排风35、36度,总的到空调下一看,派风温度才28度,怎么降下来了?就是凉风过去跟热风搀和起来了,这样芯片大概在45度以上。如果避免了这些混合之后,就可以把回风温度很容易提高到35度,输送温度也可以提高到20度,保持芯片温度最高的温度不变,于是这温差小多了,采集的等效热阻下来了。当然,具体计算可以拿出温度差仔细算出来知道什么毛病,总的指导思想是这样的。所以,在机柜顶部架一些挡板,这样能够有点改善。但是由于金桂内刀片式服务器之间不可避免存在气流短路现象,因此,仍存在短路现象,使冷气流通道内有旁通过来的热气流,热气流通道内也会有旁通过来的冷气流。

还有就是直接把换热器安装在机柜内,在机柜内或者机柜旁制备冷空气,可以有效减少掺混这样现象,降低热量采集过程温差,可以减少风量、丰足,大幅降低风机电耗。所以,这是很重要一条,但是不能让柜子出水。

这样有一种做法,就是采用背板冷却,将空调系统热换器安装在装载IT设备的机柜上,根据机房内各个不同的机柜实现按需供冷,避免局部热。分布式制冷系统使空调系统的吸热端更接近热源。这是第一个减少采热采集过程中的热阻。

第二减少输配过程中的热阻,实际这个环节比如一条空调器,是空气跟水的换热,那么空气温度是这样的,水温度是这样的,就会看到有时候往往都不是平衡的,是带三角形性质的,只要带三角形性质,就浪费一部分温差。所以,想法调整两边的流量,使得两边的温差接近,可以有效的降低数配系统的等效热阻,或者减少等效温差。有时候说是由于我用背板,或者机柜里的换热器那里面不是走水,无论是走二氧化碳,还是走氟利昂,这是机柜内送派风温度,这是热管温度,这是室外侧进出口温度,是这么一个过程,(如图所示),还有一种换热器,每排的热管单独连接,这时候室内室外的温度就变小多了,尽管换热面积一样,它就强多了。当然,这样会导致热管布置起来要复杂,但是在二者之间,总有一个好的权衡去减少输送过程的热阻或者说降低它的温差。

第三条就是到底我们用什么样的室外的自然冷源和怎么把这自然冷源跟我的机械制冷有机的统一结合起来?因为有时候天热还得开冷机,这二者之间能不能实现一个比较自然的转换?我们现在看看到底把这个热量往哪儿排,实际在空气里面并不是一个空气的问题,咱们有三种温度,一种就是空气的干球温度,像今天大概室外27、28度,是天气预报说的温度。直接换热就是干球温度。但是,如果我对外面拿冷却塔喷水,就是湿球温度,大概23、24度。比如到五一湿球温度比干球温度低的多,所以通过冷却塔就可以降低湿球温度,还可不可以再降低,还有一种就是间接蒸发冷却,西部地区很多地方用它做空调,它可以把试问降到室外的露点温度,像现在这个时候,北京的露点温度低于20度了。

这是拿北京气侯为例,蓝的是全球的干球温度,红的是湿球温度,绿的是全年的露点温度的变化。所以,我要是安全露点温度考虑问题,全年北京市5876小时低于20度的时间占全年的67%,如果热阻做好了,就只有10%几的时间,做不好,15度的时候,露点温度也能占到77%的时间。所以这个比例还是挺大的。

那么,怎么跟制冷机统一起来,实现无缝连接,自然过渡呢?这是一个方案,包括几部分,先说柜子,刚才我讲背板式的换热,现在是上下的换热,屋子里的空气26度,从这儿进入机柜,两组换热器,一组一个管给19度,一个管给16度,经过两种换热,从26度到20度,经过发热的服务器,达到32度,然后经过两组换热器降温,又变成26度,再回来,维持屋子里的温度是26度,不是靠屋子里别地儿装的孔,而是靠这个机柜,屋子里的温度是由机柜决定的,由于屋子里的温度是16度,露点温度只有12、13度,我把物资弄密闭了,人也不怎么进去,里面没有湿的事儿。然后,这四组换散热器,拿热管引出来,这四组是16、19、22、25度,然后这个水就是跟这热管换热,把热量都带到水里去,所以从15恩度,涨到24度。然后,24度,如果室外是两管,冷空气不用开,直接经过间接冷却塔就能够把水温降大15度,如果温度再低,只要朝这风机跟这儿的转换装置,能够维持我进入到换热器全年只有15度。当室外温度高到30度,露点温度到18度,这时候冷却塔还能起一点作用,能起1/3的冷量还从这儿出,不足了再拿冷风机降一部分。所以,这个冷风机是连续的就能够使得冷风气从10%的复合逐渐加到5%的复合。冷却塔只要露点温度在20度以下,总能起点作用。

这样一个系统,这儿计算了一下,拿北京的气象条件可以看出来,如果是这么一个机房,跟一般传统的机房来比,咱们就直接取它一年用电量是百分之百,那么即使没有自然冷源,就是拿制冷机做,但是因为我减少了掺混,减少了数配能耗,能够节能40%几。如果用最好的间接冷却方式,用电量只有23%,能够节省70%的电量,所以有巨大的节能潜力。

按照这个思路,我们有一些机房的改造实例,这是清华大学图书馆的一个全校支持整个学老师、同学做研究的数据中心。它原来就是在这个屋子里头摆了一堆空调器,机器多了,热量还大,所以追加了好几台空调器。用了跟刚才这个图差不多的方式,结果总机柜里面的风机降到7千瓦,这时候能效比从27涨到82,就只用原来1/3的能耗。最热的时候,冷机都得开了,即使如此,能耗还能差一半。所以,全年下来总的能耗消耗能够降低60%左右,这就是一个实际案例,这个还有一些遗憾的地方,就是做得不彻底,做得彻底了,还能够进一步降低消耗量。

总结一下,就是数据中心排热的空调实际上有巨大的节能潜力和节能空间。它的核心是机房的气流组织怎么采集热量合理的空调器,其中几个基本原则,一个就是尽可能避免不同的温度的气流掺混,我们现在对机柜进行空调制冷的目的,不是对机房进行空调制冷,所以尽可能把冷源越贴近发热体越好,充分的利用自然冷源,有各种不同的法子获得不同温度的,然后想法介绍能耗,这样给出去的这些思路,今天讲的某一两个做法,实际在这个思路下发挥创新的精神还可以创造出好些各种各样的方案,真正把数据中心排热的空调能耗降下来。我们觉得完全按照目前大多数方式来比较,有可能把机房的空调节能达到70%以上,相当以机房用电量降低30%以上。刚才我听领导讲,国外发达国家比,机房的PUE到12,13那跟它机房的位置有关系。在不同的气侯条件下,实际上抓好这几条,以自然冷源为主,适当的加一点机械制冷的补充,解决一年里面20%,25%的节能,完全可以把我们国家不同地方数据中心的空调能耗都有效的降下来,应该做的比发达国家,比美国还好,谢谢大家。

供电企业中心机房是企业网络和数据的核心枢纽,网络中心机房建设工程涉及面广,而且日益庞大的数据中心与节能环保的诉求对机房建设提出了更高的要求,考虑到中心机房投资大、使用周期长,业务发展快,现代技术发展迅速,设备更新周期不长,因此机房建设必须尽可能采用世界上成熟的环境保障技术手段、自动化的监控技术。欲建设一个标准规范、安全稳定、环保节能、先进实用的中心机房,是一个充满探索性的系统工程,本文结合中心机房工程建设,就上述要求在机房选址、布局、供电、空调及建设前期和建设中应注意的问题等方面进行探讨。

一、机房位置选择

供电企业中心机房是整个网络的核心,数据交换中心,网络光纤布线通常采用以网络中心机房为核心的发散型布线,避开雷区。在选择楼层时,应该考虑以下因素:一、水源充足、电子比较稳定可靠,交通通讯方便,自然环境清洁; 二、远离产生粉尘、油烟、有害气体以及生产或贮存具有腐蚀性、易燃、易爆物品的工厂、仓库、堆场等; 三、远离强振源和强噪声源; 四、避开强电磁场干扰。 考虑到节能降耗的需要,中心机房做好避开楼宇的最高层,因为楼宇的最高层温差大,冬天最冷、夏天最热,会加重空调的负荷,增加能源消耗。在多层建筑或高层建筑物内宜设于第二、三层。

二、机房的科学布局

机房组成应按计算机运行特点及设备具体要求确定,一般宜由主机房、基本工作间、辅助房间。从机房规划初期就应该将节能与机房建设相结合。中心机房一般包括网络主机房、电源室、网络监控室。比较科学的布局是,网络主机房在中间,电源室、网络监控室分别在两头。电源室放置不问断电源(UPS),其电池最好放在一层单独房间,因为电池散发出有害气体,对人体和设备构成威胁,电池室必须是与网络主机房隔离的独立空间。网络监控室的功能主要是监控维护网络设备运行,网络监控室与网络主机房之间应用玻璃隔开,以提高监控的直观性。网络主机房主要设备是交换机、服务器、配电柜,交换机、服务器统一放置在标准机柜内,整齐美观,方便管理。配电柜应放置于网络主机房靠近电源室的入口处,与交换机、服务器隔开一定的距离,以防止电源干扰和雷击。需要经常监视或 *** 作的设备布置应便利 *** 作。主机房内通道与设备间的距离应符合下列规定: 一、两相对机柜正面之间的距离不应小于15m; 二、机柜侧面(或不用面)距墙不应小于05m,当需要维修测试时,则距墙不应小于12m; 三、走道净宽不应小于12m。

三、噪声、电磁干扰及静电预防

机房内的噪声,在计算机系统停机条件下,在主 *** 作员位置测量应小于68dB 机房内无线电干扰场强,在频率为015~1,000MHz时,不应大于126dB。机房内磁场干扰环境场强不应大于800A/m。 在计算机系统停机条件下主机房地板表面垂直及水平向的振动加速度值,不应大于500mm/s2。主机房地面及工作台面的静电泄漏电阻,应符合现行国家标准《计算机机房用活动地板技术条件》的规定。主机房内绝缘体的静电电位不应大于1kV。主机房应远离噪声源。当不能避免时,应采取消声和隔声措施。

四、信息屏蔽

特殊重要的计算机系统应考虑设置独立的系统,网络交换主机应分别单独设置,硬件上做到相对独立。电源线应尽可能远离计算机信号线,最好是弱电在上架空、强电铺设在地板下,避免并排敷设。信息通讯线应尽量敷设在钢管或金属线槽内。对于屏蔽要求较高的通讯线,可考虑采用屏蔽线或光纤。实际工程中采用何种通讯线,需根据工程具体实际情况考虑。

五、人流及出入口设置

机房宜设单独出入口,入口至主机房应设通道。人员出入主机房和基本工作间应更衣换鞋。 当无条件单独设更衣换鞋间时,可将换鞋、更衣柜设于机房入口处。机房的安全出口,不应少于两个,并宜设于机房的两端。门应向疏散方向开启,走廊、楼梯间应畅通并有明显的疏散指示标志。工作人员具有最短的出入路由,一旦发生火灾等特殊情况,人员可在最短的时间内撤离。

六、室内装饰

主机房室内装饰应选用气密性好、不起尘、易清洁,并在温、湿度变化作用下变形小的材料,并应符合下列要求: 一、墙壁和顶棚表面应平整,减少积灰面,并应避免眩光。如为抹灰时应符合高级抹灰的要求。 二、应铺设活动地板。活动地板应符合现行国家标准《计算机机房用活动地板技术条件》的要求。三、吊顶宜选用不起尘的吸声材料,如吊顶以上及作为敷设管线用时,其四壁应抹灰,楼板底面应清理干净;当吊顶以上空间为静压箱时,则顶部和四壁均应抹灰,并刷不易脱落的涂料,其管道的饰面,亦应选用不起尘的材料。当主机房和基本工作间设有外窗时,宜采用双层金属密闭窗,并避免阳光的直射。当采用铝合金窗时,可采用单层密闭窗,但玻璃应为中空玻璃。

七、空气调节

中心机房的空气环境调节,主要包括温度、湿度、新风量的调节。应采用新的信息中心机房热量指南标准,放宽服务器的使用环境要求,提高服务器在高进风温度下的可靠性,优化信息中心机房的气流组织,避免局部热点,提高制冷率,减少空调容量和数量,提高机房散热效率。机房空气调节控制装置应满足电子计算机系统对温度、湿度以及尘对正压的要求。设备的选用应符合运行可靠、经济和节能的原则。空调系统和设备选择应根据计算机类型、机房面积、发热量及对温、湿度和空气含尘浓度的要求综合考虑。空调制冷设备的制冷能力,应留有15%-20%的余量。 当计算机系统需长期连续运行时,空调系统应有备用装置。

八、中心机房的供电

网络中心机房的供电质量,对网络设备的运行和使用寿命至关重要,必须建设稳定、安全可靠的供电系统。一般信息中心机房都采用7x24h(七乘二十四小时不间断)运转模式。所以,供电系统是机房的基础保障,也是机房能否运行的关键。在保证具有稳定的动力电源之外,可以在最短时间内给机房设备持续供电的UPS系统或油机发电系统也是必要的。机房供配电系统应考虑计算机系统有扩散、升级等可能性,并应预留备用容量。机房宜由专用电力变压器供电。机房内其它电力负荷不得由计算机主机电源和不间断电源系统供电。主机房内宜设置专用动力配电箱。电子计算机主机电源系统应按设备的要求确定。 单相负荷应均匀地分配在三相线路上,并应使三相负荷不平衡度小于20%。 电子计算机电源设备应靠近主机房设备。主机房内应分别设置维修和测试用电源插座,两者应有明显区别标志。测试用电源插座应由计算机主机电源系统供电。其它房间内应适当设置维修用电源插座主机房内活动地板下部的低压配电线路宜采用铜芯屏蔽导线或铜芯屏蔽电缆。

大数据需突破存储、性能瓶颈

大数据的核心是大量数据的分析能力

在亟待优先解决的IT问题千头万绪的情况下,在大数据价值日益凸显的背景下,企业需要首先提高数据中心的成本效益,以满足不断变化的业务需求,加大大数据的应用和相关基础设施的构建,满足对于大数据环境下数据中心高性能、高可扩展性、高安全性和高可用性的要求。

大数据核心分析能力需要强大的后台支撑

所谓大数据,最为核心的就要看对于大量数据的核心分析能力。但是,大数据核心分析能力的影响不仅存在于数据管理策略、数据可视化与分析能力等方面,从根本上也对数据中心IT基础设施架构甚至机房设计原则等提出了更高的要求。为了达到快速高效的处理大量数据的能力,整个IT基础设施需要进行整体优化设计,应充分考量后台数据中心的高节能性、高稳定性、高安全性、高可扩展性、高度冗余,基础设施建设这五个方面,同时更需要解决大规模节点数的数据中心的部署、高速内部网络的构建、机房散热以及强大的数据备份等问题。

大数据离不开效益型数据中心的构建

深入了解大数据应用的数据中心经济学对于提高企业的实际利润率,具有十分重要的价值。数据中心经济学能够提供一个框架,帮助IT管理者认识存储的总体拥有成本(TCO)的长期价值影响。利用数据中心经济学确定存储决策、计算资源的准确支出,将能够帮助企业系统化地持续降低成本,并更好的支持企业采用大数据技术。

大数据更需要突破存储、性能瓶颈

大数据应用除了数据规模巨大之外,还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题,处理不当的话会影响到系统的扩展能力和性能,而传统的NAS系统就存在这一瓶颈。所幸的是,基于对象的存储架构就不存在这个问题,它可以在一个系统中管理十亿级别的文件数量,而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力,可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。此外,大数据应用还存在实时性的问题,特别是涉及到与网上交易或者金融类相关的应用。

想要降低数据中心机房空调的能耗,关键在于提升空调系统中压缩机的能效,而提升空调系统中压缩机的能效,就要选对压缩机。艾默生旗下的谷轮™涡旋变频压缩机,以及与之匹配的驱动器,这套方案能够有效提高空调系统运行效率。谷轮™涡旋变频压缩机针对机房空调应用进行了优化,对运行范围进行了拓展,可适应高蒸发温度应用区域,利于在过渡季节的能效提升,通过双柔性、离心力平衡优化技术确保系统可靠稳定运行,提升压缩机效率,高效BPM电机及可变压缩机VCR技术,可以应对日趋严苛的PUE挑战。

以上就是关于如何提高PUE值 数据中心能耗详解全部的内容,包括:如何提高PUE值 数据中心能耗详解、供电企业中心机房建设的探讨|idc机房供电方案、大数据需突破存储、性能瓶颈等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/langs/8829401.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-22
下一篇 2023-04-22

发表评论

登录后才能评论

评论列表(0条)

保存