效益明显！中国移动整机柜服务器成功规模应用

2018-03-19 徐忠宇

徐忠宇简介：

中国移动研究院，数据中心研究员；刘玲，中国移动通信集团设计院有限公司，高级设计咨询师

随着云计算、大数据大力发展和电信网络的IT转型，中国移动的服务器采购量近几年始终保持迅猛增长的势头。推动定制化的新型服务器落地应用，在满足业务需求的基础上促进降本增效，始终是数据中心与服务器相关技术团队、规划建设和运维管理等部门一致追求的目标。

在最早规模应用的新型定制服务器——整机柜服务器上线稳定运行一段时间后，中国移动总部计划建设部召集网络部、IT中心、研究院、设计院等相关部门，进行了深入的总结和技术方案、管理流程优化探讨。本次应用实践表明，整机柜服务器确实具有节能、高密度、快速部署、简化工程设计等优势。与传统方案相比，单台服务器平均功耗降低15%，机房空间占用节省11%，交付时间缩短50%以上，跨机柜网络布线数量减少25%，取得了良好的应用效果。

1 什么是整机柜服务器

所谓整机柜服务器，是随着用户服务器采购与部署规模逐步扩大，按照高密度、模块化思路设计的集机柜、服务器节点、电源、风扇、TOR交换机等于一体的新型服务器形态。

整机柜服务器有多种不同的具体方案，目前在国内市场应用最广、也是本次规模应用的是ODCC（开放数据中心委员会）的“天蝎”整机柜服务器。它由BAT联合发起，中国电信、中国移动联合参与定制，采用集中供电、集中散热、集中管理、高密度设计思路，相对于普通机架式服务器，部署效率最高可提升10倍，降低能耗10%以上，有效降低采购和运维的TCO（总体拥有成本）。

根据ODCC的统计数据，“天蝎”整机柜服务器目前已部署机架数超过15k，广泛分布于互联网、电信、电力、金融、政府、教育、医疗等行业。随着本次项目的顺利上线，中国移动也成为国内整机柜服务器使用规模最大的用户之一。

2 与传统方案对比效果

本次整机柜服务器应用属于中国移动私有云资源池（国际信息港）扩容工程，支持中国移动集采模型中的虚拟化服务器（计算型）和分布式服务器（存储型）两种规格的服务器节点。整机柜服务器单独部署于一个独立的中等功率密度机房，以便与传统方案进行对比。

目前整机柜服务器已经稳定上线运行了较长一段时间。回顾整个过程，无论是项目工程实施、还是实际应用效果，整机柜服务器相比传统方案都具备较为明显的优势。

2.1 工程实施优势

作为中国移动首例整机柜规模试点应用部署的项目，在整个工程实施过程中，体现出整机柜高密、快速部署、工程设计便捷、部署效果整洁美观等优势。

减少机房空间占用：因为整机柜服务器节点具有密度高（存储型1U1、计算型1U2）、节能等特点，占用空间比通用服务器要少。本次项目仅占用一个机房的约2/3机架，而服务器数量差不多的其它项目，通常要占用约2个机房；

快速部署：通过机柜内预先布线、整体运输等手段，整机柜定制化服务器安装部署仅用了8天~10天，较传统方式工期节省近一半；

工程设计便捷：本期项目中，每2个整机柜为一组接入同一对接入交换机，网络布线简单，跨机柜网络布线数量减少25%，后续运维故障定位清晰。

让我们一起来看看工程实施的效果，是否非常整洁美观？

2.2 运行效果

本工程启用的3号机房与前期启用的5号机房分别使用整机柜服务器和普通服务器，两个机房面积、布局、单机架设计功耗相同，承载业务和服务器配置、利用率基本接近，项目对比情况如下：

单台服务器平均功耗：整机柜服务器较普通服务器功耗低约15%；

机房空间利用率：整机柜服务器较普通服务器提升约11%；

机架用电利用率：整机柜服务器较普通服务器提升约20%；

机房PUE：3号机房由于整体负载率相对5号机房高3%，PUE低0.04。

3 问题与优化建议

整机柜服务器的部署对机房是有一定要求的。由于本项目机房配套前期并未按照部署整机柜服务器进行针对性设计，加之机柜内交换机也是单独交付，导致实际部署时遇到一些问题，对工程实施进度等造成了一些影响，有待进一步优化。

3.1 发现的主要问题

1. 机房内地板、坡道影响整机柜搬运速度

本工程机房环境原针对普通数据中心机房，采用“下送风+冷通道封闭”制冷方式，机房采用内有架空地板，搬运时需要全程做好地板防护，同时为了防止地板损坏，需要将工厂内组装好节点的整机柜机房外拆除节点后，机柜、节点分别搬运至安装位置再进行组装。机房入口有3米13.5°坡道，坡道搬运时即使仅剩空机架，仍需要7~8人才能推动。

2. 防静电地板无法满足整机柜承重要求，需要增加散力承重底座

当前大多部署整机柜服务器的机房都没有架空地板，本机房内的架空地板必须进行加固改造。

3. 项目要求拆除整机柜底部滚轮

整机柜底部滚轮原本便于机柜的水平移动，本工程因为按照规范需要做底座加固等原因，要求整机柜在室外先拆除底部滚轮，部署过程复杂，对进度影响大。同时由于拆除滚轮后整机柜高度的变化，带来列头柜高度、ODF高度、机房其他非整机柜高度的相应调整。

注：机柜现场就位时需经过①垫木块,撤出手摇拖车②用撬杠撤出木块，用机架下预先放置的钢筋撤出撬杠③翘起整机柜撤出钢筋。

4. 交换机、柜间布线及部分柜内布线现场完成

按照整机柜的交付思路，交换机一般由整机柜厂家按要求整体提供，在出厂前完成安装及柜内布线。本项目试点中，交换机仍然采用单独采购方式，需现场在整机柜内安装。同时由于服务器网口数量多，柜间布线工作量较大。对于柜内布线，供应商A采用预先在柜内敷设，现场与相关设备连接的方式，相对节省时间，现场非常整洁；供应商B采用预先制作好柜内线缆，现场布线方式，现场比较混乱。