《益企研究院：2021中国云数据中心考察报告（108页）.pdf》由会员分享，可在线阅读，更多相关《益企研究院：2021中国云数据中心考察报告（108页）.pdf（108页珍藏版）》请在本站上搜索。 1、出品指导长三角芜湖韶关张家口和林格尔和林格尔庆阳庆阳中卫中卫贵安贵安天府重庆京津冀枢纽：张家口数据中心集群长三角枢纽：长三角生态绿色一体化发展示范区数据中心集群 芜湖数据中心集群粤港澳大湾区枢纽：韶关数据中心集群成渝枢纽：天府数据中心集群 重庆数据中心集群贵州枢纽：贵安数据中心集群内蒙古枢纽：和林格尔数据中心集群甘肃枢纽：庆阳数据中心集群宁夏枢纽：中卫数据中心集群第一章 云数据中心 P0051.全球数字化进程加速 “数字中国”进入全面建设期 P0072.多元化趋势下的应用、技术和部署模式 P0103.多元算力支撑多样应用场景 P014 4.云基础设施规模持续扩张 P015 5.从硬件直达云上的2、内生安全能力 P017 6.东数西算 改善数据中心发展不平衡 P018 7.双碳战略下的高价值数据中心 P020第二章 多元算力 多核竞技 P022概述：花开两朵 P024 制程之争 P025 架构与封装 P026AMD：新征程 新方向 P029 模块化与 Chiplet P029 缓存与 3D 封装 P033 独立安全子系统 P036Arm：3A 大作 P038 Cortex 孵化 Neoverse P038 Graviton2 与 Altra 系列 P040 Armv9：继往开来 P044 V1 与 N2：纵横兼顾 P045 倚天 710 与 Graviton3 P048 CMN、多核与单3、核 P050 Chiplet 期待更多 P052 飞腾腾云 P053DPU 与 IPU P055 算力演进 P057 BlueField P058目录 CONTENTS第三章 服务器 随风入液 P0622U 与 1U P067 计算密度 P067 通用性 P068自研与信创 P069风冷与液冷 P072热通道与前维护 P077第四章 东数西算 东南西北 P081 8 大枢纽和 10 大集群 P082东数、西算之分 P083数据中心 居大不易 P085万里行见证集群发展 P087能源供给与能效 P092 可再生能源和储能 P092 规模、气候和利用率 P096网络成就“东数西算”P099 时延决4、定应用类型 P101 枢纽节点组对规划 P101展望 P105目录 CONTENTS数字中国万里行 2021 中国云数据中心考察报告CHAPTER1云数据中心I P0062021 中国云数据中心考察报告 I 云数据中心 数字中国万里行考察报告云数据中心经历了互联网时代的飞速发展之后，社会经济的前进需要新的驱动力。过去两年，全球的数字化进程陡然加速，无论是抗疫阻击战还是经济保卫战，数字技术有了新的练兵场，5G、人工智能、云计算等技术和远程办公等模式使得抗疫和经济恢复更加快捷高效。疫情压测下，智能基础设施显示出独特的价值，以前城市离不开的基础设施是交通、电力、金融、能源、教育、卫生、通信设施等，现5、在多了一样：数字化基础设施。数字经济与实体行业加速融合，也让人们在被动融入数字化时代中深刻感知了未来，过去互联网产品的应用通常从一线城市开始，循序渐进逐步扩展到二、三、四线城市，疫情出现后，最典型的远程办公工具在更多的群体中普及。线上线下混合式办公成为这两年大家工作的常态。远程工作者的人数快速增长，从腾讯会议官方公布的数据来看，到 2021 年底，腾讯会议用户规模已超 2 亿。在线会议、网络直播等形式已经深入到在线课堂、远程医疗、企业办公等场景中。除了远程办公和学习、电子商务和视频等内容流媒体的典型应用，传统企业更多的工作负载迁移以及各种云原生应用程序开发，增加了对云服务的需求，与此同时，视频6、数据、工业数据、个人和消费数据越来越多，相应的，承载应用的数据中心扩张加速，云服务商在基础设施领域的支出持续增加。2018 年，益企研究院（E 企研究院）开启“数字中国万里行”，“行”至西北实地考察了八个超大规模数据中心，发表国内首个超大规模云数据中心考察报告，倡导并发掘支撑互联网和云计算高速发展的基础设施的新价值。2020 年 3 月，中共中央政治局常委会会议指出加快 5G 网络、数据中心等新型基础设施建设进度，即我们所熟知的“新基建”，这个倡议也证明了“数字中国万里行”的前瞻性，超大规模数据中心作为数字经济的底座，在国家数字化发展中承担重要角色。随后，“数字中国万里行”活动不断升级，当国家7、提出“双碳”战略决策时，我们的足迹已遍布 8 个枢纽节点，走访考察的区域逐步扩大，洞察到在数字经济爆发以及气候变化压力的双重作用下，实34%535亿+35%1917亿+P007 I现可持续发展成为数据中心行业面临的重要课题。我们持续关注超大规模云数据中心自身创新迭代升级，在减少碳排放、加大可再生能源使用、促进循环经济等方面不断努力，低碳、智能、可持续发展成为高价值数据中心的重要参考指标。同时我们从基础设施和业务环境、业务应用等不同角度解读智能架构和应用场景，不断探索数据中心支撑的上层应用和云、AI、5G、边缘计算等新技术的落地和实践，这些思路和步骤又与 2022 年国家正式启动的“东数西算”工8、程高度契合。2021 年数字中国万里行结束后，结合全球云计算和数字基础设施的发展，我们认为以下几个方向值得展开讨论：全球数字化进程加速“数字中国”进入全面建设期 由于新冠疫情的爆发，2020 年成为全球云计算新的分野。从 2020年起，加速数字化以及发展数字经济成为大多数国家应对疫情、提升社会韧性的国家战略；2021 年，各行业更加依赖云计算技术以及流媒体、远程协作、智能传感器和其他数字技术，以此来消除疫情带来的不利影响，这也促使云服务商持续加大全球数据中心布局，为客户提供一致的体验。来自分析机构 Canalys 的数据显示，2021 年第四季度，全球云基础设施服务支出在一个季度首次突破 509、0 亿美元。总支出增长 34%至 535 亿美元，比去年同期增加 136 亿美元；2021 年全年，云基础设施服务总支出从 2020 年的 1,420 亿美元增长 35%至 1,917 亿美元。I P008同样 Synergy Research 的数据也显示，2021 年第四季度企业在云基础设施服务上的支出超过 500 亿美元，比 2020 年第四季度增长36%。全年总支出达到 1780 亿美元，比 2020 年增长 37%。这组数据也从侧面反映出全球数字化进程一路狂飙，与此同时，中国的千行百业也正集体进行着数字化跃迁，“数字中国”进入全面建设期，政企行业不断提升数字化转型速度，增强数字化“智10、”理的硬核能力。从国家层面，发展数字经济，已经成为中国经济战略的重中之重。2022 年 1 月下旬，国务院印发的“十四五”数字经济发展规划37%1780亿+2021 中国云数据中心考察报告 I 云数据中心 P009 I42.3%653.6亿+要求，到 2025 年，数字经济迈向全面扩展期，数字经济核心产业增加值占 GDP 比重达到 10，再次为构建“数字中国”提供了有力支撑及具体实现路径。事实上，无论是千万级人口的大城市还是地级、县域城市，数字经济越发达的城市，在疫情防控、城市治理中就有更加突出的表现，数字政府的建设也迈入了新的时间节点。当“加快释放数字经济新活力”“做强做优做大数字经济”等成11、为多地政府工作报告中的“高频词”时，四五线城市呈现出加速发展的态势。这一特点在政务云领域尤为明显，从 2011 年 12 月国家首次提出建设完善电子政务公共平台（国家电子政务“十二五”规划）开始，我国政务云发展经历了多年的探索阶段，尤其在新冠肺炎疫情影响下，中国加快推进政务云建设，据赛迪顾问数据显示，2020 年我国政务云市场规模达到 653.6 亿元，同比增长 42.3%。2021 年，作为云计算在政府领域的应用，政务云继续向非一线市场（下沉市场）渗透，提供基础设施、支撑软件、应用功能、信息资源、运行保障和信息安全等综合性电子政务服务。同时，政务部门业务应用系统向云计算服务模式的电子政务公共12、平台迁移，并尝试在此进程中拓宽思路，如 2021 数字中国万里行考察期间，地处西南边陲的大理就基于“苍洱云平台”构建全国产化“大理方案”，通过以市场换产业、以产业建生态、以生态聚人才的方式推动大理州数字经济的发展。I P010在 传 统 企 业 需 求 推 动下，云服务商基于新应用场景不断探索创新，为用户提供更多产品和新服务模式的选择，改善用户体验。多元化趋势下的应用、技术和部署模式在四五线城市加速上云的进程中，云计算客户群呈现出多元化趋势，以往游戏、电商、视频等主要面向消费人群的业务助推了公有云服务市场的腾飞；现在，从田间地头到工厂流水线，从地下轨道到城市基建，政府、医疗、教育、制造等诸多传13、统行业感受到云计算对业务数字化升级的高效便利，尤其新冠疫情刺激下，加快了内部系统运行的应用整合，通过“上云”激活沉淀数据的创新协同。在传统企业需求推动下，云服务商基于新应用场景不断探索创新，为用户提供更多产品和新服务模式的选择，改善用户体验。基于场景的应用服务 2021 年，云服务商从底层架构入手，继续通过使用智能的技术平台部署软件，将一些需要最新技术支持且部署困难、运维复杂、不便共享的产品或解决方案加以服务化和云化，重点在大数据、数据库、人工智能、音视频、协同办公等领域。2021 中国云数据中心考察报告 I 云数据中心 P011 I数据服务在数字化转型的进程中，企业希望激活积累的历史数据，通14、过数据驱动业务全流程的数字化。但对那些还不具备完备数据处理平台的企业来说，没有能力构建起自有的、可用于收集、存储、管理、处理和分析海量业务数据的系统，再加上企业业务变动常带来大数据处理资源需求的频繁变动，部署复杂度及维护难度就会成为路障。因此，相比克服诸多障碍构建一套大数据分析平台满足实时、稳定、准确的大数据处理需求，更多企业愿意选择大数据云服务方案，让数据分析更加简单化和自主化。大数据服务平台强调的是海量数据分析的能力，在云基础设施之上，云服务商构建出完整、灵活、易扩展、能适配不同类型数据处理和分析应用需求的完整软件堆栈，同时有硬件平台做保证，可以从数据的存储、传输，再到计算和处理都能针对这15、些软件而充分优化。除此之外，2021 年，相对“传统”的数据市场也在继续向前发展，对数据库提出了更为全面的要求，为了满足不同类型数据的存储和访问需求，国内云服务商也推出多款关系型数据库服务组合。无论是大数据分析还是数据库服务，2021 年，云服务商着力打造全功能数据解决方案，满足不同用户在数据应用上的多样化和差异化需求，帮用户屏蔽掉后台软硬件堆栈的复杂度，让他们只需关注数据、数据应用与业务需求的结合，无需担心其基础设施的构建、管理和维护。AI 服务因为人工智能需要海量的计算资源和存储空间，再加上非结构化数据的大爆发以及 AI 算法的快速演进，对传统计算范式造成了巨大的冲击，很多特定计算任务开始16、涌现，且需要在并行度、吞吐量和时延上做到极致，这也给云服务提供了新商机。2021 年，云服务充分挖掘基础设施潜力特别是计算潜力以经济高效的提供人工智能解决方案，不断向企业客户提供有关自然语言处理（NLP）、语音识别、视觉搜索、图像识别及文字转语音等方面的服务，并支持开发人员使用机器学习技术，降低 AI 行业应用门槛，企业开发人员也越来越倾向于将人工智能和机器学习集成到他们的云应用中。I P012由于传输至云端的数据量增加，基于机器学习的自动化解决方案会变得司空见惯。接下来，企业就应该思考如何使用云来生成、应用机器学习或深度学习算法，并将其用于各种数据流，包括公开的社交媒体数据、海量的传感器数据17、和音视频、图像数据，从而开发出真正具有颠覆作用的产品和服务。音视频服务行业化音视频服务是这两年热度最高的应用服务之一，白热化的市场竞争让最终用户都有着最苛刻的评判标准。从流行的娱乐直播、短视频、直播带货等单向广播到后来远程会议等实时双向互动，音视频服务不仅向传统行业渗透，甚至在城市治理中也得到应用，视频监控、视频会议、实时音视频（RTC）、视频存储、媒体处理、视觉智能及数据智能等场景逐步落地，这些都考验着云服务商的音视频能力和网络、计算资源的整合能力，一定意义上也在体现了云服务商在大数据、人工智能方面的技术优势。这仅仅是几个典型的云应用服务模式，当云计算的客户主体、主体需求、服务模式逐渐发生变18、化，新的技术创新服务模式还在不断涌现。2021 中国云数据中心考察报告 I 云数据中心 P013 I云原生带来的不仅仅是应用的云上部署，而是意味着开发模式、系统架构、部署模式、基础设施、组织文化等一系列的自动化、敏捷化演进和迭代，云原生成为企业数据中心未来的主要发展方向。中国的云计算与实体经济更加紧密结合，从互联网向金融、制造、医疗等传统行业渗透，助力各行业提高业务弹性。云原生持续火热在云计算与实体经济的深度融合的过程中，面向云设计的应用“云原生”变成热词，成为云计算的重心，隶属 Linux 基金会的 CNCF 云原生基金会这样定义云原生的代表技术：容器、服务网格、微服务、不可变基础设施和声明19、式 API，从云计算中获得最佳效果，需要使用云原生架构，而云原生的普及又促进云计算的加速发展。随着企业用户上云速度加快，面对公有云、私有云和混合云等新型动态环境，也开始通过新的云原生方法开展工作，云原生降低开发成本，快速迭代、自动部署、独立高效的价值凸显，以应用为中心的云原生产品和基础设施成为未来的发展方向。2021 年，更多的传统行业步入云原生化的进程，成为引入企业智能和数据驱动型创新的主要途径，从应用架构、基础设施、安全、运维等层面进行了更为深入的云原生化改造，云原生带来的不仅仅是应用的云上部署，而是意味着开发模式、系统架构、部署模式、基础设施、组织文化等一系列的自动化、敏捷化演进和迭代，20、云原生成为企业数据中心未来的主要发展方向。多样化部署模式与前几年相比，中国的云计算与实体经济更加紧密结合，从互联网向金融、制造、医疗等传统行业渗透，助力各行业提高业务弹性。2021年，政企客户应用部署的范围从企业自身的数据中心扩展至公有云，通过混合云和多云部署模式来满足对资源和服务的多样性需求。就拿金融行业来说，其复合化、多元化的业务、日趋庞大的业务体量、开放化的商业和技术生态的要求，使得混合多云部署模式正逐渐成为新常态。通过私有云，企业将数据存储在企业内部的数据中心，其低时延传输速度快的特点更加便捷；使用公有云，降低基础设施成本的同时更加灵活高效，混合云是两者结合的最佳选择。加之在国家“东数21、西算”的发展大背景下，通过多云部署的 IT 基础架构形式，两个或者多个云协同运行的多云部署，为政企客户提供了增强的数据冗余，达到提升业务灵活性、连续性和成本优化的目的。在行业云领域，2021 年是全国医保数字化建设的大年，整个系统建设采用全新的模式来实现，医保云成为国家解决全国性的数据打通的最好的手段，各省地市的医保云都与国家总局的医保云平台对接，整体业务完全采用平台化，全面分层解耦，这在传统数据平台建设过程中是很少见的。I P014在自主可控的大潮推动下，算力成为了企业发展的核心助力之一。基础设施的技术架构迭代中，中国“芯”力量开始登上舞台，国产技术的成熟度和应用程度正在提升。多元算力支撑多22、样应用场景多样化的应用和部署模式促使云服务商的基础架构升级换代。在过去很长的一段时间里，基于 x86 的通用计算基本上能满足计算的诉求，但随着场景化应用增加，一些特定场景对计算能力的要求或者对计算特性的要求会越来越多，如同 AI 服务、音视频服务等场景有足够的市场，显然通用计算难以满足其效率需求；与此同时，企业为寻求更加敏捷、灵活和高效的应用开发模式，以加速应用的创新和快速上市，如容器、微服务和 DevOps，这些应用开发模式拉近了业务和计算平台之间的联系，应用开发团队将定义基础设施的性能、可用性和规模，直接推动计算平台架构的变革和创新。无疑，更快的计算，更灵活的基础平台是云服务商创新的基石。23、因此也催生为编解码、视频处理优化的新型计算单元或处理器，在底层架构中出现 x86 与 Arm 的并存、Arm 不同厂商间产品并存的一云多芯布局。另外，一云多芯则可以确保同时支持不同 CPU 芯片的混合部署，充分发挥不同体系架构 CPU 的能力优势，满足客户细分场景对异构基础设施的实际需求，在功能、性能、可靠性、安全性等使用体验一致的前提下，释放异构多元算力。从 2020 年开始，信创趋势越发明确，站在用户角度，信创落地最佳的方案是通过云计算的方式，建立一云多芯的混合 IT 体系，同时基于信创平台进行可进化云原生研发。2021年，一个新的现象是全栈国产化云在政府、物流、金融、交通、电力等行业应用24、落地速度加快，为网络信息体系建设提供完全自主可控的基础支撑环境。国产化云采用自主和安全的架构体系搭建，从底层芯片、服务器的底层硬件与操作系统、数据库到云服务的全栈打通，整合集成、监理、运维、安全、项目管理等服务，既满足行业的数字化升级需求，还有效保证国家和企业云服务的安全性和可控性。在自主可控的大潮推动下，算力成为了企业发展的核心助力之一。基础设施的技术架构迭代中，中国“芯”力量开始登上舞台，国产技术的成熟度和应用程度正在提升。2021 中国云数据中心考察报告 I 云数据中心 P015 I45%274 亿美元 33%77 亿美元25%850亿美元云基础设施规模持续扩张当云计算的练兵场不断扩大时25、，反过来，客户需求的多样性也促使云服务商的技术更迭加快，基础架构和数据中心就是数据和代码存在的地方。2021 年，云服务商继续强化在基础设施规模上的优势，这不仅象征着云服务厂商的硬核实力，也是业务规模发展到一定程度的必然，云服务厂商有意愿有能力根据自身业务发展需求，更有针对性地打造和优化自己的产品，通过规模化、定制化能力支撑各项新型业务，快速灵活对市场做出反应。来自分析机构 Canalys 的数据显示，2021 年是中国市场发展强劲的一年，云基础设施服务市场增长 45%，达到 274 亿美元。2021 年第四季度实现了 33%的同比增长，达到 77 亿美元。Canalys 预计，到 2026 26、年，中国的云基础设施市场规模将达到 850 亿美元，五年复合年增长率为 25%。I P016另一家研究机构 Synergy Research 统计全球大型互联网和云计算企业使用的超大规模（hyperscale）数据中心数量持续快速增长，以支持不断扩大的业务运营。超大规模数据中心的数量四年内翻倍，美国依然是数据中心数量最多的国家，位居第二的是中国，增长速度最快，两家之和占到总数的一半以上。而在 Synergy Research 另一项报告中，亚太地区云服务商规模现在占全球市场的三分之一，并且继续以比北美或欧洲、中东和非洲地区（EMEA）市场更快的速度增长。在亚太区，来自云基础设施服务的收入在第四27、季度达到近 170 亿美元，并且每年以超过 40%的速度增长，其中可以看到排名前列的中国云服务商，相比于欧美市场，在市场拓展和技术创新上还有很大空间可供发掘。2021 中国云数据中心考察报告 I 云数据中心 由此也可以看出，无论是美国的 AWS、微软、Google 还是中国的阿里云、华为云、腾讯云，大中型云服务商的竞争中，基础设施的承载能力和创新能力、灵活性与效率，将是决定竞争力强弱的基石。2021 年开始，新的沉浸式应用正在出现，例如元宇宙（Metaverse）。当现实世界正在加速虚拟化，虚拟世界也在加速现实化时，元宇宙不只是复制一个孪生的数字世界，而是创造一个与现实同步且价值共享的数字世界28、。这将推动未来用户的需求，用户需要强大、分布式、具有较低时延的可扩展服务，毕竟元宇宙是数字化的，是建立在网络、算力和算法之上，没有底层基础架构的支持就没有未来的元宇宙世界，一定程度上说，云计算服务的发展和基础设施的扩展会最大限度地影响元宇宙进程。P017 I当现实世界正在加速虚拟化，虚拟世界也在加速现实化时，元宇宙不只是复制一个孪生的数字世界，而是创造一个与现实同步且价值共享的数字世界。从硬件直达云上的内生安全能力数字世界有多高效，可能也就有多脆弱。安全问题近些年变得愈演愈烈，勒索病毒与黑客攻击无时无刻不在进行。受新冠疫情流行和全球数字化进程加快的驱动，一定程度上因网络开放度的提升和接口的增多29、，给勒索病毒造就了新的攻击面。2021 年美国最大的成品油管道运营商科洛尼尔管道运输公司（Colonial Pipeline）就遭受病毒勒索，随后，科洛尼尔主动切断了某些系统的网络连接，造成油料运输不正常，导致东海岸 45%的汽油、柴油等燃料供应受到影响，最后公司无奈支付了 500 万美元的赎金得以“释放”。就在 2022 年 3 月，丰田汽车供应商小岛工业（KojimaIndustries Corp）公司同样受到“勒索软件”攻击，导致丰田在日本所有的 14 家工厂 28 条产线全面停产，导致丰田当月产能下降 5%，损失上亿美元。当恶意攻击行为的攻击面扩大，客户希望得到从芯片到安全 OS、软件30、接口、安全应用等业务的全流程、全生命周期的数据安全服务，基于硬件的可信执行环境 TEE（Trusted execution environment）在云计算环境中成为趋势，包括 Arm 在内的硬件基础设施提供商也努力在源头上封堵可能存在的漏洞。而从云平台的角度，通过对计算、存储、网络、安全、基础软件等软硬件资源的统筹管理，借助 IaaS 和 PaaS 的资源实现安全能力，发挥云计算的优势，最终为应用提供安全可靠、高性能、通用、灵活的支撑服务。I P018尤其在 2021 年 9 月国家数据安全法颁布后，在如何实现数据流通和数据安全的平衡方面，云服务商开始探索数据治理的新理念和新方法，从法律、技31、术、安全、制度等多个角度，为部委、省市政府、央企等客户系统性地推进数据治理工程提供有效支撑与服务。以数字中国万里行考察的数字大理苍洱云平台为例，该平台通过物理安全、硬件安全、系统安全、虚拟化安全建设，聚焦云平台安全监控和安全运营、身份访问控制和全链路数据保护，采用自主可信芯片 Arm 架构服务器构建可信云底座，构建以“本质+过程”的全栈云原生安全防护体系，满足大理州云上应用系统安全防护需求。东数西算 改善数据中心发展不平衡数据中心不仅是算力的聚集地，还是数据应用的发祥地，更是企业数字化转型的根据地。2022年发布的 “十四五”数字经济发展规划第一条支线即为底层信息网络基础设施建设领域，包括 532、G、数据中心、光纤宽带等，可以理解为此前反复强调的“新基建”的延续。通常数据运算和存储需要庞大的数据中心支持，而数据中心建设又需要土地、电力等资源，在益企研究院的2018 超大规模云数据中心考察报告中提到，数据中心的制冷、供电与网络之间的目标往往不一致，甚至有些对立：能源、冷源条件更好的地方通常远离大城市，但是大城市的网络条件又最好，因为互联网和云计算都是为人服务的，人口密集区的网络基础设施完善，访问时延也最短。2021 中国云数据中心考察报告 I 云数据中心 P019 I有别于欧美等国，一条“胡焕庸线”将中国分为东南、西北两个禀赋截然不同的区域。东部地区算力需求大、供给相对不足；西部地区算力33、需求小，土地、电力等资源供给充沛。2021 年，数字中国万里行团队考察贵州贵阳、内蒙古乌兰察布、和林格尔期间发现，越来越多的云计算服务商将大量数据存储、离线数据分析向西、向北转移，除网络游戏、电商交易、在线支付等对网络时延要求极高的业务外，在西部建设数据中心可以有效降低运营成本，缓解东部压力的同时也带动了西部产业转型和就业增长。另一个标志性的事件是，2022 年 1 月 12 日，国家发改委、中央网信办、工信部和国家能源局四部委联合发文，同意在内蒙古、贵州、甘肃、宁夏等地启动建设国家算力枢纽节点，并规划了 10 个国家数据中心集群，意味着“东数西算”工程正式启动。从国家战略、技术发展、能源政策34、等多方面出发，将算力资源提升到水、电、燃气等基础资源的高度，统筹布局建设全国一体化算力网络国家枢纽节点，在实现数据中心一体化协同创新的要求方面，给出了高质量的解决方案，助力我国全面推进算力基础设施化。这意味着，持续优化数据中心能源使用效率（PUE）、提高算力基础设施的有效利用率，让用户以更低的价格获得更大的算力，成为未来的数据中心发展方向。腾讯云 T-Base 超大规模数据中心园区里的柴发和间接蒸发制冷模块 （两侧紧邻机房楼的 T-IDEC 和 IEAC）I P020双碳战略下的高价值数据中心 2020 年 10 月，国家提出“双碳”战略决策，“碳达峰”、“碳中和”首次被写入政府工作报告。同时35、，低碳与可持续发展也成为高价值数据中心的重要参考指标。可预见的是，数字经济的蓬勃发展，云服务商的业务规模扩大，必将带动数据中心市场的快速发展。如果仅仅从数据中心的绝对二氧化碳的排放来看的话，数据中心并不属于一个高碳排的行业，为什么数据中心的可持续发展如此重要呢？数据中心作为数字经济的底座，所有的应用都会基于底层的数据中心，这也意味着数据中心的碳排放具有显著的“乘数效应”，双碳目标促使租户及云服务提供商做出转变；另一方面，可持续发展是企业提升未来核心竞争力的主要途径。数据中心最大的特性就是寿命周期很长，一座数据中心一旦落成，使用周期都以 10 年计，“着眼未来”是数据中心坚守的理念。在具体落地中36、，数据中心的设计是一个多专业、多领域的复杂平衡的事情，在目前的大背景下，技术架构会变得更多样，规划设计会变得更加精细，当然需要将可持续发展理念纳入选址过程、优化供配电和制冷架构、通过数字化工具规划设计流程、选择绿色低碳的智能化产品等方式，设计高效的运行系统。数据中心作为数字经济的底座，所有的应用都会基于底层的数据中心，这也意味着数据中心的碳排放具有显著的“乘数效应”，双碳目标促使租户及云服务服务商做出转变。2021 中国云数据中心考察报告 I 云数据中心 P021 I2021 年数字中国万里行行程结束后，结合调研和探索，此报告将分析近几年云计算行业加速发展的技术应用趋势下基础设施中技术架构的迭37、代，多样化的应用需要多样化算力支撑，多元算力成为云服务商创新的基石。而在“双碳”和“东数西算”趋势下，云服务商从减排优化的角度继续强化 IT 架构创新迭代来提升整体能源利用效率，我们发现，无论是数据中心的建设者还是使用者，对于可持续发展有了更深刻的理解，在“经营的可持续”和“环境的可持续”双重考量下，通过技术驱动，来构建智能、绿色、高效能的基础设施提升竞争力，为数字经济增长带来新动能。小结CHINA DIGITAL JOURNEY2021中国云数据中心考察报告I P0222021 中国云数据中心考察报告 I 总论 数字中国万里行 2021 中国云数据中心考察报告CHAPTER2多元算力 多核竞38、技P023 I在数字经济时代，数据成为新的生产要素，围绕数据处理分析的计算能力成为新的生产力，广泛应用于千行百业的智能转型升级中。我国的云数据中心作为数字化基础设施的核心节点，得到了飞速发展。益企研究院自 2018 年发起“数字中国万里行”以来，见证了国内云数据中心在快速成长过程中的持续演进。在数据中心基础设施层面，新基建、双碳、东数西算，每年都有新热点，背后的指导思想则是一以贯之，兼顾效率与均衡、可持续的发展。数据中心内部同样在经历类似的进化，以 GPU 为代表的加速器应用越来越广泛，作为通用算力输出单元的 CPU 也走向多元化：x86 阵营 AMD 东山再起，Arm 阵营百花齐放。对云服务39、商而言，一方面需要 CPU 有更强的核心和更多的核心数，另一方面需要不同的 CPU 满足客户多元化细分场景的需求，都与效率有着密不可分的关系。相应的，AMD、Arm 等芯片厂商的新技术新架构日益赢得云服务商的广泛认可，并根据自身业务发展针对性的定制和优化。与此同时，在自主可控的大潮推动下，中国“芯”力量正在崛起，产品的技术成熟度和应用范围正在追赶主流。x86 阵营 AMD 东山再起Arm 阵营 百花齐放I P0242021 中国云数据中心考察报告 I 多元算力概述：花开两朵用先后在 AMD、苹果、英特尔（Intel）参与或领导过多个大型芯片项目的Jim Keller的话说，x86、Arm和RI40、SC-V，在诞生之初，都是“简单而干净”的。只是随着时间的推移，这些指令集架构（Instruction Set Architecture，ISA）会不可避免的走向复杂。复杂，通常意味着更强大，和相对不那么高效。以 64 位为例，x86 比 Arm 要早上十年左右，而超线程技术（Hyper-ThreadingTechnology，简写为 HT 或 HTT）的产品化甚至还先于64 位（x86）。多年累积下来，以单个 CPU 核心计，x86 比 Arm 更复杂，是正常现象。x86 的超线程是 1 核心 2 线程，简单的说，1 个物理核心可以当作2 个逻辑核心使用。所以 64 核的 AMD EPYC（41、霄龙）系列 CPU，有128 个线程，从云主机的角度，和 128（物理）核的 Ampere Altra Max 一样能提供 128 个（逻辑）核。孤立的来看，1 个物理核出来的 2 个逻辑核，算力应当不如 2 个独立的物理核，而且二者间的共享资源还会带来安全隐患；但放到全局视角，“真核多”要把多一倍的核心有效的连为一体，对片上互连架构和资源的要求也更高。国际数据公司（IDC）的 2021 年第四季度中国服务器市场追踪报告也指出，中国市场对 AMD 和 Arm 服务器的需求正逐渐增加。其中，互联网行业拥抱 AMD 服务器最为积极，占总出货量的 80%以上；Arm 服务器的主要行业是政府和电信，预42、计到 2022 年，互联网和其他行业将更多地采用 Arm 服务器。P025 I制程之争2016 年英特尔推出最后一代至强 E5/E7（v4），是其首批采用14nm 制程的服务器 CPU。2017 年，AMD 以代号 Naples 的第一代EPYC处理器重返服务器CPU市场，制程也是14nm。随着核数的增加，同期问世的第一代至强可扩展处理器（代号 Skylake-SP），最大热设计功耗（Thermal Design Power，TDP）率先突破 200W（瓦）。随后，英特尔转产 10nm 不利，采用代工生产的 AMD 则在台积电（TSMC）的帮助下，成功过渡到 7nm 制程。Arm CPU 也受43、惠于 代 工 模 式，Ampere（安 晟 培）的 Altra 和 Altra Max，AWS 的Graviton2，都采用台积电的 7nm 制程生产。现在，更新一代的 Arm CPU，如 AWS 的 Graviton3 和阿里云的倚天710，已经用上了 5nm 制程。随着代工厂的持续迭代，采用 3nm 制程的 CPU 也为期不远了。不过，基于纳米（nm）的传统制程节点命名方法，已不再与晶体管实际的栅极长度相对应。在这种情况下，在不同供应商的制程之间单纯对比纳米数，并不能准确的反映实际情况。为了扭转在宣传上不利的局面，英特尔在 2021 年 7 月下旬公布了“公司有史以I P026来最详细的制44、程工艺和封装技术路线图”，改用“等效”的制程命名法，将此前的 10nm Enhance SuperFin 制程更名为 Intel 7，用于 2022 年上半年量产的第四代至强可扩展处理器（代号 Sapphire Rapids）；原先的 7nm 制程更名为 Intel 4，此后还有 Intel 3、Intel 20A、Intel 18A 等。架构与封装半导体的制程工艺仍在进步，但已跟不上芯片规格提升的速度，所以各种不同层面的“堆料”手段越来越常见。云计算供应商追求数据中心级别的规模和机柜级别的密度，四路和八路等单机层面以较高难度“堆 CPU”的做法并不合潮流，双路服务器更受欢迎。IDC的数据显示45、：双路（2S）的市场份额一直稳定在88%上下，八路（8S）和四路（4S）的市场一路降至不足 4%，空出的份额被单路（1S）占据，这要得益于 AMD 和 Arm 处理器核数的增加（单路可替代低端双路）2021 中国云数据中心考察报告 I 多元算力P027 I英特尔至强家族服务器 CPU 之间的互连采用专用通道，从至强 E5/E7 时代的 QPI（Quick Path Interconnect）到至强可扩展处理器的UPI（Ultra Path Interconnect），数据带宽和效率更高、空闲功耗降低。以2021年推出的第三代至强可扩展处理器（代号Ice Lake-SP）为例，两个 CPU 之间46、可以有多达 3 条 11.2GT/s 的 UPI 链路通信。第一代至强可扩展（Xeon Scalable）平台就可以提供（可选的）第三条 UPIAMD 的 EPYC 家 族 服 务 器 CPU，用 于 CPU 之 间 互 连 的 Infinity Fabric，与 PCIe 通道是复用的。也就是说，EPYC 7002/7003 系列虽然每 CPU 有 128 个 PCIe 4.0 通道，但在双 CPU 配置下，会各牺牲一定数量的 PCIe 通道用于连接彼此，所以能提供的 PCIe 通道总数可达 162 个，仅比单路系统多四分之一强。64 位 Arm CPU 的 CCIX 也有类似的现象，而 A47、WS 的三代 Graviton处理器都采用单路方案。7nm 制程的 Graviton2 和 5nm 制程的Graviton3 都是 64 核心（64 线程），但是后者的每个核更强，并升级到 DDR5 和 PCIe 5.0，晶体管总数达 550 亿，几乎是前者的两倍。CPU 越来越复杂，为了保证制造的良率，将一个 CPU 拆分为多个较小的晶片（die）分别生产、最后互连、封装在一起的做法，逐渐普及开来。CPU 越来越复杂，为了保证制造的良率，将一个 CPU 拆分为多个较小的晶片（die）分别生产、最后互连、封装在一起的做法，逐渐普及开来。I P0282021 中国云数据中心考察报告 I 多元算力48、一种是对等均分，各晶片的成分一致，没有角色之分。第一代EPYC 处理器由 4 个包含核心及其 Cache、片间互连的 CCD（Core Complex Die）组成，这种架构被称为多芯片模块（multi-chip module，MCM）。从四等分的角度来看，Sapphire Rapids 也可以归入此类。另一种是按功能划分，生产、搭配更为灵活。AMD 代号 Rome 的第二代 EPYC 处理器，采用被称为 Chiplet（小芯片）的架构，由 1 个专用于互连的 IOD 和多达 8 个 CCD 组成，共 9 个晶片（1+8）。通过调整CCD的数量，第二、三代EPYC处理器可以提供864个核心。在49、代号 Milan 的第三代 EPYC 处理器上，AMD 和台积电还把 Chiplet封装技术与芯片堆叠技术相结合，实现 3D V-Cache（3D 垂直缓存），推出 L3 Cache 容量高达 768MiB 的 Milan-X。AWS 的 Graviton3 也采用了 I/O 与计算相分离的 Chiplet 设计，而在具体实现上几乎是 AMD 的“反面”：64 个核心组成的较大晶片居中，4 个 DDR（控制器）晶片和 2 个 PCIe（控制器）晶片三面环绕，共7 个晶片（1+6）。Graviton3 是 AWS 自用的 CPU，不追求核心数量上的灵活性。第一二代 AMD EPYC 处理器架构对50、比图P029 I无论如何实现，Chiplet 已经是业界大势所趋。2022 年 3 月 2 日，日月光（ASE）、AMD、Arm、谷歌云、英特尔、Meta（Facebook）、微软、高通、三星和台积电，从领先的 CPU 供应商、代工厂到超大规模用户，共同发起小芯片互连标准 UCIe（Universal Chiplet Interconnect Express），并公布了 1.0 规范。AMD：新征程 新方向在本世纪初，AMD通过引入64位、多核等设计，延续了x86的生命力，自身也获得了略超四分之一的市场占有率：Mercury Research 的数据显示，2006 年第二季度，AMD 在 x851、6 服务器 CPU 出货量上的份额达到 26.2%。此后，英特尔重整旗鼓发起全方位的反击，AMD CPU 在服务器市场的占比一路走低。超过 10 年的衰退期随着第一代 EPYC（霄龙）处理器的诞生而宣告终结，经过三代霄龙产品的接力，仅用了五年时间，AMD CPU 在服务器市场上的份额就从几乎可以忽略不计，回升到10%以上2021 年第三季度达到 10.2%，第四季度升至 10.7%。市场份额迅速回升的背后，是 AMD（再一次）探索出了 x86 服务器CPU 的发展方向。长久以来，制程和架构是 CPU 的两大支柱。先说制程，AMD 采用的代工模式，使他们可以选择市场上最为先进的制程来生产 CPU52、。不过，为 AMD 吹响服务器市场反攻号角的第一代 EPYC 处理器（代号 Naples），与同时期的英特尔第一代至强可扩展处理器都是14nm，制程上并无优势。第二、三代 EPYC 虽然用上了英特尔还没有的 7nm，但也不是“纯”的 7nm，而是 7nm+14nm 的混合结构。所以，重点还是要先落在架构上。模块化与 Chiplet第一代 EPYC 处理器（7001 系列）最多能提供 32 个核心，超过前两代至强可扩展处理器。其核心价值并不在核心数略多几个，而是实现的方式：采用多芯片模块（multi-chip module，MCM）架构，由 4 个对等的晶片（die）构成，每个晶片包括 8 个核53、心及其 CacheChiplet 已经是业界大势所趋。市场份额迅速回升的背后，是 AMD（再一次）探索出了 x86 服务器CPU 的发展方向。（4 MiB L2、16 MiB L3）、DDR 和 Infinity Fabric/PCIe 控制器，名为 CCD（Core Complex Die，核心复合晶片）。每个 CCD 内部，除了 2 个由核心和 Cache 组成的 CCX（Core Complex，核芯复合体），还有 2 个 DDR 内存控制器（各对应 1 个内存通道），用于晶片间互连的 Infinity Fabric（IF On-Package，IFOP），而 CPU 之间互连的Infi54、nity Fabric（IF Inter-Socket，IFIS）与对外的 PCIe 通道是复用的。AMD 提供的数据表明，每个晶片的面积为 213mm（平方毫米），4个晶片的 MCM 封装总面积为 852mm，如果要用大型单一芯片来实现，面积可以缩小到 777mm，大约节省 10%，但是制造和测试成本要提高约 40%，完全 32 核的收益下降约 17%、成本提高约 70%。道理不难理解：随着每个 CPU 核心越来越复杂，对应的 Cache 容量越来越大，CPU 上的核心数还越来越多，在这种乘数效应下，要由一个完整的芯片提供 32 个核心和 80MiB+Cache 所对应的晶体管，良率面临的挑55、战肯定会大很多。很显然，生产 4 个 213mm 的芯片，再互连为一体，也比生产 1 个777mm 的芯片要容易得多，而且这种模块化的方法，更具灵活性。再通俗一点说，就是把（原本的）一个大芯片拆分成多个（互连的）小芯片，不仅能提供更多的核心，还可以降低成本。但是，这种多晶片完全对等、全部直连的设计，在架构和制程上也有其局限性：1.架构的扩展：增加晶片数量比较难，不利于核数的进一步增长；2.制程的优化：CCD 中 I/O 器件占比过高，会冲淡先进制程的效果。在第一代 EPYC 处理器的 CCD（Core Complex Die）中，核心及其Cache 构成的 CCX 所占面积为 56%，略多于一56、半。其余部分是 DDRI P0302021 中国云数据中心考察报告 I 多元算力内存、Infinity Fabric（IFOP/IFIS）和 PCIe 的控制器等 I/O 器件，从制程提高到 7nm 中获益很小，没必要和 CCX 捆绑在一起。代号 Rome 的第二代 EPYC 处理器（7002 系列）拿出了解决方案：把DDR 内存控制器、Infinity Fabric 和 PCIe 控制器等 I/O 器件集中到一个单独的晶片里，居中充当交换机的角色，叫作 I/O Die（IOD），仍然采用成熟的 14nm 制程；两边布置多达 8 个 CCD，CCD 内部的核心、Cache 等所占面积高达 8657、%，可以从 7nm 制程中获得较大的收益。这种 7+14（nm 制程）的 1+8（数量）“大小芯片”异构组合，被称为 Chiplet（小芯片）架构。把 CPU 从单个完整的芯片拆分为多个小晶片，为不同制程搭配使用提供了可能，在 7nm 制程初期良品率不足的情况下尤显重要。这种模块化方法的另一个好处是，通过组合不同核心数的 CCD，或者直接调整 CCD 的数量，就可以按需提供从 8 核心到 64 核心的灵活选择。虽然有 7nm 加持，毕竟核心数翻了一番，第二代 EPYC 处理器旗舰款的 TDP 也从第一代的 180 瓦猛增到 280 瓦。将整个 CPU 连为一个整体的依然是 Infinity F58、abric（IF），由传输数据的 Infinity Scalable Data Fabric（SDF）和负责控制的 Infinity Scalable Control Fabric（SCF）两个系统组成。如果将 Infinity SDF 比作芯片运输数据的血管，那 Infinity SCF 就是控制芯片的神经。在第二代 EPYC处理器中，CCD 上还有互连 2 个 CCX 和外接 IOD 的 Infinity Fabric，而 IOD 上除了用于连接 8 个 CCD 的 IFOP，还集中了 CPU 全部的对外接口，包括 DDR4、PCIe 4.0，和连接另一个 CPU 的 IFIS。P031 59、I 从第一代的 4 晶片结构，到第二代的 9 晶片结构，双 CPU 互连时用掉的Infinity Fabric（图中绿色线）也有所减少第二代 EPYC 处理器兼容前一代的平台，就是可以在第一代 EPYC 处理器的主板上使用。不过这个优点更多停留在理论上，主流的选择还是主板也随着 CPU 更新换代，这很大程度上是考虑到 PCIe 升级的需要。第一代 EPYC 处理器提供 128 个 PCIe 3.0 通道，但在连接另一个CPU 时，有一半的通道要复用为 IFIS，结果单双路配置能提供的PCIe 通道都是 128 个。第二代 EPYC 处理器率先支持 PCIe 4.0，之前为第一代 EPYC 处理60、器设计的主板并未对此做好准备。带宽升级后也不需要那么多的 IFIS 用于互连，第二代 EPYC 处理器在双路配置下最多能提供 162 个 PCIe 4.0 通道。设计足够成熟，指标上又有明显优势，第二代 EPYC 处理器吸引来了很多重量级客户，譬如腾讯云选用该系列 CPU 打造 SA2 实例，在 2020 年春节过后，支撑腾讯会议 8 天扩容 10 万台云主机，满足疫情期间的复工需求。SA2 实例的规格是主频（基频）2.6GHz、睿频 3.3GHz，最大 180 个 vCPU，说明其基于腾讯云定制的 48 核型号，因为公开发售的 48 核型号基频（Base Frequency）只有2.2 2.61、3GHz。TDP 未知，应该介于 225 280 瓦之间。I P0322021 中国云数据中心考察报告 I 多元算力48 核虽然不是核数最多的一档，但单（物理）CPU 也能提供 90 个vCPU，可以满足一些对核数要求较高的应用需求。腾讯云的客户案例显示，腾讯广告采用星星海 SA2 90 核超大规格 UMA（统一内存访问）单实例，检索业务延时比非自研服务器（物理机）降低 25%，单节点性价比翻倍提升，实现了降本增效。缓存与 3D 封装AMD 也很清楚，与竞争对手相比，运行频率是比较明显的短板。于是在 2020 年 4 月，AMD 发布了第二代 EPYC 处理器的高频版本7Fx2 系列，字母 F62、 即代表 Frequency（频率）。这三个型号面向大数据分析和高性能计算（HPC）等需要高主频、高性能的核心业务应用，其中8核的AMD EPYC 7F32处理器主频最高，达到了3.7GHz（睿频3.9GHz），TDP也有180瓦，已经与7001系列的旗舰款同一水平。有一个经得起考验的整体架构作为基础，接下来的完善和迭代也就顺理成章。2021 年 3 月，AMD 发布了代号 Milan 的第三代 EPYC 处理器（7003 系列），依然是 8 个 CCD 围绕 1 个 IOD 的 Chiplet（小芯片）设计，主要的变化发生在 CCD 内部。首先是单核性能的提升。新的 Zen 3 核心，IPC63、（Instruction Per Cycle，每时钟周期指令）性能比 Zen 2 提升约 19%，而 Zen/Zen+到 Zen 2 的增长“只有”约 15%。性能增幅的贡献来自 Cache 预取、执行引擎、分支预测、微操作 Cache、前端、Load/Store 等多个环节的累积改进。相比第二代 EPYC 处理器的 Zen 2 核心，第三代 EPYC 处理器的 Zen 3 核心全面增强P033 I有一个经得起考验的整体架构作为基础，接下来的完善和迭代也就顺理成章。看起来前端和 Load/Store（载入/存储）的贡献是最大的，其中Load/Store 从每周期 2 Loads+1 Store64、s 增至 3 Loads+2 Stores，提升幅度分别达 50%和 100%。Load/Store 属于内存操作，因此增加 Load/Store 带宽，主要受益的是涉及内存密集型的操作，具体要看程序里的动态 Load/Store 指令占比，L/S 动态指令占比越高 L/S单元性能表现影响应该越大，当然访问内存要涉及一个多层级的复杂系统，所以 L1 D-Cache、L2 和 L3 Cache、硬件预拾取器、主内存等也会有相应的影响。另一个重大的改变就是 CCD 内部的 2 个 CCX 合二为一，由原来的每4 个核心共享 16MiB L3 Cache，变成 8 个核心共享 32MiB L3 Ca65、che的 1 个 CCX，也就是在 CCD 内部不再需要通过片上的 Infinity Fabric跨 CCX 访问，每个核心直接访问的 L3 Cache 翻倍，有助于提升大数据集应用的性能。总的来说，第三代 EPYC 处理器可以视为第二代的完善版本：一方面，整体架构和对外I/O基本不变，共用服务器平台（主板）就很有价值了，譬如超微（SuperMicro）的 H12 代 A+服务器，只要把 BIOS 升级到2.0 或更新版本，即可直接支持 EPYC 7003 系列 CPU；另一方面，虽然制程还是 7+14，但在同等 TDP 下，7003 系列的 CPU 加速频率比7002 系列有 5 10%的提66、升，为单核性能优化的高频型号也从 24核扩展到 32 核，TDP 达到顶级的 280 瓦。升级的门槛很低，跨度却可能很大。譬如腾讯云同步推出基于 64 核定制款第三代 EPYC 处理器的 SA3 实例，2.55GHz 的主频只比公开发售的旗舰款 EPYC 7763（2.45GHz）略高，但是，论起最大规格，SA3 实例的 232 vCPU、940GB 内存，比 SA2 实例的 180 vCPU、I P0342021 中国云数据中心考察报告 I 多元算力464GB 内存，分别提高近 30%和一倍。旗舰款亦有广阔舞台。在 2021 年 6 月公布的高性能计算（HPC）TOP500 榜单中，前 1067、 名中唯一的新面孔 Perlmutter 就基于 AMD EPYC 7763，排名第 5之前的第 5 名 Selene 基于 EPYC 7742，也是 64 核，在第二代 EPYC 处理器系列中仅次于旗舰款 7H12。不仅如此，在美国能源部规划的 Frontier、Aurora、El Capitan 三大 E级超算（Exascale Computing）中，有两套都基于 AMD 平台实现，包括采用 AMD 提供的 CPU 和 GPU 等全套设备。以 Frontier 为例，使用了代号 Trento 的定制 CPU AMD EPYC 7A53，看型号可知也基于 Zen 3 架构，据传其 IOD 68、采用了 Infinity Fabric 3.0 来对接 AMD GPU。加大 L3 Cache 的容量有助于提高缓存命中率，减少内存访问次数，从而大幅度降低延迟。从这个目的来看，Milan 架构打通 CCD 内部只是让每个核心可直接访问的 L3 Cache 容量翻倍，Milan-X 的物理扩容才是大招。一年之后的 2022 年 3 月 21 日，AMD 宣布“全面推出世界首款采用 3D芯片堆叠的数据中心 CPU”，即采用 AMD 3D V-Cache 技术的第三代AMD EPYC处理器，代号Milan-X（米兰-X），共4款，型号以“3X”结尾。3D V-Cache（3D 垂直缓存）是 AMD69、 与台积电在 3D 封装技术上合作，将 Chiplet 封装技术与芯片堆叠技术相结合，开发出的 3D 芯片堆叠技术。在一个 CCD 上方直接堆叠一个 64MiB 的 7nm SRAM，将L3 Cache 容量原地增加 2 倍，达到 96MiB，8 个 CCD 就有 768MiB的 L3 Cache。P035 I加大 L3 Cache 的容量有助于提高缓存命中率，减少内存访问次数，从而大幅度降低延迟。从这个目的来看，Milan架构打通 CCD 内部只是让每个核心可直接访问的 L3 Cache 容量翻倍，Milan-X 的物理扩容才是大招。Frontier 超级计算机：业界公布的第一套 E 级超算70、看起来简单粗暴，做起来科技拉满。3D V-Cache通过硅通孔（Through Silicon Via，TSV）技术在堆叠的芯片间传递信号和电能，支持超过2TB/s 的带宽，能够提供的互连密度是 2D Chiplet 的 200 多倍，是其他 3D 堆叠方案的 15 倍以上。不仅集成效率更高、密度更大，Die之间的接口采用铜到铜的直接键合，没有任何形式的焊接凸点，极大的改善了热设计、晶体管密度和互连间距，而且单位信号的能耗只有微凸点 3D 法的三分之一。应用 3D V-Cache 的目的是提供尽可能大的缓存容量，所以虽然 4款 Milan-X 处理器的核心数分别为 16、24、32 和 64，71、但是全部配满了 8 个 CCD（每 CCD 有 2/3/4/8 个核心）和 768MiB L3 Cache，TDP 有 240 瓦和 280 瓦两档，而 cTDP（c 代表“可配置”）范围都在 225 280 瓦之间。在架构和制程之后，封装技术对 CPU 的重要性也日益凸显出来。独立安全子系统回顾三代 EPYC 处理器的发展历程，可以看到，CPU 的核心越来越强大，L3 Cache的容量也一直在成倍增长。这些核心功能的持续进步，容易让人忽略，其安全特性也在不断完善。三代 EPYC 处理器的安全性建立在一个独立的安全子系统之上，其核心是 CPU 集成的安全协处理器，这是一个基于 Arm Cort72、ex-A5 的 32位微控制器。安全协处理器运行一个安全的操作系统/内核，安全的片外非易失性存储（如 SPI ROM）保存固件和数据，提供安全密钥生成和密钥管理等加密功能，启用经过硬件验证的引导。I P0362021 中国云数据中心考察报告 I 多元算力P037 I在硬件验证的引导过程中，安全协处理器加载片上引导 ROM，该ROM 加载并验证片外引导加载程序。引导加载程序在 x86 核心开始执行 BIOS 代码前验证 BIOS，也验证和加载安全协处理器使用的代码以提供密钥管理。第二代 EPYC 处理器的 SME 设计EPYC 处理器提供基于硬件的内存加密，其内存控制器具备 AES-128加密引73、擎，加密密钥由安全协处理器管理，不暴露给 x86 CPU（的部分）。安全内存加密（Secure Memory Encryption，SME）使用每次系统重启时随机生成的密钥加密全部系统内存。安全加密虚拟化（Secure Encrypted Virtualization，SEV）在云计算时代的重要性不言而喻，它在虚拟机以及 hypervisor 之间提供强加密隔离，根据虚拟机 ID 选择活动的加密密钥。第一代 EPYC 处理器支持 128 个线程和 16 个密钥，第二代扩展了SEV 的能力，支持 256 个线程和 509 个密钥，还加入了 SEV 加密状态、加密 CPU 寄存器（SEV-ES）等74、功能。到了第三代，进一步增加了 SEV 安全嵌套分页、针对不受信任的 hypervisor 的高级安全特性、支持未修改的 Guest 操作系统，并提供内存完整性保护（SEV-SNP）。当然 Arm 的目标可不是在 x86 服务器 CPU 里当个小配角，他们要的是广阔的正面战场。Arm 的 目 标 可 不 是 在x86 服务器 CPU 里当个小配角，他们要的是广阔的正面战场。Arm：3A 大作将 CPU 的设计与制造相分离的代工模式，给 AMD 提供了高度的灵活性。第二、三代 EPYC 处理器可以相对自由的选择不同的制程来匹配芯片设计的具体需求，客观上起到了帮助 AMD“以小博大”，从英特尔手中75、持续抢下市场份额的作用。不过，这个灵活性的获益者更多在于 AMD 自身。超大规模用户如AWS 和阿里云不满足于主要调整核心数、运行频率和 TDP 等指标的传统定制，希望对 CPU 设计有更多的自主权；又或者，新兴 CPU 供应商如 Ampere（安晟培）要选择适用的技术路线Arm 几乎是服务器 CPU 市场上唯一的答案。如果说台积电帮助解决 CPU 的制造问题，那么 Arm 帮助解决 CPU的设计问题。Cortex 孵化 Neoverse对亚马逊（Annapurna Labs）、阿里巴巴（平头哥）和 Ampere 这有足够芯片设计能力的“3A”客户来说，Arm 的 Neoverse 平台提供了76、设计一款服务器CPU的基础，包括CPU核心的微架构和配套的制程。Arm 对服务器 CPU 市场的正面进攻可以回溯到 2011 年 10 月，Arm发布加入可选 64 位架构（AArch64）的 ARMv8-A。一年后，Arm 发布实现 ARMv8-A 64 位指令集的微架构 Cortex-A53 和 Cortex-A57，AMD 表态将推出相应的服务器产品后者多年的服务器市场经验正是当时的 Arm 阵营所稀缺的。此后的几年中，芯片供应商如 Cavium、高通（Qualcomm）和国内的华芯通，超大规模用户如微软，都曾积极的推动 64 位 Arm 进入数据中心市场。但是，真正比较成规模化的部署，77、应当始自 2018 年11 月 AWS 预览其首个 Arm 服务器 CPUGraviton。Graviton 基于 2015 年推出的 Cortex-A72（A57 的继任者），16nm制程，16核、16线程，与同时期的x86服务器CPU比起来，颇有些 “平平无奇”，最大的仰仗是亚马逊“自家的孩子”，可以充分优化。Cortex-A 家族已经是 Cortex 三兄弟里最追求性能的了，但毕竟不是面向服务器平台的产品，不能放宽功耗限制去飙性能。于是，在Graviton 公开之前一个月，Arm 发布了面向云计算和边缘基础设施的 Neoverse 平台，起点便是 16nm 的 A72 和 A75，代号 78、Cosmos。I P0382021 中国云数据中心考察报告 I 多元算力如果说台积电帮助解决CPU 的制造问题，那么Arm 帮助解决 CPU 的设计问题。仅仅4个月之后，2019年2月，Arm更新了Neoverse平台的路线图，推出7nm的Neoverse N1，性能比之前的目标又有30%以上的提升。代号 Ares 的 Neoverse N1，基础是 2018 年推出的 Cortex-A76，两者的流水线结构相同，均为 11 级短流水线设计，前端都是 4 宽的读取/解码器。Arm 将其称为“手风琴”管道，因为根据指令长度不同，它可以在延迟敏感的情况下将第二预测阶段与第一获取阶段重叠，将调度阶段79、与第一发布阶段重叠，将流水线长度减少到 9 级。L2 Cache 也新增可选的 1MiB 容量，是 A76 的 2 倍。4 vCPU 配置，Neoverse N1 相对 Cortex-A72 的整数性能提升 Neoverse 可伸缩计算平台P039 I相较于上一代的A72平台，Neoverse N1平台带来了显著的性能提升，许多项目的成绩翻倍，尤其是在标志性的机器学习项目中，成绩接近上一代产品的 5 倍。虽然 A72 的年头早了点儿，但这样的性能差距也说明 Neoverse N1 确实有了质的飞跃。Graviton2 与 Altra 系列Neoverse N1 平台带给数据中心市场的冲击很大，80、因为所有人都看到了它的巨大潜力和价值，以及这背后的机会。如果说之前的 A72还只是在数据中心市场崭露头角的话，那么 Neoverse N1 则让更多人相信 Arm 有能力在这个领域分一杯羹。两款分别来自云服务商和独立 CPU 供应商的 7nm CPU，都基于Neoverse N1。2019 年 11 月，AWS 官宣 Graviton2 处理器：核数暴涨至 64，是一代的 4 倍；晶体管数更有 6 倍，达到 300 亿之多；64MiB L2 Cache，是一代的 8 倍；DDR4-3200 内存接口，（频率）是一代的 2 倍；运行频率 2.5GHz，略高于一代的 2.3GHz。I P0402081、21 中国云数据中心考察报告 I 多元算力Neoverse N1 平台带给数据中心市场的冲击很大，因为所有人都看到了它的巨大潜力和价值，以及这背后的机会。如果说之前的 A72 还只是在数据中心市场崭露头角的话，那么 Neoverse N1 则让更多人相信 Arm有能力在这个领域分一杯羹。基于 Graviton2 的 EC2（Elastic Compute Cloud，弹性计算云）实例类型迅速增多，包括但不限于通用型（M6g、T4g）、计算优化型（C6g）、内存优化型（R6g、X2gd），部署的区域（Region）和数量也从 2020 年中起稳定增长据统计，2020 年全年，AWS EC2 实例82、增量中的 49%基于 AWS Graviton2。2020 年 4 月，Ampere 更进一步，推出多达 80 核的 Ampere Altra处理器。Altra 系列使用的核心代号为 Quicksilver，是基于 Arm Neoverse N1 修改的版本，支持 ARM v8.2+指令集，即在 ARM v8.2P041 I 2020 年 AWS 新增的 EC2 实例中，Gravtion2 占据半壁江山，Intel 和 AMD 的比例也耐人寻味基础上，引入了来自 ARM v8.5 的 Meltdown 与 Spectre 漏洞的修复以及其他重要特性。Ampere Altra 系列与 AWS G83、raviton2 都采用台积电的 7nm 制程，不仅核数更多，一致性最大主频也更高，可达 3.3GHz，所以最高 TDP为 250 瓦，明显超出后者。Altra 系列共有 10 个型号（SKU），其中4 款 80 核，4 款 64 核。内 存 方 面，Ampere Altra 系 列 与 AWS Graviton2 都 支 持 8 通 道DDR4-3200 内存，每插槽带宽的理论峰值为 204GB/s，最大内存容量可达 4TB。作为一款面向通用市场的 CPU，Altra 系列更注重扩展能力，单 CPU提供多达 128 个 PCIe 4.0（Gen4）通道，其中两条兼容 CCIX 协议的专用 P84、CIe Gen4 x16 链路可以 25GT/s 的速率与另一个 CPU 互连，实现双路配置，2 个 CPU 对外提供 192 个 PCIe 4.0 通道。在 Altra 发布一年之后，国内的阿里云、UCloud（优刻得）、腾讯云，国外的 Oracle 云（Oracle Cloud Infrastructure，OCI），相继推出了采用 Ampere Altra 处理器的产品。2022 年 4 月初，微软宣布推I P0422021 中国云数据中心考察报告 I 多元算力型号Q80-33Q80-30Q80-28Q80-26Q72-30Q64-33Q64-30Q64-26Q64-22Q32-17核数85、80808080726464646432基频3.002.802.602.402.803.002.802.402.001.50最大频率3.303.002.802.603.003.303.002.602.201.70Mesh 频率（GHz）1.801.751.601.551.751.801.751.351.101.10TDP(W)2502101851501952201801259545 65订货号AC-108025002AC-108021002AC-108018502AC-108015002AC-107219502AC-106422002AC-106418002AC-106412502AC-10686、409502AC-103206502频率（GHz）出基于 Ampere Altra 处理器的 Dpsv5 和 Epsv5 系列 Azure 虚拟机（VM）预览版。至此，全球前两大和国内前两大的公有云，都提供了基于Arm的云主机（虚拟机、实例），其中3家是Ampere的用户。在这些公有云中，除了 OCI 提供双路 160 核的配置，看起来都是单路方案，Ampere Altra 系列处理器中排第二顺位的 Q80-30（80 核，TDP 210W）最受欢迎，表现在云主机上为主频 2.8GHz、最大主频3.0GHz，最多 64 核，典型如腾讯云 SR1 实例、UCloud 快杰 O 型Ampere 版87、云主机。阿里云的通用型实例 g6r 和计算型实例 c6r 只列出 2.8GHz 主频，而 GPU 计算型弹性裸金属服务器实例 ebmgn6ia为 2.8GHz 主频、最大频率 3.0GHz，80 核。腾讯云公布了包括计算性能、加解密性能、AI 推理性能、Redis 数据库性能等测试的结果，所有项目中 Altra 系列均具备明显的优势，性能提升最多可达 3 倍，最少的 Java 电商场景下也有 20%以上的性能改善。这足以证明Altra系列乃至于Arm平台在数据中心应用的能力，尤其是对在乎性价比的用户来说，可以花更少的投入获得更好的性能体验。时至今日，Altra 系列依然是 Ampere 公司在88、数据中心市场的主打产品。P043 I Armv9 带来了多项创新全球前两大和国内前两大的公有云，都提供 了 基 于 Arm 的 云主 机，其 中 3 家 是Ampere 的用户。Armv9：继往开来2011 年 11 月公布的 Armv8，将 Arm 带入了 64 位时代。在 Arm 和生态合作伙伴的共同努力下，经过数次产品迭代，Arm 阵营用了十年的时间，在服务器市场站稳了脚跟。2021年3月底，Armv9发布，在Armv8的基础上，着重升级了安全性、机器学习（Machine Learing，ML）和数字信号处理（Digital Signal Processing，DSP）方面的能力。在新架89、构所带来的三大特性中，机器学习或许是大众最熟悉也是最关心的内容。伴随着异构应用的崛起，以机器学习为代表的人工智能（Artificial Intelligence，AI）技术已经深入我们生活的方方面面，无论是在后端的数据中心还是在终端、边缘侧，机器学习都大有用武之地。为了更好的提升 AI 和 DSP 所需的算力，ARMv9 将原本支持的可伸缩矢量扩展（Scalable Vector Extension，SVE）升级到了 2.0 版本。这项技术可以改善机器学习和数字信号处理应用的性能表现，有助于对 5G 系统、VR/AR、机器学习等一系列工作负载的处理。SVE2 提供了可调节的向量（Vector，90、矢量）大小，范围从 128b（bit，位）到 2048b，从而允许向量的可变粒度为 128b，这种变化并不会受到硬件平台的影响。这就意味着，软件开发人员将只需要编译一次其代码，就可以适用于Armv9乃至于后续产品中，实现“编写一次，到处运行”。同样，相同的代码将能够在具有较低硬件执行宽度能力的更保守的设计上运行，这对于 Arm 设计从物联网、移动到数据中心的 CPU 而言至关重要。SVE2 扩展还增加了压缩和解压缩 CPU 核心内的代码和数据的能力，因为将数据移入和移出芯片的过程耗电很大，尽可能多使用芯片内的数据可以减少这种数据移动，从而降低能耗。更值得一提的是 Confidential Co91、mpute Architecture（CCA），中文名称为机密计算架构，这也是 Arm 本次版本更新最重要的内容。其实安全问题近些年变得愈演愈烈，勒索病毒与黑客攻击无时无刻不在进行。面对层出不穷的网络攻击问题，既需要网络服务商、软件公司的努力，也需要包括 Arm 在内的硬件基础设施提供商从源头上封堵可能存在的漏洞，就促成了 CCA 的出现。这是一种基于架构层面的安全防护能力，通过打造基于硬件的安全运行环境来执行计算，保护部分代码和数据，免于被存取或修改，乃至不受特权软件的影响。I P0442021 中国云数据中心考察报告 I 多元算力Armv8 将 Arm 带入了64 位时代。在 Arm 和生92、态合作伙伴的共同努力下，经过数次产品迭代，Arm 阵营用了十年的时间，在服务器市场站稳了脚跟。Armv9 在 Armv8 的 基础上，着重升级了安全性、机器学习（ML）和数字信号处理（DSP）方面的能力。为此 CCA 引入了动态创建机密领域（Realms）的概念这是一个安全的容器化执行环境，支持安全的数据操作，可将数据与hypervisor或操作系统隔离。Hypervisor的管理功能由“领域管理器”（realms manager）承担，而 hypervisor 本身只负责调度和资源分配。使用领域的优势在于极大地减少了在设备上运行给定应用程序的信任链，操作系统在很大程度上对安全问题变得透明，也93、允许需要监督控制的关键任务应用程序能够在任何设备上运行。在实际应用中，内存是非常容易被攻击的一环，内存安全也一直成为行业的关注点，如何在内存安全漏洞被利用之前就能发现问题，是提高全球软件安全的重要一步。为此，Arm 与 Google 持续合作开发的“内存标签扩展”（MTE）技术也成为 Armv9 的一个组成部分，可在软件中查找内存的空间和时间安全问题，将指向内存的指针和标签建立联系，并在使用指针时检查这个标签是否正确。如果存取超过范围，标签检查就会失败，从而可以在第一时间发现内存安全漏洞并进行封堵。V1 与 N2：纵横兼顾在 Armv9 发布一个月之后，Neoverse 系列数据中心和服务器级94、处理器平台新增了两个核心 IP：基于 Armv8.x 的性能巅峰之作 Neoverse V1，和首个基于 Armv9 设计的 Neoverse N2。Armv8 和 Armv9 并存，分别加强单核（纵向扩展）与多核（横向扩展）方向。根据侧重点的不同，Arm 将 Neoverse 平台设计分为三大产品系列：P045 I Arm 机密计算架构（左），Android 11 和 OpenSUSE 引入的内存标签扩展技术（右）Neoverse系列数据中心和服务器级处理器平台增加了两个核心 IP：基于 Armv8.x 的性能巅峰之作 Neoverse V1，和首个基于 Armv9 设计的Neoverse 95、N2。Armv8和 Armv9 并存，分别加强单核（纵向扩展）与多核（横向扩展）方向。E 系列主要关注效率，在功耗和（芯片）面积的缩减上进行优化；N系列兼顾性能、功率、面积（PPA），性能与能耗横向扩展，可覆盖从 5G 边缘到云数据中心的广大市场；V 系列旨在提供最佳（单核）性能，每个核心更为复杂，相对而言也会消耗更多面积和功耗。作为 V 系列的开山之作，Neoverse V1 基于 Armv8.4，同时还为面向高性能计算（HPC）的工作负载引入了 v8.5 和 v8.6 中的一些功能。在制程上，5 7nm 均可，便于用户过渡。既然是面向强算力应用场景，Neoverse V1 的最大亮点就是性96、能得到了大幅度提升，IPC 比早两年推出的 Neoverse N1 增长高达 50%。相关的改进包括取指带宽加倍、加宽的指令解码，更大的 L2 和 L0 BTB，最多可缓存3K指令的宏操作cache，更多的加载/存储（load/store）单元等等，而这些也都会反映到芯片面积的开销上。Neoverse V1 还是 Arm 首个支持 SVE 的微架构，具有 2 个 256b SIMD（单指令多数据）流水线，加上对 bFloat16、INT8 数据格式的支持，可以更好的满足 HPC 和人工智能应用的需求。看名字就知道，Neoverse N2 才是 N1 的继任者。作为三大系列中的第一个“二代”，N97、eoverse N2 在很多方面都是新的，包括Armv9-A 架构、5nm 制程。支持 Armv9 意味着引入 SVE2，不过Neoverse N2 的 SVE2 数据宽度只有 V1 的一半（2128b），毕竟N2 还要兼顾功耗和面积。I P0462021 中国云数据中心考察报告 I 多元算力借助 5nm 的加成，在保持相同水平的功率和面积效率的基础上，Neoverse N2 的单线程性能比 N1 提升 40%，云端应用的 NGINX 性能提升 30%，5G 和边缘应用的 DPDK 数据包处理能力提升 20%。P047 I Neoverse N2 架构示意图总体而言，Neoverse V1的性98、能更强，Neoverse N2的规格更新更全，面向未来，通用性也更广。以扩展能力为例，两者都支持 PCIe 5.0、DDR5 和高带宽内存（High-Bandwidth Memory，HBM），区别在于 V1 支持 HBM2e，N2 支持 HBM3，还有基于 PCIe 5.0 的 CXL 2.0，CCIX 版本也从 1.1 升为 2.0。在同样或相近的晶体管数开支下，是做大单个核，还是增加更多核，Neoverse V1 和 N2 给出了不同的选择。倚天 710 与 Graviton3发布仅仅半年之后，基于 Neoverse N2 和 V1 的服务器 CPU 就开始涌向市场。2021 年 10 99、月 19 日，2021 杭州云栖大会上，阿里巴巴正式发布旗下平头哥自研服务器 CPU 倚天 710：率先采用 Armv9 和 5nm 制程，128 个核心，多达 600 亿个晶体管；最高频率 3.2GHz，有 8 个DDR5 内存通道和 96 个 PCIe 5.0 通道。从会场展出的阿里云磐久服务器来看，倚天 710 支持双路配置。种种迹象表明，倚天 710 应该是基于 Arm Neoverse N2 核心的产品，兼顾性能和能效。阿里云第一款使用自研倚天 710 CPU 的实例是通用型实例规格族g8m，从 2022 年 2 月 20 日起开始邀测。g8m 是阿里云第八代 ECS云服务器的首个成100、员，“依托第三代神龙架构，提供稳定可预期的超高性能。同时通过芯片快速路径加速手段，完成存储、网络性能以及计算稳定性的数量级提升。”主要针对通用计算、云原生以及Android in Cloud 等场景，主频 2.75GHz，最大的实例规格为 128个 vCPU、512GB 内存和 64Gbps 网络带宽。2021 年 12 月 初 召 开 的 AWS re:Invent 大 会 上，AWS隆重推出 Graviton3，也采用 5nm 制程，不过基于Neoverse V1 的可能性更大。很重要的一个依据是，Graviton3的晶体管数达到550亿，接近 Graviton2 的两倍，核数却保持在 6101、4 个，这些多出的晶体管主要用来增强每一个 CPU 核心。按照 AWS提供的数据，基于 Graviton3 的 C7g 实例（尚处于预览阶段）性能比基于 Graviton2 的 C6g 实例高 25%。I P0482021 中国云数据中心考察报告 I 多元算力AWS 选择让 Graviton3 的核心更“宽”，而不是增加核心数量或显著提高运行频率，来获得更高的性能。从指令获取、解码、发射和指令窗口到SIMD和加载/存储单元，与Graviton2相比基本都达到了翻倍，Graviton3 的上述改进非常符合 Neoverse V1 的特征，而不像是 N2。Graviton3 对 PCIe 5.0 102、和 DDR5 内存的支持是 Neoverse V1 和 N2 共有的特性，N2 的其他特性如 CCIX 1.1 升级到 2.0，对 Graviton3 来说似乎意义不大，因为其采用单路设计，3 个 CPU 连接到 1 个 Nitro 扩展卡上，CPU 之间并不直接互连。P049 IAWS 选择让 Graviton3的核心更“宽”，而不是增加核心数量或显著提高运行频率，来获得更高的性能。值得探究的，是 Graviton3 CPU 内部的互连。CMN、多核与单核从前面的介绍中可以看出，Neoverse平台主要提供CPU核心的设计，要实现服务器 CPU 所需的大量核心，还需要另一个大 IP 的配合，103、这就是简写为 CMN（Coherent Mesh Network，一致性网格网络）的SoC 互联 IP。以 Neoverse N1 来说，配套的互连方案是 2016 年 9 月底推出的CMN-600，支持 88 的网格拓扑，最多 64 个节点（交叉点），每个节点可以有 2 个 N1 核心及其 L2 Cache，理论上这个架构可以支持 128 个核心。在实现上，网格结构边角上的节点要分出几个用于挂载内存控制器、PCIe 控制器等 I/O 设备，因此留给 CPU 核心的节点数会减少一些。以同样支持双路配置的英特尔第三代至强可扩展处理器和 Ampere Altra 系列处理器为例，两者都采用 87 104、的网格结构，具体布局虽有所差异，但留给 CPU 核心的节点均为 40 个。主要的区别在于，CMN 的每个节点上是 2 个核心，至强可扩展处理器则是 1 个核心 2个线程，结果就是 第三代至强可扩展处理器：40 个核心，80 个线程；Ampere Altra 系列处理器：80 个核心，80 个线程。英特尔和 Ampere 的做法很有代表性，即 x86 处理器的每个核心可以通过超线程技术提供 2 个线程；而对基于 Arm 的处理器来说，单核就是单线程，通过增加更多的核心来提供可以匹敌的线程数。I P0502021 中国云数据中心考察报告 I 多元算力x86 处理器的每个核心可以通过超线程技术提供 105、2 个线程；而对基于Arm 的处理器来说，单核就是单线程，通过增加更多的核心来提供可以匹敌的线程数。超线程设计最初是为了物理核数不增加的情况下，在一个芯片上为软件用多线程添加虚拟 CPU 核。超线程 CPU 核心需要为增加的线程提供额外的寄存器集，才可以快速地从一个线程切换到另一个线程。（x86 的）超线程 CPU 核心在软件看起来像 2 个核心，每个核心执行一个线程。超线程与多核相结合，产生具有很多虚拟CPU（vCPU）的处理器芯片。在云计算中，一个 vCPU 通常对应的就是一个线程。由此，对于虚拟化的云实例来说，（x86的）超线程就实现了单个 CPU 上翻倍的虚拟化密度，继而实现更高的可售106、卖核数。然而，超线程 CPU 核心中的 2 个 vCPU 毕竟不是独立的物理核心，存在资源争用和隔离导致的一系列问题：性能：（同一个物理核心中的）2 个 vCPU 共享 L1 和 L2 Cache等资源，在多数情况下都不可能达到 2 个物理核心的性能，在某些应用场景下，打开超线程反而会导致性能下降；安全：两个线程之间的共享资源有可能导致数据泄露，这在前几年 Meltdown 与 Spectre 引发的一轮轮漏洞危机中已有体现。所以AWS 一直坚持任何一个（物理）核心不能共享给两个客户，vCPU 都是双数；能耗：关掉超线程，闲置的晶体管仍会继续耗电。对于有无超线程的区别，OCI 在网页上提醒用户107、，其计算实例的计量单位 OCPU（Oracle CPU）是不同的，即：在 x86 CPU 架构（AMD 和英特尔）上，1 OCPU=2 vCPU；在 Arm CPU 架构（Ampere）上，1 OCPU=1 vCPU。超线程可以说是 CPU 发展过程中积累的衍生资产，譬如传统的 RISC服务器 CPU 甚至每核能提供多达 4 8 线程。在这方面，作为数据中心和服务器市场上的后起之秀，Arm阵营既没有遗产也没有包袱，Ampere 和 AWS 的产品都采用单核单线程的设计，为的是能提供更好的安全隔离以及所有核更为一致的性能表现，系统能随着运行核数的增加而呈现线性扩展。P051 IChiplet 期108、待更多2021 年，在 Altra 系列的基础上，Ampere 推出了代号 Mystique的 Altra Max 系列，核数大增 60%，来到 128 核，提高了 Mesh 的工作频率以支持更多的核心，但最高的频率组合下降到 2.8/3.0GHz（M128-30），保持 TDP 不超过 250 瓦。Altra Max 系列的一大优势是与 Altra 系列兼容，也支持双路配置，可以沿用之前的服务器平台。与 Neoverse V1 和 N2 配套的互联 IP 升级到了 CMN-700，网格规模扩展至 12 12，是 CMN-600 的 2.25 倍（144 64），单个 CPU 的核数可以多达 109、256 个，也支持更大的系统级 Cache（SLC）、CCIX 2.0和 CXL 2.0。如果说 CMN-700 为多核 CPU 的设计提供了更好的支持，那么Chiplet 就是为多核 CPU 的制造提供了帮助。以 Graviton3 为例，虽然还是 64 核，但每个核心的复杂度明显上升，总的晶体管数相当接近 128 核的倚天 710，分成多个小芯片，有助于保证制造的良率。网格架构 CPU 核心居中、I/O 控制器在边角的特征，对 Chiplet 拆分芯片还是有一定影响的，Graviton3 的布局就反映了这一点：一共7 个晶片，64 个核心在最大的晶片上，外围的三面各 2 个较小的晶片左右 110、4 个 DDR（控制器）晶片、下方 2 个 PCIe（控制器）晶片。这种做法同样体现了 CPU 核心与 I/O 器件相分离的思想，需要的话也可以单独调整 CPU 核心的数量。I P0522021 中国云数据中心考察报告 I 多元算力P053 I左：Ampere Altra 宣传图片；中：AWS Graviton3 逻辑布局；右：Graviton3 实物图飞腾腾云这两年国产 CPU 的话题热度持续走高，说起国产，许多人第一个想到的就是飞腾（Phytium），这也是很早就启动 Arm 处理器研发的中国企业。2014 2019 年的这 5 年中，飞腾相继推出基于 Arm 架构的 FT-1500A、F111、T-2000、FT-2000A/2、FT-2000+/64、FT-2000/4。到了 2020 年，飞腾以“芯算力 新基建 新引擎”为主题推出了新一代的多路服务器 CPU，也吹响了向数据中心前进的冲锋号。作为目前国内能够提供最全 CPU 体系的厂家，飞腾的产品线包含了高性能服务器 CPU、高能效桌面 CPU 以及高端嵌入式 CPU 三个产品谱系。不同于以往字母缩写“FT”的命名方式，全新的产品线分为腾云 S 系列、腾锐 D 系列和腾珑 E 系列三种。其中，腾云 S 系列寓意“腾云驾数，乘风破浪”，为服务器和数据中心应用提供强算力、高并发的计算能力；腾锐 D 系列寓意“腾锐披坚，追风逐电”，打造112、高性能、高安全的单用户极致体验；腾珑 E 系列寓意“腾珑灵动，烈风迅雷”，提供定制化的、契合各行各业嵌入式应用的解决方案。面向数据中心应用的多路服务器芯片腾云 S2500 是一款继承自上代产品 FT-2000+/64 的全新处理器，集成 64 个自主研发的 ARMv8 指令集兼容处理器核心 FTC663，采用 16nm 制程，主频 2.1GHz，典型功耗 136W，TDP 达 200W。腾云 S2500 有 32MiB L2 和 64MiB L3 Cache，支持 8 通道 DDR4-3200 内存，1 个 x1 和 2 个 x16 PCIe 3.0。由于面向多路互联市场，腾云 S2500 重113、点改进的就是体系架构，增加了 4 个直连接口，总带宽 800Gbps，支持 2 路、4 路及 8 路直连，缓存一致性协议从单路 64 核扩展到了 8 路 512 核。这也就意味着基于腾云 S2500 的服务器也可以包括双路、四路及八路服务器，可作为目前国内能够提供最全 CPU 体系的厂家，飞腾的产品线包含了高性能服务器 CPU、高能效桌面 CPU 以及高端嵌入式 CPU 三个产品谱系。支持 4TB 内存、8 路 PCIe 3.0 加速卡等配置。这个规格在业界算是达到了主流水平，可以应对云计算需求。当然作为国产平台，飞腾S2500 也有自己的“独门秘籍”，比如支持内存镜像存储可靠性增强及面向应用114、的安全增强技术，还可以避免幽灵（Spectre）、熔断（Meltdown）等漏洞的影响。相比上一代产品 FT-2000+单路服务器 CPU，腾云 S2500 的性能提升明显。根据飞腾研究院的测试数据：在整机性能方面，双路的SPECint 分值为原来的 2 倍，四路的 SPECint 值为原来的 3.5 倍；在分布式数据库性能方面，双路服务器的 tpmC 值线性提升至原来的 2倍，四路的 tpmC 值增长至原来的 4 倍。在云桌面支持方面，双路服务器支持虚拟机 70 个，增长至原来的 2.5 倍，四路服务器支持虚拟机 140 个，增长至原来的 5 倍。飞腾方面宣称，腾云 S2500 将依托高可扩115、展、高性能、高安全、高可靠、高能效这五大核心能力，大幅提升政务云和大数据基础设施底座的算力，还使飞腾平台逐步具备了对算力要求更高的电信、金融等新基建核心行业核心业务的支撑能力。通过赋能云计算、大数据、边缘计算、5G、AI、区块链等技术，腾云 S2500 将在政务、数字城市、电信、金融、能源、交通、工业制造等众多行业获得广泛应用。按照规划，飞腾后续还将推出腾云 S5000 等更高阶的产品。腾云 S2500 数据亲和多核处理器体系结构I P0542021 中国云数据中心考察报告 I 多元算力通过赋能云计算、大数据、边 缘 计 算、5G、AI、区块链等技术，腾云 S2500 将在政务、数字城市、电信116、、金融、能源、交通、工业制造等众多行业获得广泛应用。DPU 与 IPU云计算的技术内核是分布式计算，而分布的算力，需要高速的网络连为一体。随着数据量越来越大、网络接口速度越来越高，把所有的数据都送到 CPU 去处理，网卡（Network Interface Card，NIC）只充当流量中转站，就不太符合分布式计算的理念。在网卡上增加算力资源（如处理器），执行底层的数据处理任务，就得到了智能网卡（SmartNIC）。显然，智能网卡可以卸载（Offload）原本也要交给CPU处理的任务，而不是一切以CPU为中心（Onload），用 Mellanox（迈络丝）的话说，这种架构是“以数据为中心”（Da117、ta-centric）。NVIDIA BlueField-3 DPU：配套存储和带外管理，就像一台小服务器GPU 巨头 NVIDIA（英伟达）通过收购 Mellanox 进入网络市场后，将其 BlueField 系列产品放到 DPU（Data Processing Unit，数据处理器）的高度大力宣传。一时间 DPU 成为新的流行，譬如 Marvell在 2021 年 6 月推出其 OCTEON 10 DPU 家族时，把上溯到 2005 年的前代产品都算作了 DPU。也是在这个时段，CPU 大厂英特尔发布了 IPU（Infrastructure Processing Unit，基础设施处理器）118、。DPU/IPU 与智能网卡有什么区别？英特尔认为，智能网卡主要是卸载（数据处理），仍由 CPU 控制；而 IPU 有控制平面，可以由自己控制。相对于在数据层面上实现加速的智能网卡来说，DPU 更进一步实现了控制层面的加速，通过可编程的多核处理器和加速引擎、高性能网络接口以及软件栈的支持，实现了传统计算与数据交互的分离，也更符合未来安全、高效、云原生的大规模计算应用时代。P055 I相对于在数据层面上实现加速的智能网卡来说，DPU 更进一步实现了控制层面的加速，通过可编程的多核处理器和加速引擎、高性能网络接口以及软件栈的支持，实现了传统计算与数据交互的分离，也更符合未来安全、高效、云原生的大规119、模计算应用时代。不过从宣传的角度来说，上述定义并没有得到严格遵守。以BlueField 为例，随着其归属的变化，在产品描述中也先后经历了SmartNIC、SmartNIC 与 DPU 共存、DPU 的“演进”。智能网卡也好，DPU或IPU也罢，起码都有两个不可或缺的核心部件：一个当然是网络接口部分，通常是高速网卡；另一个就是计算单元，可以是 FPGA（FPGA 也可以提供网络功能，这个不讨论），也可以是 CPU。总体趋势是网卡速度越来越高，计算能力越来越强，可以承担的处理任务也越来越多除了网络，还有存储等功能的卸载，所以再叫“智能网卡”确实有些局限。英特尔代号 Mount Evans 的 20120、0G IPU 结构图，左边为网络子系统，右边为计算复合体以 IPU 为例，它承担基础设施（Infrastructure）的处理工作，作用可以体现在三个方面：一、把基础设施与租户的功能隔离开，IPU 运行存储、网络、管理等通常由云服务提供商（CSP）开发的代码和功能，CPU 运行客户的软件（上层应用）；I P0562021 中国云数据中心考察报告 I 多元算力二、基础设施功能的卸载，让 CPU 更好的服务于应用。Facebook有一篇报告指出，在微服务的场景中，CPU 有高达 31 83%的时钟周期花费在微服务功能上，而 IPU 可以接管这些烦琐的“底层”工作，把 CPU 解放出来；三、无盘服务121、器架构，可以通过网络使用（便于共享的）虚拟存储，给计算端提供足够的灵活性。2017 年第四季度，阿里云发布神龙架构，AWS 发布 Nitro 系统，两者具体实现不同，但都能卸载网络、存储的流量，让 CPU 资源可以专心服务客户，也符合现在 DPU 或 IPU 的定义。算力演进在计算单元的选择上，通用处理器，也就是 CPU，是目前市面上DPU 的主流。其中，固然有英特尔 Oak Springs Canyon 这样使用自家 x86 处理器（Xeon-D，至强 D）的例子，但在这个市场上，还是Arm 的生态更具优势。以英伟达的 BlueField 为例：1.最初采用 8 或 16 个 Arm Cor122、tex-A72 核心，每 2 个核心共享 1MiB L2 Cache，运行频率不超过 1.3GHz；2.BlueField-2 采用 8 个 Arm Cortex-A72 核心，运行频率提高到2.0 2.5GHz；3.BlueField-3 的指标全面升级，包括 16 个 Arm Cortex-A78 核心，8MiB L2 Cache 和 16MiB L3 Cache，板载 16GB DDR5 内存，网口速率从 100Gb/s 提高到 400Gb/s，PCIe 接口从 16 通道 PCIe 4.0 换代为 32 通道 PCIe 5.0，基本都是两倍乃至四倍的提升。BlueField-3 具有多123、达 220 亿个晶体管，单论数量，快赶上早一些的服务器 CPU 了譬如 AWS Graviton2。英特尔代号 Mount Evans 的 200G IPU SoC，集成多达 16 个 Arm Neoverse N1 核心，3 个 LP DDR4 内存通道（见上页图）。Marvell 的 OCTEON 10 则成为业界首个基于 Arm Neoverse N2 平台的处理器系列，采用台积电 5nm 制程，具有多达 36 个 N2 核心，36MiB L2 Cache 和 72MiB L3 Cache，12 个 DDR5-5200 内存控制器。其他如400G以太网（400GbE）、PCIe 5.0，124、都足以与BlueField-3对标。P057 I2017 年第四季度，阿里云发布神龙架构，AWS发布 Nitro 系统，两者具体实现不同，但都能卸载网络、存储的流量，让 CPU 资 源可 以专心服务客户，也符合现在DPU 或 IPU 的定义。不太准确的说，可以把 Neoverse N2 视为 Cortex-A78 的 Armv9数据中心版，加上明显的数量优势，所以单从纸面来看，OCTEON 10 的 CPU 算力要超过 BlueField-3。总之，无论是 A72 A78、Neoverse N1 N2 的架构迭代，还是核数与频率的提升，“更高、更快、更强”的趋势，与服务器 CPU 是一致的。以125、上几款 DPU/IPU 还有一个共性，就是选择 Neoverse N 系列这样追求性能、功率、面积（PPA）平衡的 Arm 平台。一方面，网卡这个载体空间相对有限，对芯片面积和功率限制比较多；另一方面，随着 Arm 架构与配套制程的提升，可以享受到性能的持续增长。以 OCTEON 10 系列中规格最高的 DPU400 为例，虽然运行频率可达2.5GHz，典型功率也就 60 瓦的水平。其他功能模块，如包处理、Inline 加密，RDMA、NVMe，也可以在不同的 DPU 或 IPU 里看到。BlueField从智能网卡到 DPU，“卸载”都是核心能力。通过将网络、存储、管理等基础设施任务从 CP126、U 转移至 DPU，释放 CPU 的资源，使更多的服务器 CPU 核可用于运行应用程序，完成业务计算，从而提高服务器和数据中心的效率。传统业务模型中，CPU 在计算之余还要兼顾数据互联，势必造成性能分散和效率的降低；而在将这些业务“卸载”到 DPU 之后，则可以从软硬件层面加速业务运行，甚至获得超越 CPU 的处理效率，从而大幅减少长尾延时，提升应用性能。英伟达曾在红帽容器化平台中进行过相关测试，结果显示，通过将网络相关的数据处理（如 VxLan 和 IPSec 等）卸载到 DPU 加速执I P0582021 中国云数据中心考察报告 I 多元算力行，在 25Gb/s 网络条件下，OpenShi127、ft 部署 DPU 用来加速，达到25Gb/s 性能，对 CPU 的占用只有无 DPU 方案的三分之一；而在100Gb/s 网络条件下，无 DPU 的方案将达不到 100Gb/s 网络线速，DPU 可以带来 10 倍的性能优势。如果说“卸载”提供了效率提升的话，那么零信任则保障了 DPU 的安全稳定运行。零信任（Zero Trust）是一种以安全性为中心的模型，基于以下思想：企业不应对其内外的任何事物授予默认信任选项，任何时候都需要不断的校验。从实际效果来看，零信任可以减少数据泄露、拒绝未授权的访问，因此在数据安全方面价值巨大。面对当下日益严重的病毒勒索与攻击，英伟达也从 BlueField 128、DPU、DOCA 软件栈和 Morpheus 网络安全人工智能框架等三个层面为企业提供了零信任的保护。通过将控制平面由主机下放到 DPU，系统能够实现主机业务和控制平面的完全隔离，数据将无法进行穿透，保证安全性。如果主机遭受入侵，安全控制代理与被入侵主机之间的 DPU 隔离层可防止攻击扩散至整个数据中心。这样 DPU 就解决了企业不愿直接在计算平台上部署安全代理的情况。通过在完全隔离于应用程序域的 DPU 上部署安全代理，企业不仅能获得对应用程序工作负载的可见性，还能在其基础设施中执行一致的安全策略。BlueField DPU 在国内已经有了不少用户，譬如 UCloud 的裸金属服务器（Bar129、e Metal Server）就采用英伟达 BlueField DPU“满足客户高带宽、低时延的网络需求，并使用 NVIDIA ASAP 技术实现了客户无缝接入NVGRE Overlay虚拟网络，为客户提供更灵活优质的服务。”P059 I通过将控制平面由主机下放到 DPU，系统能够实现主机业务和控制平面的完全隔离，数据将无法进行穿透，保证安全性。I P060第三代 BlueField DPU 于 2021 年 4 月发布，2022 年正式供货。按照英伟达的规划，未来还将有第四代 BlueField DPU 的出现，预计要等到 2023 2024 年。正如英伟达在人工智能领域的成功离不开 CUD130、A，BlueField 系列DPU 也有名为 DOCA 的软件开发包保驾护航。DOCA（Data Center On A Chip Architecture，片上数据中心基础设施架构）包含利用BlueField DPU 来创建、编译和优化应用的运行时环境，用于配置、升级和监控整个数据中心数千个 DPU 的编排工具，以及各种库、API 和日益增加的各种应用，如深度数据包检测和负载均衡等。随着每代 DPU 的演进，原先使用 DOCA 开发的应用程序都可以完全向后兼容，且 DPU 路线图上的后续产品依然保证完全向前兼容。这意味着在目前BlueField DPU上运行的应用程序和数据中心基础设施，在不131、久的未来能不加修改地加速运行在 BlueField-4 DPU 等后续产品上，这也从根本上保障了 BlueField 系列 DPU 强大的生命力和生态系统。上图所示的是 DOCA 1.1 软件栈，其中包括驱动程序、库、服务代理和参考应用。这个软件栈一方面包括了 DOCA SDK，另一部分是用于实现开箱即用部署的 DOCA 运行时（Runtime）软件。DOCA 在底层硬件 API 上提供一个抽象层给上层的业务，开发者可以使用标准的API 更快速、更轻松地进行开发，实现和上层业务的集成，并经优化后提供出色的性能，或者与底层接口合作达到更精细的控制。DOCA还具备基于容器化服务的DPU调配和部署，132、包含用于简化DPU设置、配置和服务编排的工具。目前，英伟达提供的 DOCA 软件栈已经达到了 1.2 版本，并在不断的扩展和完善。2021 中国云数据中心考察报告 I 多元算力随着每代DPU的演进，原先使用 DOCA 开发的应用程序都可以完全向后兼容，且 DPU 路线图上的后续产品依然保证完全向前兼容。这意味着在目前 BlueField DPU 上运行的应用程序和数据中心基础设施，在不久的未来能不加修改地加速运行在BlueField-4 DPU 等后续产品上。P061 I小结CHINA DIGITAL JOURNEY2021中国云数据中心考察报告与 x86 的两强并立不同，更为开放的 Arm架133、构目前已经呈现出百花齐放的局面，无论是在美国还是在中国，抑或是其他国家都有出色的芯片产品（比如日本排名第一的超级计算机富岳同样使用了 Arm 架构）。尤其是在当下强调多元算力的时代，Arm 一方面可以帮助我们打造更多的应用场景，特别是云边协同的互动模式；另一方面对自研芯片来说，Arm 也提供了一个很好的基础，允许用户进行创新和发挥。这就好比你买了许多乐高积木的零件重新组装一样，可以按照自己的想法搭建高楼、桥梁、汽车等等，提供了极大的自主性和创造空间。就本次数字中国万里行的考察来看，不少数据中心都已经尝试使用 Arm 架构的平台。在我们调研的北京顺义、天津西青、云南大理等多个地区的数字城市建设中134、，Arm 平台同样发挥着不可估量的巨大作用，在推动数字城市发展、加速地方数字化转型、提升数字竞争力方面也作出了突出的贡献。伴随着应用的不断深化和生态的日益完善，我们相信在今后的活动中，将会看到更多 Arm 平台的身影，也将为读者们呈现出更多的应用场景和优质案例。I P0602021 中国云数据中心考察报告 I 多元算力数字中国万里行 2021 中国云数据中心考察报告CHAPTER3服务器 随风入液P063 I2018 年诺贝尔经济学奖获得者 William D.Nordhaus 在计算过程一文中对算力进行定义:“算力是设备根据内部状态的改变，每秒可处理的信息数据量”。算力是设备处理数据的能力，135、算力基础设施的使用效率，都会影响到云服务商的创新能力和盈利能力。作为算力基础设施的核心设备，服务器承担着计算的关键作用。从全球来看，Synergy Research 的数据显示，2021 年全球在数据中心 IT 硬件和软件上的支出比 2020 年增长了 10%，其中，公有云服务商云基础设施支出（含服务器、存储、网络、安全、软件）增长了 20%。云服务商继续对其数据中心进行大量投资，以满足客户需求。从国际数据公司（IDC）发布的2021 年第四季度中国服务器市场追踪报告来看，2021 年第四季度中国 x86 服务器市场收入规模为 456.63 亿元，出货量 114.4 万台，同比增长 4.4%；136、2021 年全年中国 x86 服务器市场出货量同比增长 6.9%，收入同比增长10.5%；美国、中国分别占全球市场的 37%、33%。2021 年第四季度中国 x86服务器市场收入规模为：456.63亿元出货量：114.4 万台同比增长：4.4%2021 年全年中国 x86 服务器市场出货量同比增长：6.9%收入同比增长：10.5%美国、中国分别占全球市场的37%、33%I P0642021 中国云数据中心考察报告 I 服务器 疫情爆发间接推动了中国服务器市场的增长（图表来源：IDC）尤其是新冠疫情引发线上需求爆炸式增长，云服务商的服务器采购需求继续增大，从 IDC 数据中可以看出，互联网公司137、的增长依然是2021 中国服务器市场增长的主要驱动力，排名前五的互联网公司阿里巴巴、腾讯、字节跳动、快手、百度占据了互联网市场 70%以上的份额。当 5G、云计算、人工智能、工业互联网等场景渐次成熟，上层应用场景改变了底层硬件基础，计算、存储、网络架构的迭代升级和P065 I调整融合，对服务器产品的形态提出了更高的要求，比如提升计算密度，通过高速互联技术提升集群的扩展性，通过高度集成化设计、模块化和冗余设计简化交付部署流程。1、多样化场景化需求催生了“服务器定制化”，云服务商通过自研服务器丰富产品矩阵，覆盖通用计算、异构计算、存储，为云上业务提供高效算力。一方面，在数字化不断涌现的新场景中，定138、制化服务器可以使服务器特性与业务需求更加匹配，可以通过高计算密度提供高算力和能效比，也能针对应用环境优化为用户节约成本，譬如定制版本的处理器可以选择独特的主频与内核数量组合，在内核数量相当时获得更高的主频；另一方面，从新冠疫情爆发以来，云服务商不仅能够快速响应，其规模化、定制化和自研能力也可以支撑各项新型服务，及时满足客户需求。因此，云服务商以自研服务器为抓手，将新的技术应用于云服务器来适配云端业务场景，通过完善从底层到应用层的自研技术体系，不断优化硬件基础设施提升算力效率。2、2021 年，从传统的电脑到服务器，从芯到云，信创产业化进程正在加速，安全和计算正在深度融合。在“数字中国万里行”的139、实地考察中我们发现，信创服务器作为产业数字化的底层技术基础设施，未来需求空间正全面打开。比如中国电子信创云基地主要服务于党政、央企和金融客户的数字化转型，“数字大理”、天津西青已全面开启全国产化、全信创基座的数字化转型之路。在云南大理苍洱云数据中心，以 PKS 技术体系为基础，部署的长城擎天 DF723 服务器均为“大理造、大理用”，基于 Arm 架构，采用国产化中文 BIOS 固件和操作系统，核心多、存储容量大，支持批量部署，集群管理。3、在国家提出 双碳 战略后，低碳高效成为共识。根据应用场景和工作负载的不同，选择适合的算力单元（如 CPU 和 GPU）可以提高数据中心的能源使用效率，而算140、力需求更快速的增长也提高了机柜的功率密度，液冷技术将在未来几年中获得更多数据中心的青睐。2022 年全面启动的“东数西算”工程则在全国范围内优化算力的布局，通过建设高效集约、普适普惠的新型基础设施，推动计算力的绿色化和均衡发展。I P0662021 中国云数据中心考察报告 I 服务器P067 I2U 与 1U在这几年来“数字中国万里行”的实地考察过程中，不难发现，2 路2U 仍是国内服务器市场上的主流规格。IDC 的服务器市场追踪报告也可以证实这一点，按出货量统计：2018 2021 年，2 插槽（双路）服务器占比一直在 88%上下；同期，机架式服务器的占比从 80%+上升到 90%+，其中 141、2U 规格又稳定在 70%左右的高位。双路服务器更受欢迎这一点在算力篇已经提过，背后的一些原因 2U也适用。但是，另一个大市场却并非如此在美国，1U 与 2U 的出货量很接近，有时还能略占上风。相对中国市场，1U 在美国市场上更受欢迎；相对美国市场，中国市场上 2U 更受欢迎。这个差异涉及的因素比较多，此处重点从国内数据中心的基本情况与 2U 服务器的特点展开。计算密度同样是双路配置，1U 服务器的计算密度可以达到 2U 服务器的 2 倍。但是，放大到整个机柜乃至数据中心的层面，1U 服务器能不能体现出计算密度上的优势，还要看单机柜的供电能力（单柜功率）。同样是双路配置，1U服务器的计算密度可142、以达到2U服务器的2倍。但是，放大到整个机柜乃至数据中心的层面，1U 服务器能不能体现出计算密度上的优势，还要看单机柜的供电能力（单柜功率）和制冷配套。I P068 在这样的机柜里，1U 服务器其实体现不出密度上的优势普遍而言，在我国的超大规模数据数据中心里，单柜功率 7.2 8.8千瓦（kW）已经是比较高的水平。以近年 2U 双路服务器的平均负载，这个供电能力可以支持 16 22 台。大型互联网和云计算公司偏好更高大些的机柜，譬如 2021 年数字中国万里行考察过的腾讯云怀来瑞北数据中心使用 52U 机柜，UCloud（优刻得）乌兰察布云基地使用 47U 和 54U 的机柜，算上留给交换机的143、空间，也足以容纳下这么多 2U 服务器了，改用 1U 服务器并不能真正的提高密度，反而会增大服务器自身散热设计上的挑战。通用性通用服务器的典型布局，可以从前到后划分为三大功能区域，依次是存储、CPU 和内存、扩展和 I/O。作为维持服务器正常运转的基础，系统散热风扇位于存储区和 CPU 区之间，电源通常在I/O区的一边或两边。在没有每U计算密度压力的前提下，2U 服务器在上述几个部分，比 1U2021 中国云数据中心考察报告 I 服务器P069 I服务器有明显的优势，有时还不止两倍那么简单：前面板区：2U服务器可以插25个（常见24个）2.5英寸小盘（SFF）或 12 个 3.5 英寸大盘（L144、FF），1U 服务器分别为 10 个或 4 个，即 2.5 3 倍的关系；风扇：2U 服务器通常配 4 个 80mm 或 6 个 60mm 风扇，直径明显比 1U 服务器用的 40mm 风扇大得多，可以用相对低的转速提供更大的风量，能效上有优势；CPU：可以使用更为高大的散热片，在风冷环境中能支持更大功率的 CPU；扩展和 I/O：具有更多的 PCIe 插槽，能够较好的支持 GPU计算、存储、网络全能，一言以蔽之，2U服务器的通用性和扩展能力，比 1U 服务器好很多。自研与信创多样化、场景化需求促进了服务器定制化，在各种特定的场景中，通用服务器的面面俱到反而成为制约因素，而定制服务器可以根据明145、确的应用需求针对性强化一两个方面，通过合理的取舍，优化“长板”，弱化甚至去掉不需要的“木板”，在提升目标效率的同时，降低不必要的成本。2020 年春节过后，面对疫情期间的线上复工复学潮，腾讯会议在 8 天内实现100 万核的快速扩容，服务器资源全部由腾讯云星星海 SA2 云服务器提供支撑，迅速捧红了腾讯云深度自研的“星星海”服务器。基于 AMD 第二代 EPYC 处理器的星星海SA2 是腾讯云首款拥有完全自主知识产权的服务器，也是“腾讯第一款真正为 腾讯云星星海 AMD 通用 2 路服务器，注意前仓没有布置 硬盘位I P070云而生的服务器”。SA2 是腾讯自研服务器品牌星星海的第一款产品（A146、MD 通用 2 路），该品牌随后又推出了英特尔 4 路和 2 路（两种不同架构的第三代至强可扩展处理器）服务器、异构计算服务器、高密存储等产品，并在持续壮大中。这款 AMD 平台的通用 2 路服务器，充分展现了 2U 服务器在散热设计上的优势。它采用了 T 型热管散热器，即利用热管扩大 CPU 散热片的总面积，CPU 正上方的主散热片通过热管连接到前方（冷通道方向）并列布置的两个较小的远程散热片（remote heatsink）上，3个散热片和热管构成 T 型布局，也称“羊角”散热片。2U 服务器的CPU 散热片本就高大，再经热管扩容，散热能力进一步提高，配合 6个 6056 高效率风扇和系统147、风道管理，可以满足 2000 瓦系统散热需求，能支持 2 个 300 瓦（W）TDP 的 CPU。根据腾讯的数据，T 型热管散热器方案，可使 CPU 温度降低 8，风扇节能 50%以上。星星海服务器在重载下测试，风扇功耗降低 40瓦以上，系统功耗占比低至 2.14%。再配合高效率的 80 PLUS 铂金（Platinum）供电单元（PSU）等节能手段，“以 500 台集群为例，星星海服务器每年可节电 50 万度”。随着 AMD 第三代 EPYC 处理器的发布，腾讯云推出全新一代星星海自研服务器，除了支持新 CPU 带来的新特性之外，风冷散热能力也提升 22%，并兼容液冷设计，“能够将碳排放降低148、 8%”。2021 中国云数据中心考察报告 I 服务器P071 IArm 方面，阿里云在 2021 杭州云栖大会上展出了搭载倚天 710 处理器的磐久服务器，为 1U 双路规格。而在 Arm 服务器 CPU 供应商Ampere的官网上，可以看到富士康（Foxconn）、技嘉（GigaByte）、超微（Supermicro）、纬颖（Wiwynn）和浪潮（Inspur）的多款服务器平台，2U 的数量大约是 1U 的两倍，其中纬颖的 Mt.Jade 贡献给了开放计算项目（Open Compute Project，OCP）。总的来说，这些服务器有两个特点：一个是可以同时支持 80 核的 Altra 系149、列和128 核的 Altra Max 系列；一个是单路的型号比例较大，原因在算力篇已有介绍。云南大理苍洱云的数据中心，部署了很多基于飞腾 CPU 的长城服务器，中国长城甚至在大理下关机场附近开设了服务器生产线。中国长城的 2U 双路服务器擎天EF860基于国产飞腾腾云S2500处理器，采用国产中文固件和操作系统，最高 128 核，32 个DDR4-2933 内存槽，最大系统内存容量 2TB。EF860 的后部 I/O 扩展模块化设计颇具亮点，最多支持 9 个标准 PCIe 3.0 设备，可容纳 2 个全宽全高 GPU卡，2 个 OCP 3.0 插槽用于安装10G/25G OCP 网卡模块。这些150、 Ampere 平台服务器有两个特点：一个是可以同时支持 80 核的Altra 系列和 128 核的Altra Max 系列；一个是单路的型号比例较大。倚天 710 双路 1U 服务器风冷与液冷如果机柜有较为充足的供电能力，或者数据中心有更强的制冷能力（譬如，液冷）配套，1U 服务器在计算密度上的优势，就更容易发挥出来。在高性能计算（High Performance Computing，HPC）场景，或者大型互联网和云计算公司的数据中心，见到 1U 服务器的机会相对较高。以百度、阿里、腾讯（BAT）联合英特尔发起的天蝎整机柜项目为例，早期的节点都是 1U 高度，包括存储节点（JBOD）。201151、8 年数字中国万里行最后一站是百度阳泉数据中心，8.8 千瓦的 46U 机柜安装多达 35 个 1U 计算节点。在算力篇曾经提过，2017 年推出的 x86 服务器 CPU，高配版本的TDP 有大幅度的跃升（最高接近 50%），而公有云服务提供商倾向于采用这一档次的产品。在这种情况下，如果单机柜的供电能力不能“水涨船高”，1U 节点的密度优势将很难体现。即使解决了供电问题，还有散热（对数据中心基础设施侧，是”制冷”）的挑战，而这正是液冷的优势。阿里巴巴 2018 年在河北省张家口市I P0722021 中国云数据中心考察报告 I 服务器 和林格尔东方超算云数据中心内景张北县部署了一个浸没式液冷152、（Immersion Cooling）机房，一个卧置的 54U 机柜，部署 32 台 1U 双路服务器和 4 台 4U 的 JBOD，设计功耗 28 千瓦。其他公司多在布局基于冷板（Cold Plate）的“风液混合”冷却技术，即发热量最大的 CPU 等芯片通过冷板内流经的液体把热量带到机柜外，内存条、硬盘等发热量较低的元件仍然用传统的风冷。以华为乌兰察布云数据中心为例，机房里部署了 20 千瓦的液冷整机柜服务器 FusionPOD，园区内还有相对独立的小型液冷机房 FusionCell，由类似集装箱体的供配电、机柜和制冷模块各一组成。华为云东莞松山湖数据中心部署的 Atlas 900 集群，153、单机柜功率达 53 千瓦，采用风液混合技术散热P073 I 中国电子信创云基地（顺义）机房内的 2U 服务器基于冷板（Cold Plate）的“风液混合”冷却技术，即发热量最大的 CPU 等芯片通过冷板内流经的液体把热量带到机柜外，内存条、硬盘等发热量较低的元件仍然用传统的风冷。那么，液冷服务器的时代是不是很快就能到来呢？肯定还需要一段时间来过渡，关键是这个过渡的势头如何。先从数据中心基础设施（风火水电）这一侧来看，近期规划和建设的数据中心，风冷机房仍是绝对主流，液冷机房主要在扩大实验阶段或满足一些特定应用场景如 HPC 和 AI 集群的需求。如果应用侧并没有硬性需求，那么提高功率密度并引入液154、冷方案，就必须考虑成本因素。在一个风冷具有天然优势的生态里，液冷的CapEx（资本支出）显然更高，而 OpEx（运营成本）也难言优势除了 PUE（Power Usage Effectiveness，电源使用效率）。Atlas 900集群的机柜与CDU（Coolant Distribution Unit，冷液分配单元）在东数西算的布局中，西部的数据中心，从双碳角度应该有两大优势：一是就地消纳丰富的能源供给，特别是可再生能源（如风能和太阳能）；二是气候条件好，可以充分利用自然冷源，降低对电能的消耗。其中，很多符合“西算”标准的数据中心，广泛应用了以间接蒸发制冷为代表的节能方案，在张家口数据中心集群155、、和林格尔数据中心集群的数据中心，一年有 10 个月以上的时间可以使用自然冷源，年均 PUE 可达 1.2，液冷方案的节能优势并不明显。以浸没式液冷为例，阿里巴巴目前最大规模的部署其实位于“东数”地带杭州仁和数据中心有一个全浸没式液冷机房楼。相比之下，I P0742021 中国云数据中心考察报告 I 服务器张北的一个浸没式液冷机房更符合扩大实验的定位，其他机房还是相对“传统”的风冷方案，更多利用气候的自然红利就可以满足要求。华为乌兰察布云数据中心也是以 8 千瓦的风冷机柜为主，何况 20 千瓦的液冷机柜还有部分风冷（风液混合，制冷贡献大抵三七开）。腾讯云星星海服务器的冷板式液冷样机总之，自然冷156、源是“西算”相对“东数”的一大优势，能用风冷尽量风冷后面这句也适用于服务器，因为风冷服务器的环境适应性优势很明显。从英特尔和 AMD 的路线图来看，将于 2022 年推出的新一代 x86 CPU，旗舰型号的核心数不是超过 50 就是接近 100，TDP 都会逾越300 瓦，落在 300 400 瓦（如 cTDP，甚至更高）的区间。CPU 功耗进一步上升对液冷方案当然是个利好，但风冷也不是完全处理不了，采用更强力的风扇、优化内部风道设计等手段，都还管用。实际上，英特尔在 2019 年已经推出过 TDP 高达 400 瓦的至强铂金（Platinum）9200 系 列 CPU，而 配 套 的 Int157、el Server System S9200WK 家族服务器，在支持 350 瓦 TDP 的 48 核 CPU（Platinum 9242）时，仍然可以使用风冷。需要指出的是，S9200WK 采用半宽节点设计，即 2 个 CPU 前后串列布置，散热效果不如并列布置的好。2U 服务器 CPU 并列布置，结合 T 型散热器、强力风扇、优化气流等手段，支持 2 个 400 瓦 TDP 的 CPU，也是可以做到的。P075 I自然冷源是“西算”相对“东数”的一大优势，能用风冷尽量风冷。在需求侧，工作负载，或者说服务器和机柜的功率，仍然是决定采用液冷的首要因素。在供给侧，部署液冷服务器需要数据中心基础设158、施（制冷+供电）的紧密配合，最好供应商能够提供完整的解决方案。从目前看到的基于英特尔新一代至强可扩展处理器（代号 Sapphire Rapids）的服务器设计，风冷依然是可行的。再往后看，未来三年将是服务器从风冷向液冷过渡的关键时期，而冷板式液冷本身的“风液混合”气质也有助于其成为很多用户的首选液冷方案。在需求侧，工作负载，或者说服务器和机柜的功率，仍然是决定采用液冷的首要因素。特别是大量采用 GPU 等高密度加速计算单元的服务器，即使风冷还能应付过来，改用液冷也会有更好的效果。在供给侧，部署液冷服务器需要数据中心基础设施（制冷+供电）的紧密配合，最好供应商能够提供完整的解决方案。大型互联网和159、云计算公司主导的超大规模数据中心，将对液冷服务器的大规模应用产生决定性影响。因为他们既有足够的体量和应用需求，对数据中心建设也有足够的掌控能力。数字中国万里行也将加大对液冷服务器应用的追踪力度。I P0762021 中国云数据中心考察报告 I 服务器热通道与前维护在2018 中国超大规模云数据中心考察报告的第六章，我们介绍了通过提高服务器工作温度来改善数据中心整体能效的手段。服务器从机房的冷通道一侧进风，排风到热通道，在提高冷通道温度的基础上，增加服务器进出风的温差，节能效果更显著，也意味着机房热通道温度的进一步上升。提高机房冷通道的温度，可以延长数据中心利用自然冷源的时长，降低年均 PUE，160、将是东数西算和双碳时代的普遍做法。先举一个“西算”的例子：华为云乌兰察布预制模块化数据中心送风温度 25，回风温度 38，相应的，FusionCol 间接蒸发冷却机组（AHU）在室外湿球温度小于 19时可以只靠风机和喷淋系统为机房供冷，不用开启压缩机补冷，一年开启压缩机的时间不到 30 天，年均 PUE 可低至 1.15。“东数”所在地没有这么好的自然条件，但即使是相对传统、保守的金融数据中心，也有上海证券交易所金桥数据中心这样的“异类”：送风温度 22，热通道温度 35。要知道，同期投产的某银行数据数据中心，冷热通道的温度还是 20/25的水平。这些送回风温度较高的数据中心往往还有一个共同点161、，就是封闭热通道，将整个机房作为冷通道。P077 I这些送回风温度较高的数据中心往往还有一个共同点，就是封闭热通道，将整个机房作为冷通道。UCloud（优刻得）乌兰察布云基地的机房采用封闭热通道设计封闭热通道，可以采用水平弥漫送风，无需设计下送风地板，从机房建设的角度能简化、降低投资成本，对机房运维的意义也不容忽视。22 27是运维人员比较舒适的区间，如果继续封闭冷通道，将整个机房作为热通道，35 38的高温环境对运维人员显然是很不友好的。那么，这种变化对服务器有什么影响呢？通用服务器在运维上有一个明显的弊端，即冷热通道都有维护频率较高的部件。暴露在冷通道一侧的是前面板，更换硬盘或 SSD（S162、olid State Drive，固态盘）的操作主要发生在这里；热通道一侧是后端，除了电源模块（PSU，供电单元）和电源线，主要是网线（包括光纤和光模块），有时也会有硬盘/SSD（用作系统盘）。I P0782021 中国云数据中心考察报告 I 服务器 中国电子信创云基地（顺义）机房内景维护一台服务器可能要冷热通道两头跑，特别是热通道那头电源线和各种网线并存，往往比较杂乱，如果温度还很高，操作环境就更差了。所以国内外大型互联网和云计算公司的超大规模数据中心，已经在部署前维护架构的服务器，譬如前面提到的天蝎整机柜服务器，以及阿里巴巴开源的“方升”项目，都把网络接口和扩展卡（如管理网口、OCP 标卡163、、PCIe 卡）、可插拔硬盘/SSD、服务标签、VGA和 USB 等 IT 运维的部分放在服务器前面，也就是冷通道一侧；服务器后面，即热通道一侧，留给对接基础设施的部分，譬如电源模块和电源线，或者 12V/48V 铜排及风扇墙，如果采用冷板式液冷还有一组水冷管接头。总的来说，类似的前维护设计，也在一定程度上实现了 IT 运维与基础设施运维的分离。当然，这是个比较概略的归纳，譬如，采用铜排集中供电的方案，连电源模块的更换都可以在冷通道一侧进行。P079 I类似的前维护设计，在一定程度上实现了 IT 运维与基础设施运维的分离。这是个比较概略的归纳，譬如，采用铜排集中供电的方案，连电源模块的更换都可164、以在冷通道一侧进行。I P0802021 中国云数据中心考察报告 I 服务器 采用前维护方案的阿里云方升架构（服务器）前维护架构天然适配液冷方案，包括冷板式液冷和浸没式液冷。不过，由于网络接口和扩展卡会占用相当一部分前面板的空间，前维护架构不太匹配传统的 2U 存储型服务器（可以理解为 2U 通用服务器的重存储配置，如前面板配满 12 个大盘），更适合计算存储分离（存算分离）的整体架构。公有云服务器提供商已经广泛采用存算分离架构，譬如阿里云基于倚天 710 CPU 的 g8m 实例和腾讯云基于 AMD EPYC 7002/7003 系列 CPU 的 SA2/SA3 实例，存储都采用云（硬）盘。165、在我们看到的一些星星海服务器的部署场景中，服务器前面原本可以布置硬盘/SSD 盘位和背板的区域都是空的（板载M.2和后面的2个2.5 英寸盘位，可安装系统盘），没有需要维护的部分，而且更利于 CPU 散热。液冷服务器和存算分离架构不会迅速扩散到大多数企业，2U 通用服务器在今后一段时间仍将是国内市场的主流。在天蝎 3.0 技术规范中，不仅支持 1U 和 2U 的节点设计，也支持 2U 的“标准机”，即通用服务器。另一个例子是阿里云基于方升架构的磐久服务器，在官网上放出的两款用于混合云的型号 AS2211TG1 和AS2212TG4，就是典型的 2U 通用服务器。液冷服务器和存算分离架构不会迅速166、扩散到大多数企业，2U 通用服务器在今后一段时间仍将是国内市场的主流。P077 I数字中国万里行 2021 中国云数据中心考察报告CHAPTER4东数西算 东南西北2022 年初，国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发通知，同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等 8 地启动建设国家算力枢纽节点，并规划了10个国家数据中心集群，标志着“东数西算”工程正式全面启动。回过头来看，2018 年发起的“数字中国万里行”，在思路和节奏上，与“东数西算”的战略相当的合拍。尽管在过去两年中受到了疫情的影响，我们的足迹也已覆盖 8 个枢纽节点，实地考察了 7167、 个数据中心集群。接下来就结合几年来数字中国万里行的考察研究，解析东数西算工程的一些要点。8 大枢纽和 10 大集群国家发展改革委（发改委）会同有关部门研究制定的全国一体化大数据中心协同创新体系算力枢纽实施方案（以下简称 实施方案）中指出：起步阶段，京津冀、长三角、粤港澳大湾区、成渝等跨区域的国家枢纽节点（“东数”区），原则上布局不超过 2 个集群；贵州、内蒙古、甘肃、宁夏等单一行政区域的国家枢纽节点（“西算”区），原则上布局 1 个集群。目前，我国最大经济区长三角和本身就是双头格局的成渝都已经规划了 2 个集群。这 8 个国家算力枢纽节点设立的 10 个国家数据中I P0822021 中国云168、数据中心考察报告 I 东数西算京津冀枢纽长三角枢纽粤港澳大湾区枢纽成渝枢纽贵州枢纽内蒙古枢纽甘肃枢纽宁夏枢纽 10 个国家数据中心集群（起步区）大致位置，“长三角”是长三角生态绿色一体化发展示范区的简写心集群分别是京津冀枢纽：张家口数据中心集群长三角枢纽：长三角生态绿色一体化发展示范区数据中心集群、芜湖数据中心集群粤港澳大湾区枢纽：韶关数据中心集群成渝枢纽：天府数据中心集群、重庆数据中心集群；贵州枢纽：贵安数据中心集群内蒙古枢纽：和林格尔数据中心集群甘肃枢纽：庆阳数据中心集群宁夏枢纽：中卫数据中心集群东数、西算之分虽然是起步阶段的“原则上”，但是分为能布局 2 个集群的 4 个“跨区域的国家枢169、纽节点”，和布局 1 个集群的 4 个“单一行政区域的国家枢纽节点”，还是有规律可循的。以“充分发挥本区域的优势”为例，京津冀、长三角、粤港澳大湾区、成渝列举的都是“市场、技术、人才、资金”，贵州、内蒙古、甘肃、宁夏列举的都是“气候、能源、环境”；在发展数据中心集群的要求上，除了高能效、低碳、优化东西部间互联网络和枢纽节点间直连网络这些共性，贵州、内蒙古、甘肃、宁夏强调“高可靠”，京津冀、长三角、粤港澳大湾区、成渝则强调“高密度”，还多一条“提升数据供给质量”。P083 I 中国电子信创云基地（顺义）结合相对的地理位置，在全国一体化大数据中心协同创新体系中：京津冀、长三角、粤港澳大湾区、成渝 170、4 大枢纽是“东数”，自给而不自足，内部消化为主，对外转移部分需求（优化数据中心供给结构，扩展算力增长空间，满足重大区域发展战略实施需要）；贵州、内蒙古、甘肃、宁夏 4 大枢纽是“西算”，定位在供给方，主要承接转移过来的需求（积极承接全国范围需后台加工、离线分析、存储备份等非实时算力需求，打造面向全国的非实时性算力保障基地）。以粤港澳大湾区国家枢纽节点为例，根据南方都市报等媒体的报道：到 2025 年，广东省 70%的数据中心在省内建设，30%的数据中心通过“东数西算”向西部地区国家枢纽节点转移；韶关数据中心集群将建成 50 万标准机柜、500 万台服务器规模，投资超 500亿元（不含服务器及171、软件）。在“东数西算”工程的 8 个国家枢纽节点中，如果严格按照地理位置来划分，总会由于成渝、贵州两个枢纽的特殊性，呈现“5+3”而非“东西各 4”的格局：从东、西部的角度，成渝和贵州都位于西部，结果是“西 5 东 3”；用“胡焕庸线”来切割，成渝和贵州都在东南，就变成“西3东5”1935 年提出的“胡焕庸线”（见 82 页图）从黑龙江省的黑河（瑷珲）到云南省的腾冲划一条直线，将中国地图一分为二：右侧（东南方向）地势较低，多平原和水网，平均气温和人口密度较高；左侧（西北方向）地势较高，多草原和沙漠，平均气温和人口密度较低。I P0842021 中国云数据中心考察报告 I 东数西算这条斜线的划分172、也只是相对准确，譬如贵州位于胡焕庸线的东南侧，反而是成都地区压在线上，成都市甚至还“越线”到了西北侧在一些解读中，成渝枢纽也被划为既向甘肃枢纽和贵州枢纽转移数据，又承接长三角枢纽算力需求的“中间地带”。但在实际资源禀赋上，成都平原众所周知，贵州境内 90%以上的面积是山地和丘陵；从人口分布和经济发展状况等方面来看，相对偏西北的成渝枢纽属于“东数”，位在其东南的贵州枢纽属于“西算”，确实是合理的。胡焕庸线的“相对”还在于，其划分方式在很多区域内部同样适用，譬如京津冀、长三角、粤港澳大湾区的内部，也是东南部的经济发展更好。像张家口数据中心集群之于京津冀、韶关数据中心集群之于粤港澳大湾区，基本都处在173、多山地的西北部。总的来说，“东数”一侧人口众多，经济发达，是大市场；“西算”一侧资源丰富，地广人稀，适合养“机”。数据中心 居大不易在2018 中国超大规模云数据中心考察报告的第一章，我们已经论述了数据中心超大规模（hyperscale）化的趋势，而京津冀、长三角、粤港澳大湾区则是我国超大规模城市（群）的所在地。当超大规模数据中心遇上超大规模人居环境，必然会在土地、电力和水资源等方面形成竞争关系，结果只能是数据中心另谋他处。华为乌兰察布云数据中心二期，（中轴线上）远处为一期P085 I胡焕庸线的“相对”还在于，其划分方式在很多区域内部同样适用，譬如京津冀、长三角、粤港澳大湾区的内部，也是东南部174、的经济发展更好。“东数”一侧人口众多，经济发达，是大市场；“西算”一侧资源丰富，地广人稀，适合养“机”。在 2018 年数字中国万里行暨北方区数据中心之旅结束后的半年多时间里，京津冀、长三角、粤港澳大湾区的核心城市，相继出台了数据中心 PUE（Power Usage Effectiveness，电能利用效率）新规：2018 年 9 月初，北京市人民政府办公厅发布北京市新增产业的禁止和限制目录（2018 年版），中心城区和北京城市副中心全面禁止新建和扩建数据中心，全市其他范围可以允许（新建和扩建）PUE 值在 1.4 以下的云数据中心；2018 年 11 月初，上海市人民政府办公厅转发市经信委制175、订的上海市推进新一代信息基础设施建设助力提升城市能级和核心竞争力三年行动计划（2018-2020 年），要求统筹空间、规模、用能，加强长三角区域协同，布局高端、绿色数据中心，新建机架控制在 6 万个，总规模控制在 16 万个。推动数据中心节能技改和结构调整，存量改造数据中心 PUE 不高于 1.4，新建数据中心 PUE 限制在 1.3 以下；2019 年 4 月中上旬，深圳市发改委发布了深圳市发展和改革委员会关于数据中心节能审查有关事项的通知，新建数据中心需按照“（能效）以高代低、（规模）以大代小、（技术）以新代旧”等减量替代方式，严控年综合能源消费新增量；新增能源消费量不支持 PUE1.4 176、以上的数据中心，PUE 低于 1.25 的数据中心可给予实际替代量 40%以上的支持。I P0862021 中国云数据中心考察报告 I 东数西算在当时数据中心市场飞速发展的大背景下，从北到南、越来越严的PUE 新规，其实相当于给数据中心建设者们下“逐客令”了。数据中心正常运转的两大基础是供电和制冷，如果建在城区，不仅会和居民抢电，制冷方面也难免互相干扰。制冷是对 PUE 影响最大的环节，远离热闹的都市，寻找空气条件适宜的地方建设数据中心，可以显著减少用于制冷的用电量，有助于降低数据中心的 PUE。万里行见证集群发展2018 年 8 月初，数字中国万里行暨北方区数据中心之旅在天津腾讯数据中心启动177、，向西北穿过京、冀，首先抵达张家口数据中心集群：起步区为张家口市怀来县、张北县、宣化区。在怀来，我们参观了秦淮数据在 2017 年建设投产的超大规模数据中心园区，字节跳动落地于此；而在本次万里行抵达江苏宿迁之际，腾讯与张家口市怀来县正式签约，宣布入驻环首都新一代信息技术示范区，将投资 300 亿元建设腾讯华北信息技术产业总部基地。采用三点布局的阿里云张北数据中心于 2015 年春开工建设，2016年秋投产，万里行团队抵达时，阿里巴巴自主建设的庙滩二期项目已开始投入运营，并部署了一个机房的浸没式液冷集群。然后，我们向西进入内蒙古，穿越P087 I数据中心正常运转的两大基础是供电和制冷，制冷是对 178、PUE 影响最大的环节。寻找空气条件适宜的地方建设数据中心，可以显著减少用于制冷的用电量，有助于降低数据中心的 PUE。和林格尔数据中心集群：起步区边界为和林格尔新区和集宁大数据产业园。当时，位于乌兰察布东南区域的集宁大数据产业园刚刚动工建设，附近的数据中心只有 2 万台服务器规模的华为乌兰察布云数据中心一期；和林格尔已经有中国移动和中国电信的超大规模数据中心园区（部分）投入使用，北方约 40 公里外还有中国联通呼和浩特云数据中心。转向西南，驱车数日之后，进入宁夏中卫数据中心集群：起步区边界为中卫工业园西部云基地。凤云路上已经有中国移动、美团和 360、亚马逊云（AWS）在内的多个数据中心，中179、国联通云数据中心和一些项目的二期也在建设中。继续向南，经过兰州，来到天水，东北方向有今天的庆阳数据中心集群：起步区边界为庆阳西峰数据信息产业聚集区。2017 年 10 月，庆阳华为云计算大数据中心项目奠基开工。这是庆阳市建设新型智慧城市的第一个重大项目，可容纳 1000 个机柜。从建设目的和规模来看，主要是服务本区域的需求，当时还没有显露出成为国家级枢纽的迹象。从怀来到中卫所经各地，在 2018 年的高铁覆盖率并不高，我们选择自驾开过去，一路奔波甚是辛苦。一年之后，数字中国万里行从西安坐高铁出发，直下成渝、贵州、粤港澳大湾区，继而飞赴长三角，完成了对 7 大枢纽的第一轮实地考察。天府数据中心集180、群：起步区为成都市双流区、郫都区、简阳市。我们参观了紧邻双流区的太平洋保险成都数据中心，位于双流区的浩云成都高性能云计算基地因正有大客户入驻而临时取消行程。西北方向还有郫都区的万国数据（GDS）成都数据中心，也因为时间不够而作罢。重庆数据中心集群：起步区为重庆市两江新区水土新城、西部（重庆）科学城璧山片区、重庆经济技术开发区。2019 年我们两度参观了位于重庆市两江国际云计算产业园的重庆腾讯云计算数据中心，这是腾讯继天津（京津冀）、上海（长三角）、I P0882021 中国云数据中心考察报告 I 东数西算在 2020 2021 年，我们考察了位于韶关西南的腾讯清远数据中心，和韶关东南的阿里巴巴181、河源数据中心。清远离广州更近，河源离广州和深圳也都不算远，韶关发展起来应该还需要几年的时间。深汕合作区（粤港澳大湾区）三地之后的第四个自建大型数据中心园区，占地 250 亩，总投资 100 亿人民币，可容纳 20 万台服务器。园区周边还有中国电信、太平洋电信数据中心和浪潮重庆云计算中心。苹果（Apple）在贵安新区的数据中心，和三大电信运营商的数据中心 仅一座小山之隔贵安数据中心集群：起步区边界为贵安新区贵安电子信息产业园。2016 年，腾讯在贵阳实验了第四代数据中心 T-block，我们顺便考察了三大电信运营商在贵安新区的数据中心。在 2019 年夏秋之交，腾讯贵安七星数据中心一期已经投入使182、用，一街之隔的贵安华为云数据中心也正在如火如荼的建设过程中。韶关数据中心集群：起步区边界为韶关高新区。在 2020 2021 年，我们考察了位于韶关西南的腾讯清远数据中心，和韶关东南的阿里巴巴河源数据中心。清远离广州更近，河源离广州和深圳也都不算远，韶关发展起来应该还需要几年的时间。P089 I长三角生态绿色一体化发展示范区数据中心集群：起步区为上海市青浦区、江苏省苏州市吴江区、浙江省嘉兴市嘉善县。早在 2015 年底，我们就参观了 10 万台服务器规模的腾讯青浦数据中心。2020 年 8 月，UCloud 优刻得青浦数据中心正式开工，2021年仍在建设中。芜湖数据中心集群：起步区为芜湖市鸠江183、区、弋江区、无为市。2021 年，我们又重走北京怀来张家口乌兰察布和林格尔一线，沿途已全线贯通高铁，交通便利度大为提升，张家口数据中心集群与和林格尔数据中心集群也取得了重大进展。怀来县：腾讯云瑞北和东园数据中心相继建成投产，成为当地最大的数据中心集群；张北县：阿里云的数据中心三点布局已经大成；宣化区：2021 年 10 月中旬，阿里巴巴宣化云计算数据中心京张奥项目开工奠基。阿里巴巴宣化云计算数据中心分为京张奥项目和河子西项目，分别位于宣化经济开发区京张奥园区和宣化区河子西乡。据报道，两项目占地总面积约 900 亩，计划总投资约 70 亿元，将建设数据中心楼22栋，柴发楼22栋，运维楼（ECC）184、2栋，变电站2栋，计划安装约 35500 个机柜。I P0902021 中国云数据中心考察报告 I 东数西算乌兰察布：在华为乌兰察布云数据中心一期东南 6.5 平方公里的范围内，云集了华为乌兰察布云数据中心二期和苹果、阿里巴巴、UCloud（优刻得）、快手的数据中心园区，彼此间仅有一街之隔，密集度之高为国内罕见。不止于此，阿里云和华为云在乌兰察布都采用三点布局，即建设的数据中心至少还有两处和林格尔新区：中国移动（呼和浩特）数据中心二期建设接近完成。“东数西算”工程正式启动之后，内蒙古和林格尔新区举行了 4 月份重大项目集中开工仪式，涉及数据中心的有中国电信云计算内蒙古信息园二期项目、中国银行金185、融科技中心和林格尔新区项目、内蒙古农信信息科技中心项目、智能制造产业园二期项目（国家气象西部算力中心计划年内开工，一期项目有东方超算云内蒙古超级大脑），总投资超过 30 亿元。阿里云庙滩数据中心一、二、三期P091 I2021 年内“故地重游”的还有贵安数据中心集群，重点参观了贵安华为云数据中心。不难看出，随着时间的推移，这些数据中心集群都取得了显著的进展，“东数西算”工程全面启动的促进作用也已初见成效。能源供给与能效在国家发展改革委等部门关于同意 8 个区域启动建设全国一体化算力网络国家枢纽节点的复函（以下简称复函）中，对 10 个数据中心集群有几个共性要求，包括高能效、低碳、可再生能源使用186、率显著提升。可再生能源从供给侧、提高能效从消费侧，都是达成低碳的必要手段。可再生能源和储能10 个集群在各自所在区域，能源结构和气候环境都有比较优势。4个“西算”节点的定位是“可再生能源丰富、气候适宜、数据中心绿色发展潜力较大”，以甘肃枢纽下属的庆阳市为例：“十一五”以来，可再生电力发展从无到有，类型逐渐增多，从风电起步逐渐发展壮大，相继增加了光伏和生物质发电；I P0922021 中国云数据中心考察报告 I 东数西算P093 I装机容量不断扩大，从 2012 年的 198.5MW（兆瓦），增加到2020 年的 723.41MW，9 年时间增长了 524.91MW，年均增加58.32MW，其中187、风力发电装机容量 648.5MW、光伏发电装机容量62.91MW、生物质发电装机容量 12MW；发电量也由 2012 年的 0.81 亿千瓦时（kWh，度），逐渐增加到2020 年的 14.45 亿千瓦时，9 年时间增长了 13.64 亿千瓦时，年均增长 1.52 亿千瓦时。然而，定位是“用户规模较大、应用需求强烈”的 4 个“东数”节点，区域内部也不乏可再生能源丰富之地，譬如粤港澳大湾区枢纽选择的韶关是广东主要的电源基地之一，截至 2021 年底发电装机容量达811 万千瓦（kW）、年发电量 270 亿度（千瓦时），富余 100 亿度，可再生电力装机容量 387 万千瓦（3870MW）、占比188、 47.7%。韶关市大工业电价全省最低。此外，张家口数据中心集群的怀来县、张北县都有较为丰富的风电和光伏发电供应，长三角地区的海上风电也有很大的发展潜力。所以，“东数”节点确实应该“重点统筹好城市内部和周边区域的数据中心布局，实现大规模算力部署与土地、用能、水、电等资源的协调可持续，优化数据中心供给结构，扩展算力增长空间”。远离高楼鳞次栉比的闹市区，数据中心可以部署分布式光伏，就地获取可再生能源。低层数据中心屋面（楼顶）面积相对较大，便于安装光伏板，譬如腾讯青浦数据中心就有一座机房楼在屋面安装了光伏板，新一代的 T-Base 超大规模园区如清远、仪征更是 8 座机房楼的屋面都铺满光伏板，其中腾189、讯云仪征数据中心分布式光伏项目在 2022 年 2 月 22 日正式全容量并网发电，总装机容量达 12.92 兆瓦，是江苏省目前最大的数据中心屋顶分布式光伏项目。数据中心屋顶 28000 多块高效单晶硅光伏组件所生产的绿色清洁电能，将经过逆变器、变压器等流程处理后接入数据中心中压电力方仓，供数据中心内服务器以及空调系统使用。并网后，项目平均年发电量将超过 1200 万千瓦时，相当于每年节约标煤约 3800 吨，对应减少约1 万吨二氧化碳排放量。接近市区的多层数据中心，可以在机房楼的南向安装光伏板，形成建筑立面光伏幕墙，如万国数据在上海外高桥的上海三号数据中心，和天津市的江天数据（北辰）云数据中190、心。无论屋面还是立面，光伏板的总发电量与数据中心的用电量相比，贡献仍然偏低，不过光伏板还可以减少阳光直射到建筑物上的热量聚集，有利于降低夏季数据中心在散热方面的空调能耗。综合起来，长期的投资回报有一定吸引力。光伏与风电一样易受天气变化影响而难以保持稳定供应，储能装置可以缓解这一问题。2021 年 7 月 15 日，世纪互联新一代荷储 IDC项目在佛山智慧城市数据中心正式合闸，该项目以数据中心为主要负荷对象，将楼顶安装的光伏系统与楼外的储能系统互联，与市电共同为数据中心供电，预计每年可消纳 8 万度（千瓦时）太阳能，I P0942021 中国云数据中心考察报告 I 东数西算 佛山智慧城市数据中心191、的楼顶安装有光伏系统，楼外有储能系统（离楼近的是柴发）P095 I以节约电费。完整的储能系统由储能集装箱、PCS 仓、环网柜组成，配备 2MWh（兆瓦时）储能容量作为“电力蓄水池”，输出功率为1MW（兆瓦），与光伏发电系统在交流侧耦合，最终在数据中心10kV（千伏）高压侧并网，使数据中心形成一个负荷可变、可调的复合体，并能根据电网及新能源发电需求，调整充放电策略。储能系统积极参与电网的负荷侧响应，一方面有利于帮助电网平滑风光等间歇性新能源，实现电网负荷曲线平衡，保证电网安全稳定运行；另一方面，还有利于提高可再生能源消纳比例。储能系统在电费低谷期充电、在电费高峰期放电，充放频率约为每天两充两放，192、可根据电价政策随时调整充放策略，结合负荷侧响应收益，以此供给数据中心使用，提高了自充自用的经济性。据测算，该储能系统每年带来的收益约为百万级。这种为城区的数据中心增加分布式光伏+储能装置的做法，也符合 实施方案中所倡导的“在城市城区内部，加快对现有数据中心的改造升级，提升效能。”另外，像余热回收这种节能手段，也是在城区的数据中心更容易找到消费市场。规模、气候和利用率上一节以庆阳和韶关为例，旨在说明“东数”区域内部也不乏能源结构和气候环境较好之处，而不是直接对比后发的西北部城市与发达的东南部城市的基建水平。况且，在数据中心的建设上，这两个地区都处于起步阶段。乌兰察布满达 220kV 变电站，远处193、依次是快手、UCloud、阿里巴巴、苹果和华为的数据中心I P0962021 中国云数据中心考察报告 I 东数西算P097 I 贵安华为云数据中心，一街之隔是以山洞数据中心闻名的腾讯贵安七星数据中心“数字中国万里行”几年来见证了“东数”区域内核心城市 200 公里范围多个超大规模数据中心集群的崛起，包括京津冀区域的张北，长三角区域的南通与仪征，粤港澳大湾区的清远与河源。但是这些“价值洼地”的容量毕竟有限，通常只能优先满足一个超大规模客户的需求，像怀来这样接纳了字节跳动和腾讯两大客户的，还不多见。“西算”区域的内需相对较小，丰富的资源供给可以充分向数据中心倾斜，毕竟“输煤不如输电，输电不如输信息194、”。况且，风能和光能虽好，却也只能从“输电”起步。近年来我国的数据中心领域有“南贵北乌”的说法：“北乌”即内蒙古乌兰察布，和林格尔数据中心集群中的集宁大数据产业园所在地；“南贵”就是贵安数据中心集群所在的贵安新区。在贵、乌两地都建有超大规模数据中心的客户是华为和苹果（Apple），此外贵安新区还有 30 万台服务器规模的腾讯贵安七星数据中心和三大电信运营商的数据中心，乌兰察布还有阿里巴巴、UCloud、快手的数据中心。这么多家客户的超大规模数据中心云集于一地，对供电能力的需求可想而知。乌兰察布的可再生能源非常丰富，以风电而言，有效风数字中国万里行”几年来见证了“东数”区域内核心城市 200 公195、里范围多个超大规模数据中心集群的崛起，包括京津冀区域的张北，长三角区域的南通与仪征，粤港澳大湾区的清远与河源。场面积达 6828 平方公里，占内蒙古的三分之一；技术可开发量达6800 万千瓦，占全国的十分之一。2020 年 12 月底，乌兰察布风电基地一期 600 万千瓦（6GW）示范项目首台风机顺利发电，这也是全球陆上单体最大风电项目、国家能源局批复的首个大规模可再生能源平价上网示范项目。华为在乌兰察布规划了三个数据中心园区，全部建成后服务器总量将达到 50 万台，而贵安华为云数据中心单一园区就规划了两倍的服务器容量，占地面积达 1521 亩，是贵安新区重点打造的 12 个大型数据中心里最大196、的一个。2021 年中我们考察贵安电子信息产业园时看到，贵安新区已有和在建的 220 千伏（kV）和 500 千伏变电站在5 座以上，保证充足的电力输入；110 千伏变电站在 10 座以上，便于数据中心接入使用。贵安新区为贵安华为云数据中心配套建设了华为 1 号 110 千伏变电站，接入贵安新区的第一个 220 千伏变电站林卡变，后者还为此进行了扩建。华为 1 号 110 千伏变电站在建设期间克服了疫情的不利影响，从破土动工到建成投运仅用了 9 个月，创下贵安电网 110 千伏变电站项目施工建设记录。“西算”区域的气候环境也普遍优于“东数”区域，数据中心可以有更多的时长使用自然冷源，利于提高能197、效。实施方案考虑到了这一区别，在 PUE 指标上，“东数”枢纽节点的 6 个数据中心集群控制在1.25以内，“西算”枢纽节点的4个数据中心集群控制在1.2以内，看起来差距不大，其实并不那么好跨越。I P0982021 中国云数据中心考察报告 I 东数西算 华为乌兰察布云数据中心采用 FusionCol 间接蒸发制冷模块，以充分利 用自然冷源P099 I张家口数据中心集群可以算是“东数”区的例外：从怀来到张北，接近乃至越过胡焕庸线，海拔也逐渐升高，距离和林格尔数据中心集群不远，气候环境条件相似，一年的自然冷却时长都可以达到 10个月以上，甚至 11 个月。然而，位于南方且地势偏低的长三角和粤港澳198、大湾区，就没有这么优越的气候环境了。特别是粤港澳大湾区，固然冬季还可以正常施工，甚至也不用考虑防冻，但在一年的其他时间里，要经常面对高温、高湿的挑战。如果不采用某种形式的液冷，这些地方的数据中心在自然冷却时长和 PUE 指标上很难与“西算”区的数据中心匹敌，这也是目前为止阿里巴巴最大的浸没式液冷集群落地在杭州的原因之一。网络成就“东数西算”“东数西算”的目的是将东部地区过于旺盛的算力和数据处理需求，转移一部分给更具成本效益、更可持续发展的西部地区承接，其中的关键是“国家枢纽节点之间进一步打通网络传输通道”、“优化东西部间互联网络和枢纽节点间直连网络”，才能“提升跨区域算力调度水平”。在国家层面199、，对“西算”的布局至少可以追溯到十年前。以和林格尔数据中心集群与贵安数据中心集群为例：中国电信云计算内蒙古信息园项目在 2011 年 12 月初签约落户呼和浩特市和林格尔县，19个月后首座数据中心落成；又过了不到 4 个月，中国电信云计算贵州信息园在贵安新区电子信息产业园开工建设。我们 2016 年 4 月下旬到贵安新区考察时，中国电信、中国移动、中国联通的数据中心都已经颇具规模；2018 年 8 月中旬数字中国万里行团队抵达呼和浩特，参观了城北机场附近的中国联通呼和浩特云数据中心，城南和林格尔县隔街相望的中国移动（呼和浩特）数据中心和中国电信云计算内蒙古信息园，也是蔚为壮观。“东数西算”的目200、的是将东部地区过于旺盛的算力和数据处理需求，转移一部分给更具成本效益、更可持续发展的西部地区承接，其中的关键是“国家枢纽节点之间进一步打通网络传输通道”、“优化东西部间互联网络和枢纽节点间直连网络”，才能“提升跨区域算力调度水平”。从 2020 年开始，中国电信和中国移动已经为“东数西算”工程调整了规划，分别推出了“2+4+31”和“4+3+X”的全国数据中心布局，其中“4”都对应京津冀、长三角、粤港澳（大湾区）、（陕）成渝，“31”和“X”对应多个省级中心，“2”是内蒙信息园和贵州信息园，“3”是呼和浩特、哈尔滨、贵阳三大跨省中心。从占地面积和规划来看，中国电信云计算贵州信息园和内蒙古信息园201、、中国移动（呼和浩特）数据中心都是 20 40+座机房楼、5 10万+机柜、80 150 万台服务器能力的“巨无霸”级数据中心园区。不过，在多年发展之后，建设进度并不是很如人意。相映成趣的是，大型互联网和云计算公司在“东数”区内的超大规模数据中心布局，如雨后春笋般，飞速发展。其中很重要的一点，就是网络状况的制约，包括时延（latency）和带宽成本。I P1002021 中国云数据中心考察报告 I 东数西算P101 I时延决定应用类型时延会受网络节点等级的影响，有一定的优化空间，但最终还是受限于节点间的物理距离。时延在很大程度上决定了可以把应用部署在哪里，距离越近的数据中心，可以部署的应用类型202、，受限制就越少。我们可以看一下实施方案中的相关建议：鼓励城区内的数据中心作为算力“边缘”端，优先满足金融市场高频交易、虚拟现实/增强现实（VR/AR）、超高清视频、车联网、联网无人机、智慧电力、智能工厂、智能安防等实时性要求高的业务需求，数据中心端到端单向网络时延原则上在 10 毫秒（ms）范围内；支撑工业互联网、金融证券、灾害预警、远程医疗、视频通话、人工智能推理等抵近一线、高频实时交互型的业务需求，数据中心端到端单向网络时延原则上在 20 毫秒范围内（东数）；贵州、内蒙古、甘肃、宁夏节点内的数据中心集群，优先承接后台加工、离线分析、存储备份等非实时算力需求（西算）。作为参考，我们可以看一下203、韶关和庆阳的网络资源：韶关是国家光纤一级网络节点北京至粤港澳大湾区（广州）的必经支点。据统计，2019 年韶关市网络出口带宽已超 3400G，端到端访问国家路由器时延最快可达 5 毫秒，能够有效支撑粤港澳大湾区及周边省市在数据传输上的需求；庆阳的网络出口总带宽 14596G，到北上广的平均时延都在 10 毫秒以内，符合发改委提出的“枢纽节点与东部城市时延须在 20毫秒以内”的刚性要求，因此承载甘肃枢纽节点的数据中心集群。如果以满足广州、深圳两地的用户需求为目标，距离比韶关更近的清远、河源无疑更有优势，庆阳显然不会成为优先考虑的对象。枢纽节点组对规划不妨再看看发改委等部门的复函中对 8 个国家枢204、纽节点的规划：京津冀枢纽规划设立张家口数据中心集群。张家口数据中心集群起步区为张家口市怀来县、张北县、宣化区。积极承接北京等地实时性算力需求，引导温冷业务向西部迁移，构建辐射华北、东北乃至全国的实时性算力中心。时延会受网络节点等级的影响，有一定的优化空间，但最终还是受限于节点间的物理距离。时延在很大程度上决定了可以把应用部署在哪里，距离越近的数据中心，可以部署的应用类型，受限制就越少。长三角枢纽规划设立长三角生态绿色一体化发展示范区数据中心集群和芜湖数据中心集群。长三角生态绿色一体化发展示范区数据中心集群起步区为上海市青浦区、江苏省苏州市吴江区、浙江省嘉兴市嘉善县；芜湖数据中心集群起步区为芜湖205、市鸠江区、弋江区、无为市。积极承接长三角中心城市实时性算力需求，引导温冷业务向西部迁移，构建长三角地区算力资源“一体协同、辐射全域”的发展格局。成渝枢纽规划设立天府数据中心集群和重庆数据中心集群。天府数据中心集群起步区为成都市双流区、郫都区、简阳市；重庆数据中心集群起步区为重庆市两江新区水土新城、西部（重庆）科学城璧山片区、重庆经济技术开发区。平衡好城市与城市周边的算力资源部署，做好与“东数西算”衔接。粤港澳大湾区枢纽规划设立韶关数据中心集群，起步区边界为韶关高新区。积极承接广州、深圳等地实时性算力需求，引导温冷业务向西部迁移，构建辐射华南乃至全国的实时性算力中心。4 个“东数”枢纽在布局的描206、述中都以“围绕（枢纽内的）数据中心集群，抓紧优化算力布局”的要求开始，而“西算”枢纽中的宁夏和甘肃也强调了数据中心集群要“绿色、高效、安全、集约”。I P1022021 中国云数据中心考察报告 I 东数西算4 个“东数”枢纽在布局的描述中都以“围绕（枢纽内的）数据中心集群，抓紧优化算力布局”的要求开始，而“西算”枢纽中的宁夏和甘肃也强调了数据中心集群要“绿色、高效、安全、集约”。10 个国家数据中心集群概略位置，以及“东数”、“西算”枢纽节点间的组对关系P103 I内蒙古枢纽规划设立和林格尔数据中心集群，起步区边界为和林格尔新区和集宁大数据产业园。充分发挥集群与京津冀毗邻的区位优势，为京津冀高207、实时性算力需求提供支援，为长三角等区域提供非实时算力保障。甘肃枢纽设立庆阳数据中心集群，起步区边界为庆阳西峰数据信息产业聚集区。重点服务京津冀、长三角、粤港澳大湾区等区域的算力需求。贵州枢纽规划设立贵安数据中心集群，起步区边界为贵安新区贵安电子信息产业园。围绕贵安数据中心集群，抓紧优化存量，提升资源利用效率，以支持长三角、粤港澳大湾区等为主，积极承接东部地区算力需求。宁夏枢纽规划设立中卫数据中心集群，起步区边界为中卫工业园西部云基地。要充分发挥区域可再生能源富集的优势，积极承接东部算力需求贵州枢纽明确提到了“优化存量，提升资源利用效率”，而宁夏枢纽没有写明为哪个东部区域服务。从地理位置上，宁夏208、枢纽到长三角和粤港澳大湾区都是最远的，离成渝枢纽又不比甘肃枢纽更近，所以主要是和内蒙古枢纽一起承接京津冀枢纽的算力需求。宁夏枢纽与京津冀枢纽的联系可以追溯到 2014 年亚马逊云科技（Amazon Web Services，AWS）数据中心落地中卫，形成北京-中卫的“前店后厂”关系。从我们的实地考察来看，中卫是 AWS、360、美团等大型用户落地在先，三大电信运营商建设数据中心在后，而贵安新区正好相反。用户主导的自建或合建数据中心，优势是明确的用户需求在先，规划有的放矢，上架率比较有保证。通常来说，数据中心的设计PUE值，在 IT 负荷比较高的情况下才能接近或达成，很多数据中心在刚投产时，PU209、E 值“惨不忍睹”就是这个原因。所以，在发改委等部门的复函中，对 10 个数据中心集群，都要求数据中心平均上架率不低于65%，不仅是提高土地利用率的需要，也有利于提升能源利用效率。其他条件相当的情况下，谁也不会舍近求远，所以65%的平均上架率，对本地需求不足的西部枢纽，挑战明显更大。中卫的劣势是距离北京太远，所以几个数据中心的体量，都不是太大。用户主导的自建或合建数据中心，优势是明确的用户需求在先，规划有的放矢，上架率比较有保证。通常来说，数据中心的设计 PUE 值，在 IT 负荷比较高的情况下才能接近或达成。I P104三大运营商在和林格尔与贵安两大数据中心集群投建的数据中心，规划要大很多，210、如果没有超大规模用户入驻，目标很难达成。在西部数字经济发展的初期，运营商率先进入布局数据中心，可以带动网络建设，解决本地的需求，譬如云南大理的政务云就落地在中国移动和中国电信的数据中心。随着“东数西算”工程全面启动，更需要电信运营商在“东西部间互联网络和枢纽节点间直连网络”建设上发挥主要作用。不过，“永远不要低估一辆卡车的带宽。”增加网络带宽是必须的，但有时也需要直接运输服务器到新的数据中心。阿里巴巴和腾讯都有多年的服务器搬迁史，譬如前者在张北的数据中心到北京的数据中心有很好的带宽建设，在张北数据中心投产后仍然从北京搬迁了很多的服务器。后续随着河源等地的数据中心相继投产，阿里巴巴的服务器总搬迁211、量达到了一个相当惊人的数字。2021 中国云数据中心考察报告 I 东数西算P105 I展望尽管经过了数年的筹备和规划，“东数西算”工程现在仍处在全面启动阶段，枢纽节点的数量和每个数据中心集群的规模，都会继续扩大。在枢纽节点层面，“对于国家枢纽节点以外的地区，重点推动面向本地区业务需求的数据中心建设，加强对数据中心绿色化、集约化管理，打造具有地方特色、服务本地、规模适度的算力服务。加强与邻近国家枢纽节点的网络联通。后续，根据发展需要，适时增加国家枢纽节点。”在数据中心集群层面，现在划定的都是“起步区”。而且，京津冀和粤港澳大湾区，“原则上”还可以再布局一个数据中心集群。新增枢纽节点的话，根据上面212、对政策的解读，可以根据其自然禀赋，判断所属类型：“东数”要有足够大的本区域需求，也就是要有超级或准超级城市。“西算”以对外输出为主，是资源型，即能源储备要丰富，最好是可再生能源；气候条件要好，为数据中心提供足够的自然冷源。同时，离目标市场不要太远，即地理位置不能太“偏”。目前的 8 个枢纽节点，从华北的京津冀和内蒙古，经西北的宁夏、甘肃，西南的成渝、贵州，华南的粤港澳大湾区，到华东的长三角，形成一个近似 O 形的布局。O 型圈里看起来过于空虚，华中地区还没有值得称道的超大规模数据中心。武汉、长沙能否成为下一个成渝枢纽？区域内丰富的水电资源能否用来支持本地建设数据中心？这些都是比较复杂的问题。毗213、邻京津冀和内蒙古两大枢纽的山西省东北部地区有好几个超大规模数据中心，隶属于大同市的阳高县和灵丘县有字节跳动，阳泉市有百度。这一区域的数据中心也是以服务京津冀地区为主，如果能提高可再生能源的供给，有进一步升级的潜力。在这个 O 形圈外，主要的限制是地理位置。往西南，云南不及贵州；大西部的新疆和西藏，距离都太远。东北倒是不乏超大规模数据中心，譬如中国移动（哈尔滨）数据中心就是中国移动三大跨省中心之一，与前面提到的中国移动（呼和浩特）数据中心是同期规划、开工建设的“姊妹”园区，规模相当，总体设计和技术路线也基本一致。但是东北的发展状况决定了其若发展数据中心集群只能服务于京津冀，而在网络条件等方面又无214、法与内蒙古和山西东北部媲美。结合多年来数字中国万里行的考察研究，我们认为，除了上架率的要求，数据中心的单机柜供电能力也应逐步提高。在这一波关于“东数西算”工程的宣传中，我们仍然可以看到“2.5 千瓦标准机架”这样的引用，固然是一种计量习惯，也在一定程度上反映出我国数据中心平均机柜功率偏低的现实。前面已经提到，在“东数”枢纽节点，对数据中心集群有“高密度”的要求。我们知道，城区的数据中心，为了节省宝贵的土地资源，通常都是多层或高层建筑，即使每个机柜的密度并不高，从单位土地面积上来看，“密度”也可以达到可观的水准。10 大数据中心集群的情况有所不同，即使是“东数”枢纽节点的 6个数据中心集群，数据215、中心所在地离城区也比较远，允许建设大平层或低层的数据中心。这种一两层的仓储式（Warehouse）数据中心是我们一直很认可的方向，有利于数据中心的快速建设，只要提高单个机柜的功率密度，同样可以更充分的利用土地资源。虽然我们对未来几年中液冷数据中心的普及率持谨慎观望，但也非常希望看到有越来越多的数据中心以提高单柜密度的方式来达成高密度。I P1062021 中国云数据中心考察报告 I 东数西算版权声明2021 中国云数据中心考察报告版权属于中研益企（北京）信息技术研究院有限公司，并受法律保护；转载、摘编或利用其他方式使用本考察报告文字、图片或者观点的，应注明“来源：益企研究院”；违反上述声明者，本公司保留追究其相关法律责任的权利。E-mail：数 字 中 国 万 里 行 2 0 2 1 中 国 云 数 据 中 心 考 察 报 告