数据中心技术简介

历史和现状

历史和现状
平台软件与负载特性
基础硬件与设计取舍
供电和冷却
集中供能和效率优势
电力约束与新型能源供给
集中使用和成本优势
集中运维挑战

历史起源

• 数据中心的概念可以追溯到互联网时代的早期 (60s)
• ARPANET (70s) 与 WWW (90s)
  • 应用日渐丰富
    • EMail、SNS、IM、博客/微博、视频/短视频、地图 ...
  • 网络能力增长
    • 拨号、ADSL、宽带、光纤入户，2G至5G ...
• Server-side Computing -- Cloud
  • 2006年，亚马逊开创性发布了Amazon Web Services云计算平台

标准规范

• 数据中心设备及系统可靠性规范 ANSI/TIA-942，2005年发表，2010、2014年修订
  • 一个集中存储、处理和分发大量数据的设施，用于支持各种信息技术服务和业务运营。
  • 通常包括服务器、网络设备、存储设备、电力供应系统、冷却系统等基础设施，并提供安全性、稳定性和可靠性保障。
  • 为企业和组织提供高效的数据管理和处理能力，支持云计算、大数据分析、在线服务等应用场景。

发展阶段

发展阶段…

1. 计算中心阶段（2001-2006 年）
   • 基础资源和设施托管、维护
2. 信息中心阶段（2006-2012 年）
   • 大型化、虚拟化、综合化
3. 云中心阶段（2012-2019 年）
   • 云计算技术成熟，指标监控和度量
4. 算力中心阶段（2019 年至今）
   • 绿色化、智能化，敏捷运营和精细管理

现实业务需求

• 云计算
  • Continued cloud adoption
• 物联网
  • IoT will further data center demand
• 大数据
  • Analytics workloads driving computing demands

Source: Understanding the drivers behind data center demand, Data Centre Dynamics, 2018

Source: https://datareportal.com/reports/

网络服务已渗透社会各个方面

疫情加快了这个过程

随之而来的数据洪流

Source: https://www.datanami.com/2018/11/27/global-datasphere-to-hit-175-zettabytes-by-2025-idc-says/

从侧面观察这股洪流

Source: On Global Electricity Usage of Communication Technology: Trends to 2030, Challenges, 2015

百度指数

新基建倡议

• 国家发展改革委创新和高技术发展司2020年4月发布
  • 新型基础设施是以新发展理念为引领，以技术创新为驱动，以信息网络为基础，面向高质量发展需要，提供数字转型、智能升级、融合创新等服务的基础设施体系，主要包括信息基础设施、融合基础设施、创新基础设施等三方面内容。
• 信息基础设施主要是指基于新一代信息技术演化生成的基础设施。
  • 以5G、物联网、工业互联网、卫星互联网为代表的通信网络基础设施
  • 以人工智能、云计算、区块链等为代表的新技术基础设施
  • 以数据中心、智能计算中心为代表的算力基础设施
• 中国智能算力占全国总算力的比重也由2016年的3%提升至2020年41%，预计到2023年智能算力的占比将提升至70%。

Source: http://www.xinhuanet.com/fortune/2020-04/21/c_1125883443.htm

AI产业的强劲发展

数据中心加速向算力中心演变，AI算力成为算力中心关键承载要素。人工智能应用、大模型训练、推理新需求、新业务快速崛起，带动人工智能市场规模高速增长，预计2022年到2032年全球人工智能市场规模的复合增长率高达42%，2032年达1.3万亿美元。

AI进一步给数据中心的发展演化提速

人们依托脑力开展思维活动，而人工智能则依赖算力进行“思考”。

算力规模全球领先

• “十四五”期间，中国算力规模已居全球第二，近5年年增速达30%
• 2025年智能算力预计增长43%，达1037.3EFlops
• 支撑7000+无人车运行的算力相当于2500台电脑并发计算

国家枢纽工程

• 八大算力枢纽覆盖京津冀/长三角/粤港澳等
• 十大集群布局从大城市周边，正在加速向西部地区拓展
• "东数西算"实现东西部资源协同

来源：央视财经《经济半小时》栏目

绿色革命与产业赋能

西部绿色实践

• 宁夏中卫
  • 绿电使用率85%以上（2.4GW光伏+1.8GW风电）
  • 自然冷却年省电费2亿元
  • 2025年新增算力=过去8年总和2倍

产业深度应用

创新业态与未来趋势

算力驱动新经济

• 云电脑爆发：2024年出货421万台（同比+40%）
• 上海AI生态
  • 产业规模4500亿（8年翻3倍）
  • 在建10万张智算卡超级中心

未来发展趋势

• 绿色集约化：西部集群PUE<1.25，自然冷却成标配
• 智能泛在化："超级智能体"APP将整合行业模型
• 经济倍增效应：每投入1元算力，带动3-4元GDP增长

数据中心经典案例

“十大”

Source: Top 10 Data Centers in the World Today, Preetipadma, September 8, 2020

ACC7

• Begin from 2014, DuPont Fabros Technology, whose business is building massive data centers and leasing wholesale space to companies on a long-term basis, brought online its biggest facility yet: ACC7 in Ashburn, Virginia.
• The ACC7 is 446,000 square feet in size and has a total power capacity of a whopping 41.6 megawatts. The building includes 28 large computer rooms, with a standard critical load of 1.486 megawatts each, and the ability to increase density to offer up to 2.1 megawatts each. Each data hall can accomodate approximately 378 standard cabinets.
• The company applies a new approach "water side economization plant with chiller assist." This means that outside air will cool water for the cooling system, using a plate and frame heat exchanger, which is expected to be the primary cooling source for 75 percent of the calendar year.

Source: New Data Center Design Drives Efficiency Gains for Dupont Fabros, 2014

Tahoe Reno 1

• Built and designed to Tier IV standards, Tahoe Reno 1 consists of 1.3 million square feet (120,000 sq m) of data center space, which Switch claims is the largest data center for colocation in the world. Switch plans to expand this to a total of 7.2 million sq ft (670,000 sq m). It has a power capacity of 130 MW, a fifth of its 650 MW goal.
• Switch highlighted the data center’s security, reliability and low latency, which is backed by the Superloop system, a 500-mile, multi-terabyte fiber optic network to San Francisco and Los Angeles, as well as the company’s 2.5 million sq ft of data center space located in Las Vegas with 10Gbps circuits at 4-millisecond latency. The facility has a tri-redundant UPS power system, and offers up to 42 kW of power per cabinet.
• 100 percent renewable energy, which Switch currently purchases externally, but plans to produce itself in future using Switch I and Switch II, the company’s ongoing solar projects located near the Apex Industrial Park in Southern Nevada.

Source: Switch opens Tahoe Reno 1, "world’s largest" colo data center, 2017

Range International Information Group

• It was designed to help meet the skyrocketing needs of the Chinese economic and technological boom that has been running for about two decades. As with most large scale projects in China, this data center was built by a combined public and private investment and is overseen by IBM. It consumes 150 megawatts of power.
• Located in Langfang China, Range International Information Group is the world’s largest data center and occupies 6.3 million square feet of space.
  • It is equivalent to the area occupied by the Pentagon or a combination of 110 football fields. Construction of the Range International Information Group was completed in 2016.

Source: And The Title of The Largest Data Center in the World and Largest Data Center in US Goes To..., 2018

• Lakeside Technology Center
  • Location: Chicago, Illinois
  • 印刷厂改；大量备用发电机组(53)；大量冷却水(8.5 million gallons of cooling fluid per year)；客户有IBM, CenturyLink, Facebook, and TelX。
• Kolos Data Centre
  • Location: Ballengen, Norway
  • 北欧天然冷却；挪威丰富水电；北大西洋高速互联。
• Tulip Data City
  • Location: Bangalore, India
  • 一度非美国最大(Tulip Telecom Ltd.)；IBM帮助设计。
• Bahnhof’s Pionen
  • Location: Central Stockholm, Sweden
  • 斯德哥尔摩人防工程(in 1943 to protect essential government functions)；潜艇发动机做备电(Maybach MTU diesel engines)。
• Next-Generation Data
  • Location: Newport, UK
  • 服务于BT、IBM各路公有云；全英最高PUE；独占电网(has its own sub-station with a direct connection to the 400kV Super Grid)。

瑞士诺克斯地堡 (Swiss Fort Knox)

• Location: Baar, Switzerland
• 号称世界最安全的数据中心，源自2010年的欧盟 Planets (Preservation and Long-term Access through Networked Services) 项目
  • 爱因斯坦的纸质笔记现在我们仍能看到，但斯蒂芬·霍金的数字笔记在70年后我们很有可能看不到。项目旨在确保“我们的数字化文化和科学宝藏可被长期访问”。
• Built in 1994, by Christoph Oschwald, and his business partner Hanspeter Baumann, who converted the former headquarters of the Swiss Air Force into a top-notch data center by installing emergency diesel engines, a ventilation system, a filter, and an air-pressure system to prevent the entry of any poisonous gases.
• Water from an underground lake keeps the center’s cooling system at 8 degrees Celsius.

Source: SWISS FORT KNOX I + II is an underground datacenter concept with various locations, deep inside the Swiss Alps.

• 客户专属密钥备份

Source: Encrypted, daily monitored and fully automatic

Ideal protection against NSA and PRISM!

• Data storage inside of Switzerland (<www.swissfortknox.com>)
• Encryption of the data with 256-bit AES (wikipedia)
• Personal encryption key which is NOT known to us (no backdoors)
• Redundant data storage and contractual availability of 99.7% (GTC)
• Compliance with the legal requirements for a backup in accordance with Swiss law ( Certificate (German) und Report (German) )

NSA在用什么？

• Location: Bluffdale, Utah
• The $1.2billion project included 100,000-square-feet of Tier III data center space and 1,350,000-square-feet of technical support and administrative space. Support facilities include water treatment facilities, vehicle inspection facility, interim visitor control center, perimeter site security measures, fuel storage, water storage, chiller plant, fire suppression systems and 100% electrical generator and UPS back up capacity.
• The facility showcases numerous innovative technology and energy efficiency features and was designed and constructed to achieve LEED Silver certification.

Source: FLAGSHIP UTAH DATA CENTER

Utah Data Center 犹他数据中心

• 拥有尧字节 (yottabyte) 级的设计存储能力 ... 此处尚缺可信数据
  • 百度百科，犹他州大数据中心——美国国家安全的核心资产
• $Y_{otta}Byte=2^{10}*Z_{etta}B=2^{20}*E_{xa}B=2^{30}*P_{etta}B=2^{80}B$
• 能储存100年有价值的通讯信息(全世界2011年整个互联网的容量总和也不过52艾$2^{60}$字节)，目的是支持综合性国家计算机安全计划 (Comprehensive National Cybersecurity Initiative, CNCI)，也是国家情报总监 (DNI) 的执行机构，具体职责保密。
• 位于犹他州小城布拉夫代尔的犹他州大数据中心，是继马里兰州米德堡国家安全局总部、得克萨斯州圣安东尼奥备份中心之后，美国安全局建立的第三个数据中心。其目的，是在全面共享国家安全情报的基础上，存储、处理、分析网络空间大数据，支撑新时期美国国家安全。

Source: http://www.iiclouds.org/20141114/maps-of-data-center-localization/

谷歌

Source: https://www.google.cn/about/datacenters/locations/

亚马逊

Source: https://www.cloudwards.net/news/amazon-announces-new-aws-paris-region-opening-in-2017-14326/

Source: https://aws.amazon.com/cn/cloudfront/features/

微软

Source: https://www.urtech.ca/2019/01/solved-where-are-microsofts-data-centers-located/

AWS, Azure and Google Cloud

Source: https://www.atomia.com/2016/11/24/comparing-the-geographical-coverage-of-aws-azure-and-google-cloud/

AWS, Azure and Google Cloud …

Source: https://www.atomia.com/2016/11/24/comparing-the-geographical-coverage-of-aws-azure-and-google-cloud/

国内情况

Source: 中国数据中心产业发展白皮书，中国通服数字基建产业研究院，2023

细分类型

Source: 中国信息通信研究院 开放数据中心委员会

地域分布

Source: https://www.newdc.org.cn/datacenter.html

阿里

Source: 阿里云宣布五大超级数据中心落成 未来还将再添十座, 2020年07月31日

超级数据中心广泛使用液冷、水冷、风能等节能技术，此次新建成的杭州数据中心就部署了全球最大的液冷服务器集群，通过将服务器“泡在水里”（实际使用的是特殊的冷却液）的方式散热，可为数据中心节能70%以上；在五大超级数据中心内，还采用了自动运维机器人进行智能运维，24小时保障数据中心安全运行。

腾讯

Source: 腾讯云全球基础设施, 腾讯云印尼数据中心开服 未来将打造双可用区格局

2021年4月，腾讯云宣布其在印尼的首个云计算数据中心正式开服。该数据中心位于 印尼首都雅加达未来一年内将在印尼开放第二个数据中心，打造印尼双可用区格局。此次印尼数据中心开服后，腾讯云已经在全球27个地理区域，运营61个可用区。其中，腾讯云海外数据中心已经落地韩国、日本、印度、新加坡、美国、德国、俄罗斯、加拿大、泰国等国家。

T-Block

腾讯位于清远市的云计算数据中心于2020年7月开服，8栋机房，容纳的服务器将超过100万台。

T-Block使机房、空调、电力等等部件全部模块化，高度简化数据中心的建设，现场施工周期减少了80%以上。

Source: 探访腾讯国内最大数据中心，百万台服务器啥概念

身旁的范例

• 中金武汉数据中心
• 光谷八路运营商数据中心
• 中国电信在建临空港中部数据中心
• 中国电信光谷八路数据中心
• 汉口银行武汉光谷主数据中心
• 建设银行武汉南湖数据中心
• 楚天云花山数据中心

群模乱舞时代，数据中心、超算中心、智算中心三板斧（一）

巨无霸背后的巨无霸

数据中心的建造者

2021: These are the World’s Largest Data Center Colocation Providers, Yevgeniy Sverdlik, Jan 15, 2021

It’s important to note that China Telecom is one of five Chinese companies on the leaderboard (also China Unicom, China Mobile, GDS 万国数据, and 21Vianet 世纪互联), all of whom do business primarily in China. China’s market is so vast that these providers can stay mostly domestic (with some international presence) and still have huge share of the global market.

China’s protectionist regulatory policy makes it extremely difficult for foreign companies to compete in the country’s vast data center market, and international players’ interest in China has waned. As a result, Chinese hyperscalers’ explosive growth in recent years has driven huge growth for Chinese companies that build and operate data centers for the likes of Alibaba and Tencent.

智算中心

南京智算中心

南京智算中心采用浪潮AI服务器算力机组，搭载寒武纪思元270 和思元290 智能芯片及加速卡。目前已运营系统的AI计算能力达每秒80亿亿次（AI 算力远超传统数据中心提供的基础算力供给），1小时可完成100亿张图像识别、300万小时语音翻译或1万公里的自动驾驶AI数据处理任务。

上海“新一代人工智能计算与赋能平台”

在WAIC2020大会期间，商汤科技宣布，上海“新一代人工智能计算与赋能平台”临港超算中心启动动工。该算力中心占地面积近80亩，总投资金额超过50亿元人民币，一期将安置5000个等效8000W的机柜。算力中心建成并投入使用后，总算力规模将超过3700PFLOPS，可同时接入850万路视频，1天即可完成23600年时长的视频处理工作。

张北超级智算中心

2022年8月30日，阿里云宣布正式启动张北超级智算中心。该智算中心总建设规模为12EFLOPS（每秒1200亿亿次浮点运算）AI算力，将超过谷歌的9EFLOPS和特斯拉的1.8EFLOPS，成为全球最大的智算中心，可为AI大模型训练、自动驾驶、空间地理等人工智能探索应用提供强大的智能算力服务。

• Source: 阿里云启动超级智算中心，总算力达12 EFLOPS

xAI Colossus

对于那些听说过埃隆·马斯克的xAI在孟菲斯建造巨型AI超级计算机Colossus。这个价值数十亿美元的AI集群拥有100,000个 NVIDIA H100 GPU (正在通过增加另50,000个H100和50,000个H200 GPU，使其规模翻倍)，不仅规模大，而且建造速度快。仅用122天，团队就建造了这个巨型集群。

Colossus 的基本构建模块是 Supermicro 液冷机架。它由 8 台 4U 服务器组成，每台服务器配备 8 个 NVIDIA H100，每台机架总共有 64 个 GPU。8 台这样的 GPU 服务器加上一台Supermicro 冷却液分配单元 (CDU)和相关硬件构成了一个 GPU 计算机架。这些机架以八个为一组排列，共计 512 个 GPU，再加上网络，又构成了一个子集群系统。

其网络中，每路光纤连接的速度是 400GbE，比我们在其他地方看到的常见 1GbE 网络快 400 倍。每台服务器有 9 个这样的链接，这意味着单 GPU 计算服务器的带宽约为 3.6Tbps。

平台软件与负载特性

历史和现状
平台软件与负载特性
基础硬件与设计取舍
供电和冷却
集中供能和效率优势
电力约束与新型能源供给
集中使用和成本优势
集中运维挑战

Google WSC 软件架构概览

• 核心理念：将数据中心视为一台巨型计算机
• 软件分层：
  • 平台层（OS、驱动、虚拟化）
  • 集群层（资源调度、分布式存储）
  • 应用层（搜索、广告、Gmail等）
• 特点：高并发、高可用、强容错、快速迭代

平台层与集群层基础设施

• 平台层：
  • 标准化OS、容器化（如Borg/Kubernetes）
  • 网络优化（低延迟RPC、本地通信优先）
• 集群层：
  • 分布式文件系统（GFS/Colossus）
  • 调度系统（Borg）
  • 监控与调试工具（Dapper、Stackdriver）

应用层与典型工作负载

• 搜索服务：
  • 高并发请求、只读索引、分布式倒排
• 视频处理（YouTube）：
  • 离线转码与CDN分发结合
• 学术文章相似度计算：
  • 离线MapReduce任务，周期性更新

新兴工作负载：大模型推理（以KIMI为例）

• KIMI特点：
  • 支持200万字上下文（2024年）
  • 月访问量超300万，增速100%+

KIMI的WSC适配策略

• 模型压缩与量化：降低显存占用
• 请求调度优化：
  • 动态批处理（Continuous Batching）
  • 请求优先级与缓存策略
• 资源调度：
  • GPU/TPU池化，支持弹性伸缩
  • 与CPU任务混合部署提升利用率

KV Cache：推理的“内存墙”

• 什么叫 KV Cache：自回归生成每个 token 都要复用此前所有 token 的 Key/Value 矩阵；这段“历史”必须常驻显存，才能避免重复计算
• 显存随上下文近似线性增长：以 72B 级模型长上下文为例，朴素 MHA 的 KV Cache 可达 约 305 GB——远超单卡容量
• 一个朴素结论（先粗后细）：推理成本 ≈ KV Cache 的存储 + 带宽成本，而非单纯算力成本
• 呼应：这正是“存储即算力”的由来；当 KV 大到需要跨节点共享，问题就回到了内存如何组织——这正是下一节“超节点”要回答的

素材：collection《从 305 GB 到 7.4 GB：大模型 KVCache 架构演进全景》

从 305 GB 到 7.4 GB：压缩即“资源置换”

• 主线：MHA → GQA → MLA → 稀疏注意力(CSA/HCA) → 线性注意力，同一量级模型 KV Cache 相差约 41 倍
• 本质：用更多算力或通信去置换更少显存——这是体系结构里典型的“资源互相置换”
• 长上下文（1M token）推理因此从“不可能”变为“可商用”

PD 分离：为什么推理要“拆开跑”

• Prefill（填前缀）算力密集，Decode（解码）带宽密集——二者最优部署形态不同
• PD 分离：把两类阶段拆到不同资源池，按需调度，整体吞吐更高、成本更低
• 这解释了 KIMI 为何要做“以 KVCache 为中心的分布式架构”——KV 是跨阶段、跨节点的共享状态
• 伏笔：当 KV Cache 大到需要跨节点池化，就回到了“超节点”的统一内存 / Scale-up 内存语义

素材：collection《超节点技术深度篇五：长上下文推理与 KV Cache 池化：PD 分离调度》

新兴工作负载：短视频UGC（以抖音为例）

• 业务特点：
  • 高UGC上传频率（亿级/日）
  • 实时审核、转码、推荐
• 技术挑战：
  • 高并发写入与处理
  • 多分辨率适配与CDN分发
  • 内容安全与AI审核

抖音的WSC适配策略

• 边缘计算与CDN：
  • 上传就近处理，降低延迟
• 视频处理流水线：
  • 异步转码、AI审核、特征提取
• 冷热数据分层：
  • 热视频缓存于SSD/内存
  • 冷视频归档于对象存储

对比分析（1）——工作负载特征

对比分析（2）——系统优化策略

架构启示

• 软件定义基础设施（SDI） 是趋势：
  • 调度、网络、存储均可编程
• 异构计算成为主流：
  • CPU+GPU+TPU协同
• 工作负载驱动架构演进：
  • 搜索 → AI推理 → 视频UGC
• 容错与弹性是核心能力

本章小结

• Google WSC 提供了现代数据中心的原型架构
• 通过KIMI与抖音认识AI与UGC时代的新挑战
• 架构设计需兼顾性能、成本、弹性与可扩展性
• 软件基础设施的灵活性和可观测性愈发重要

基础硬件与设计取舍

历史和现状
平台软件与负载特性
基础硬件与设计取舍
供电和冷却
集中供能和效率优势
电力约束与新型能源供给
集中使用和成本优势
集中运维挑战

Google WSC 硬件架构概览

• 核心理念：标准化、模块化、性价比优先
• 三大模块：
  • 服务器（CPU、内存、本地存储）
  • 网络（Clos/Fat-tree、SDN）
  • 存储（分布式文件系统、冷热分层）
• 特点：
  • 中低端服务器为主
  • 强调系统级容错与横向扩展
  • 自研TPU用于AI加速

服务器设计对比概览

华为鲲鹏服务器

• 鲲鹏920处理器：
  • ARM架构，7nm工艺
  • 支持32/48/64核，主频2.6GHz
  • 支持8通道DDR4、PCIe 4.0、100G RoCE
• 架构优势：
  • 高并发、低功耗
  • 与华为云深度集成，支持虚拟化热迁移
  • 某金融客户案例：双十一20万次/秒交易，50ms响应

AI加速器对比概览

寒武纪MLU架构

• 思元系列：
  • 思元290：7nm，460亿晶体管，1024 TOPS（INT4）
  • 思元370：Chiplet架构，支持推理与训练
  • 思元590：对标A100，性价比优化
• 软件栈：
  • NeuWare：编译器、运行库、框架支持
  • 支持FP8、混合精度训练

AI加速器系统级设计

• 玄思1000加速器：
  • 4颗思元290芯片
  • 支持MLU-Link多芯互联
  • 实现POD级纵向扩展
• 应用场景：
  • 大模型训练、金融风控、智慧城市
  • 与华为Atlas、百度飞桨等生态对接

存储系统对比概览

阿里盘古存储系统详解

• 架构特点：
  • 支持EB级数据存储
  • 冷热数据智能分层
  • 高可用、自动容错
• 优化方向：
  • 小文件合并与索引优化
  • 面向电商场景的高并发读写
  • 与飞天操作系统深度集成

系统级优化趋势

• 异构计算融合：
  • CPU+GPU+TPU/MLU协同
• 软件定义硬件：
  • 编译器与架构协同优化（如NeuWare）
• 绿色计算：
  • 低功耗设计、动态功耗管理
• 国产化替代：
  • 自主指令集、IP核、工具链

超节点：把“一群服务器”看成“一台机器”

• 传统集群是“多台机器通过网络连起来”；超节点（SuperPoD） 追求把成百上千颗 AI 芯片组织成逻辑上的一台机器
• 动机来自大模型训练/推理刚需：单任务所需算力远超单服务器，且对通信延迟、内存一致性极度敏感
• 信通院概括的“三堵墙”：通信墙、供电散热墙、运维墙——超节点本质是系统性地翻越这三堵墙
• 与前面 KV Cache 的关系：只有内存能被“统一编址、全局共享”，KV 池化才真正高效（回看 KV Cache 一节伏笔）

规模与统一内存：以昇腾 950 超节点为例

• 16 机柜、1024 颗 NPU、256 TB 统一内存；互联用灵衢 2.0，带宽约为上代 15 倍、单跳延迟 ~200 ns
• 可扩展至 8192 卡 / 8 EFLOPS（FP8）；据公开披露，384 超节点已商用 750+ 套
• 统一内存意味着：任一 NPU 可像访问本地内存一样访问全局内存，模型权重与 KV Cache 不再被单卡容量卡死
• 对标标杆：NVIDIA NVL72/NVL144 同属“单机柜即一台大机器”思路，规模与带宽量级相当

Scale-up vs Scale-out：为何要“消除 PCIe Switch”

• Scale-out：机器间用以太网/RoCE 互联，易扩展但延迟高、语义是“发消息”
• Scale-up：机柜内用高带宽总线（NVLink、灵衢）直连，延迟低、可呈“内存语义”
• 趋势：GB200 用 NVLink + 定制 CPU 取代 PCIe Switch；AMD MI450 用 UALink——都在“消除”传统 PCIe Switch 这一瓶颈
• 代价：PCIe 是通用标准、生态成熟；私有总线带宽更高却锁定厂商（NVLink Fusion 对第三方受限）

内存语义 vs 消息语义（一堂批判课）

• 比喻：消息语义像“寄快递”（打包、寻址、收件确认）；内存语义像“公共书架”（谁都能直接取放）
• 真超节点需缓存一致性支撑内存语义；仅靠 PCIe + RoCE 堆叠、无缓存一致性的，是“伪超节点”——仍是服务器堆叠
• 要点：警惕“超节点”营销话术，看它是否真解决“统一编址 + 一致性”，而非只是把更多卡塞进一个机柜
• 研究生该有的判断：概念包装之下，回到体系结构的硬约束

统一编址的真实收益（不是 PPT 数字）

• 实测口径收益：NPU 利用率提升约 10%；当 Prefix Cache 命中 100% 时，吞吐可达 3 倍
• KV Cache 全局池化：不再每卡各存一份，显存利用率与命中率同时改善（呼应 KV Cache 一节）
• 代价：一致性协议、全局地址空间、故障域扩大——复杂度显著上升
• 结论：统一编址收益真实，但是“工程上更难”，而非“免费午餐”

互连之争：NVLink / 灵衢 / UALink / CXL

• 主线：Scale-up 总线走向开放标准（UALink 对抗 NVLink），CXL 则补齐“内存池化”这一层

CXL 内存池化：把内存变成“公共货架”

• CXL（Compute Express Link） 让内存可跨节点池化、按需分配，像“公共货架”被多机共享
• 实践：famfs 等文件系统把 CXL 内存暴露为可寻址存储，重构“内存—存储”边界
• 与 KV Cache 一节呼应：KV Cache 可经 CXL 卸载到池化内存，逼近 DRAM 性能却突破单机容量墙
• 国产化进展：国产 PCIe 6.0–CXL 双主控已亮相，补齐互连自主一环

素材：collection《CXL把数据中心的内存变成公共货架》

存储耦合：记忆即算力

• 趋势：AI 负载把“记忆（上下文/KV）”推到与“计算”同等重要的位置——所谓“记忆即算力”
• 表现：AISSD、上下文推理引擎把 KV Cache 直接放在近计算存储，减少搬移
• 闭环：超节点统一内存 + CXL 池化 + KV 卸载，三条线在“内存墙”上汇合
• 留给后续讲座：先进存储（OC-SSD、ZNS-SSD）如何承接这一范式

【研究生课堂·元命题一】各层次的并行性

• 体系结构一以贯之的主线：并行性在不同层次展开
• 指令级（ILP）→ 数据级（SIMD/向量）→ 线程级（TLP）→ 多核/多卡 → 节点级 → 超节点级
• 超节点不是新概念，而是把“单芯片内的并行”纵向扩展到整机柜
• 讨论：每一层并行的瓶颈从“计算”逐渐变成“通信/一致性/供电”——你同意吗？

【研究生课堂·元命题二】互联与存储的设计取舍

• 永恒三角：带宽 延迟 一致性/语义
• 要内存语义（统一编址）就得付出一致性复杂度；要开放标准就得容忍带宽差距
• 存储侧同理：本地 DRAM 快但贵且小，池化内存/CXL 大但多一跳
• 这是“没有免费午餐”的体系结构版：任何收益都标着代价

【研究生课堂·元命题三】分散与集约

• 分散（Scale-out） 灵活、故障域小、生态开放；集约（Scale-up） 延迟低、语义强、效率高
• 没有谁永远对：训练密集用集约，推理长尾用分散，PD 分离更是“既分散又集约”
• 架构哲学：边界是工作负载特征决定的，而非技术信仰
• 延伸到系统之外：算力网络（东数西算）同样是“分散的资源、集约的调度”

【研究生课堂·元命题四】成本与收益

• 超节点贵在：总线、一致性、供电散热、运维——都是“非芯片”成本
• 收益：MFU（芯片利用率）可抬升约 1.5–1.7 倍，单位算力成本下降
• 但复杂度转化为工程风险与锁定风险——这是 TCO 之外的“隐性成本”
• 回看本章：从单机性价比，到超节点系统级性价比，评价标准始终是总成本与总收益

素材：collection《昇腾950超节点真机首次公开亮相：1024张NPU，256TB统一内存》（MFU 1.5–1.7 倍同源）

从单机到超节点：数据中心即“一台大机器”

• 一条线索：单机 → 多卡 → 超节点 → 算力网，抽象层级不断抬高
• 每一跳都在回答同一问题：如何把分散的资源，组织成一台“更好用的大机器”
• 这恰是数据中心技术从“系统结构课堂”延伸出的普遍问题——也是本课的方法论
• 下一节从“电”与“钱”两个角度，继续看这台大机器的现实约束

本章小结

• Google WSC 提供了标准化、模块化的硬件设计范式
• 国产硬件 在ARM服务器、AI加速器、存储系统等方面已形成实力
• 系统级创新 成为国产硬件差异化竞争的关键
• 软硬协同 是未来数据中心设计的核心方向
• 超节点（Scale-up） 把成百上千颗 AI 芯片组织成逻辑上的一台机器，统一内存与互连是核心取舍，批判看待“伪超节点”

供电和冷却

历史和现状
平台软件与负载特性
基础硬件与设计取舍
供电和冷却
集中供能和效率优势
电力约束与新型能源供给
集中使用和成本优势
集中运维挑战

数据中心分级（Tier I–IV）

启示：等级越高，成本指数级上升，需权衡可用性与经济性。

Source: ANSI/TIA-942 Standard

供电系统架构

• 供电路径：
  • 市电 → 变电站 → UPS → PDU → 服务器
• 关键组件：
  • UPS：不间断电源（电池/飞轮）
  • PDU：配电单元（分路、断路器）
  • 发电机：柴油/燃气备用
• 设计目标：
  • 高可用、低损耗、可扩展

AC vs DC 供电对比

Google采用48V DC机架级供电，减少能量损耗。

冷却系统原理

• 热力学基础：
  • 所有电能最终转化为热能
  • 需通过热交换将热量排出建筑
• 冷却路径：
  • 服务器 → 热空气 → 冷却设备 → 外部环境
• 冷却方式：
  • 风冷（CRAC、风墙）
  • 液冷（冷板、液-液交换）
  • 自然冷却（free cooling）

冷却系统设计类型

Google案例——天花板冷却系统

• 设计特点：
  • 热空气上升至天花板
  • 通过风扇盘管冷却
  • 冷空气垂直回流至冷通道
• 优势：
  • 无地板、无冷热混合
  • PUE < 1.2
• 图示（可插图）：
  • 热通道封闭 + 顶部冷却单元

系统级优化与趋势

• 能效优化：
  • 提高冷通道温度（25–30°C）
  • 使用自然冷却（free cooling）
• 功率与冷却协同：
  • 功率密度 ↑ → 液冷必要性 ↑
• 绿色数据中心：
  • 使用可再生能源
  • 热能回收（如供暖）

小结与启示

• 基础设施是WSC的“地基”，决定上限
• 供电与冷却占TCO大头，需精细化设计
• Google的实践表明：创新冷却与供电可显著降低PUE
• 未来方向：
  • 液冷普及
  • 自然冷却与AI调控结合

集中供能和效率优势

历史和现状
平台软件与负载特性
基础硬件与设计取舍
供电和冷却
集中供能和效率优势
电力约束与新型能源供给
集中使用和成本优势
集中运维挑战

惊人的能耗

Globally, data centers were estimated to use between 196 terawatt hours (TWh) (Masanet et al, 2020) and 400 TWh (Hintemann, 2020) in 2020. This would mean data centers consume between 1-2% of global electricity demand.

Source: Recalibrating global data center energy-use estimates, Science, 28 Feb 2020

能源效率——PUE

• PUE (Power Usage Effectiveness) 指标：几成能源用在信息业务中？

$PUE=\frac{全设施总功耗}{IT设备功耗}$

• 由 Green Grid 倡导和维护
• 理想 $PUE=1.0$
  • IT设备以外基本没有能耗，包括冷却
  • 现实中不可能，哪台电脑不散热？计算、网络、存储……

数据中心能效标尺

• 历史数据：
  • 2006：平均 PUE = 2.0+
  • Google 2023：平均 PUE = 1.10
• PUE 局限：
  • 不含服务器内部损耗
  • 不反映利用率或碳排

Source: How Much Energy Do Data Centers Really Use?, March 17, 2020

Google: Our PUE is Lower, and It's Scrupulous, Mar 26, 2012

能效损失来源

结论：制冷是最大“敌人”，其次是服务器电源转换。

服务器能效曲线

• SPECpower 示例：
  • 100 % 负载：效率 100 %（基准）
  • 50 % 负载：效率 ↓ 15 %
  • 10 % 负载：效率 ↓ 50 %
• 结论：
  • 低利用率 = 极低能效
  • 需能耗比例性设计

能耗比例性（Energy Proportionality）

• 定义：功耗 ∝ 负载（理想线性）
• 现状：
  • 早期服务器：idle ≈ 50 % 峰值功耗
  • 现代服务器：idle ≈ 10–20 % 峰值
• 目标：
  • idle → 接近 0 W（active idle）
  • 线性或亚线性功耗曲线

改善能耗比例性的技术

软件角色：负载聚合、功耗封顶、动态迁移

Google 实践速览

• 数据中心级：
  • 自然冷却 + 机器学习调控 → PUE 1.10
• 服务器级：
  • 48 V 机架供电：转换损耗 ↓ 30 %
  • 自研主板：去除不必要组件
• 集群级：
  • Borg 动态功耗封顶（Dynamo）
  • 利用 UPS 电池“削峰”→ 提高功率利用率

前沿趋势

• AI 驱动冷却：
  • DeepMind + Google：AI 控制制冷，节能 40 %
• 液冷普及：
  • TPUv3 已采用冷板液冷
• 可再生能源：
  • 24/7 无碳能源匹配（Carbon-free Energy）
• 能效新指标：
  • CUE（碳使用效率）
  • WUE（水使用效率）

小结与启示

• 能效是TCO与可持续性的关键杠杆
• PUE 仅冰山一角，需关注服务器利用率与能耗比例性
• 软硬件协同：
  • 硬件：高能效电源、深睡眠状态
  • 软件：负载整合、功耗感知调度
• 未来方向：
  • 零 idle 功耗
  • AI 实时优化
  • 液冷 + 可再生能源标配

数据中心能源效率…

• 科技巨头 Amazon、Google 和 Microsoft 可以控制在 1.2 以内
  • 迄今最优 1.07 (Facebook)、1.12 (Google)
• 其余可不好说
  • According to the Uptime Institute research, an average US data center has a PUE of 2.5. However, servers with a PUE of 3.3 and higher are common to find as well...
• 工信部、国家机关事务管理局、国家能源局联合印发《关于加强绿色数据中心建设的指导意见》，提出到2022年全国新建大型、超大型数据中心PUE需达到1.4以下。
  • 阿里国内自营平均 1.3 以内，腾讯清远用间接蒸发冷却约 1.25。

延伸：新型数据中心发展三年行动计划(2021-2023年)

《行动计划》以2021年和2023年两个时间节点提出了分阶段发展量化指标，引导传统数据中心向新型数据中心演进。为科学衡量数据中心产业发展水平，加快把体量优势变为质量优势，《行动计划》强化了新型数据中心利用率、算力规模、能效水平、网络时延等反映数据中心高质量发展的指标，弱化了反映体量的数据中心规模指标。

计划到2023年底，利用率方面，全国数据中心平均利用率力争提升到60%以上；算力规模方面，总算力规模超过200 EFLOPS，高性能算力占比达到10%；能效水平方面，新建大型及以上数据中心PUE降低到1.3以下，严寒和寒冷地区力争降低到1.25以下；网络时延方面，国家枢纽节点内数据中心端到端网络单向时延原则上小于20毫秒。

https://natick.research.microsoft.com/

https://www.demilked.com/facebook-server-farm-arctic-lule-sweden/

https://www.sohu.com/a/233201201_398039

https://alibabagroup.com/cn/news/article?news=p150908

国内统计数据

国内统计数据…

当下

数据中心可再生能源利用率在未来几年有望快速改善。根据国际环保组织绿色和平研究，2018 年中国数据中心火电用电量占其总用电量的 73%，而中国数据中心可再生能源使用比例仅为 23%，低于我国市电中可再生能源使用比例 26.5%。

到 2020 年，我国数据中心可再生能源利用率达到 30%左右，相较于 2018 年已有所提升。

未来几年，随着国家及各省市加大对数据中心化石能源使用的约束，新型储能、分布式光伏等技术及应用的规模化发展，数据中心可再生能源利用率将大幅提升，绿电占比或将大于 50%。

愿景

打造“零碳数据中心”成为数据中心低碳化发展的终极目标。随着国家对数据中心能耗管控趋严，以及 PUE 优化、源网荷储一体化技术发展，打造 100%可再生能源的“零碳数据中心”或“低碳数据中心”成为主流服务商的重要发展方向。

如中国电信创新推动数字经济与青海清洁能源深度融合发展，打造中国电信数字青海绿色大数据中心，成为全国首个 100%清洁能源可溯源绿色大数据中心，也是首个数据中心源网荷储绿电智慧供应系统示范样板，重新定义了绿色大数据中心新标准和绿色能源消费新模式。

PUE问题的复杂性

将PUE作为评估数据中心总用电量的衡量指标

• 主要考察资源运转效率
• 只考虑数据中心的内部操作，未揭露电力来源与实际用电量
• 数据中心占全球用电量的1~2%，但是电力来源呢？

Source: How much energy do data centers use? October 8, 2021

PUE测算中的问题

• 测算标准
  • 不同的测算方法和标准可能会导致PUE值的差异
• 环境因素
  • 在炎热或寒冷的地区，数据中心的制冷或加热能耗可能会增加
• 负载情况
  • 如果数据中心的负载较低，其能耗可能会与满载时有所不同，导致PUE值的变化

思考：一个"小"问题

服务器升级 --> 算力更高的同时更节能

温控设备，供电系统没有更换 --> 非计算能耗保持不变

思考：一个"小"问题…

服务器升级 --> 算力更高的同时更节能

温控设备，供电系统没有更换 --> 非计算能耗保持不变

于是PUE……反而更差？

可是PUE已成为政策依据，或许因此影响设备选择

思考：一个"大"问题

AI趋势之下

• The extraordinary growth in the use of Artificial Intelligence (AI) in various sectors of activity is posing challenges and requiring changes in the design and operation of datacenters so that they can meet ever-increasing demand.

Source: Schneider Electric – Energy Management Research Center White Paper 110 Version 1.1

飙升的能源消耗

• An estimate by Schneider Electric, a company that operates inthe field of energy systems management and automation, points out that AI currently represents 4.3 GW of energy demand, a figure that is expected to grow at a compound annual rate of 26% to36%, resulting in a total of between 13.5 GW and 20 GW by 2028.

Source:
Challenges for datacenters in the face of advancing AI, The IT Monitoring Magazine, 2023
AI and the Data Center: Challenges and Investment Strategies, Information Week, 2023

智算中心时代的新麻烦

• 千亿级模型训练集群，涉及万卡以上规模，千万级以上器件
  • …
• 单器件故障会触发集群训练中断
  • …
• 分布式训练交互复杂，跨域故障定界技术难度与流程难度高
  • …
  • …

智算中心时代的新麻烦…

• 千亿级模型训练集群，涉及万卡以上规模，千万级以上器件
  • 日均电费十余万
• 单器件故障会触发集群训练中断
  • 意味着每天十余万的损失
• 分布式训练交互复杂，跨域故障定界技术难度与流程难度高
  • 业界大模型平均稳定的集群训练时长在天级别
  • 分布式训练故障处理时间在1至30天

智算中心时代的新麻烦……

• 千亿级模型训练集群，涉及万卡以上规模，千万级以上器件
  • 日均电费十余万
• 单器件故障会触发集群训练中断
  • 意味着每天十余万的损失
• 分布式训练交互复杂，跨域故障定界技术难度与流程难度高
  • 业界大模型平均稳定的集群训练时长在天级别
  • 分布式训练故障处理时间在1至30天

热门研究方向，如何在大模型训练过程中减少重训练代价？

能源瓶颈转移 —— 从PUE到有电可用Power Availability

结论：能源从“成本项”变为“战略资源”，决定部署节奏与ROI。

• 现在整个AI投资逻辑都错了！微软CEO首次承认：成排的H100正在积灰，插不上电

新的竞争优势 —— 部署速度即投资回报ROI

• GPU折旧周期压缩：
  • 从24个月 → 12个月（英伟达年度发布）
• 电力交付 vs GPU交付：
  • GPU：6个月可到货
  • 电力：需3–5年审批+建设+并网
• 大厂战略：
  • 提前3–4年锁定电力协议（微软、谷歌）
  • 自建发电/微电网能力
  • 垂直整合（地产+电力+芯片）

新护城河

彻底改变了竞争护城河的结构

• 旧的护城河是模型质量和算法改进
• 新的护城河是物理基础设施和能源准入

在6个月内可以训练出一个更好的模型，但无法在6个月内建成一个通电的数据中心。

新护城河 = 电力准入 + 部署速度 + 垂直整合能力

课堂讨论

你是否认同“电力准入”将取代“芯片采购”成为AI数据中心的核心竞争力？背后还有什么重要影响因素以及战略机遇？

精明的投资人是否会集体做傻事？

• AI永动机，何时停？, 2025年10月13日
• OpenAI万亿美元“豪赌”算力，巨头“循环融资”拉响预警,
  2025年10月11日
• 40年前美国发电量是中国的6倍，如今中国远超美国，怎么做到的？, 2025-11-01
• 世界头号发电大国，中国与美国的差距有多大？, 2025-10-28

电力约束与新型能源供给

历史和现状
平台软件与负载特性
基础硬件与设计取舍
供电和冷却
集中供能和效率优势
电力约束与新型能源供给
集中使用和成本优势
集中运维挑战

供电已成硬约束

• 前文已点出：能源从“成本项”变为“战略资源”。这里补上“电从哪来”的下游视角
• 量级警示：NVIDIA Rubin 平台 单柜 ~600 kW；据测算全球仅约 400 个数据中心可支撑此类机柜
• 现实约束：美国 PJM 电网已对数据中心紧急限电；弗州对数据中心征收 $0.011/kWh 消费税
• 一句话：芯片可以买到，电和并网容量买不到、也等不起

数字：从芯片瓦数到机柜电费

• 含义：电费从“OpEx 小头”变为“能否开工的开关”

为什么是“电”：交付周期错配

• 前文“部署速度即 ROI”已点出：电力交付（3–5 年）远慢于 GPU（约 6 个月）
• 本节的增量视角：电从哪来——当电力成为瓶颈，芯片到位也转不起来
• 直接后果：H100 成排积灰、插不上电，与算力经济学一节的“闲置率”同源
• 战略含义：大厂提前 3–4 年锁定电力协议，垂直整合“地产 + 电力 + 芯片”

新型能源供给（一）：核电 SMR 狂潮

• AI“电荒”点燃核电：Aalo Atomics 一座小堆 2026-07-04 临界（成立不到三年）
• 资本动作：微软重启三哩岛 835 MW；Google 签 Kairos SMR；Meta 发吉瓦级核电 RFP
• 经济账：1 GW 数据中心总投入 ~500 亿美元，其中电费仅 10–20 亿——电贵但占比小，关键是“有电”
• 理性提示：SMR 商业并网多数指向 2030 年代；NuScale 2023 终止是警示——不是马上能喝上水

新型能源供给（二）：绿电与水力

• 中国优势在绿电资源：水电、风光装机持续增长，清洁能源占比高的地区最适合承载 AI 负载
• 代表：宜昌清洁能源装机占比 >94%——把算力摆在“电便宜又绿”的地方，是地理层面的架构决策
• 跨区域联动：绿电富集区与算力需求区之间，靠高速光网拉通（具体区域案例见后面“国家算力网”一节）
• 启示：算力跟着绿电走，能源布局反过来塑造数据中心的地理分布

离网与前瞻

• DIY 启示：有人用 32 张 RTX 3090、768 GB 显存、太阳能自供电搭 AI 数据中心——离网可行
• 边角前瞻：去太空训练大模型，24 小时太阳能供电的 GPU 明年上天（试验性质）
• 共同点：当“并网容量”成为瓶颈，电源与负载一起重新布局
• 教学：能源约束正在重塑"数据中心该建在哪、用什么供能"

前沿延伸：约束迁移——环境变了，算的账也变了

• 本课前半段主线：PUE / CAPEX / OPEX / 容错 / 运维 / 尾延迟
• 当"部署环境与方式"改变，这些量里哪一个成为绑定的主导变量会迁移——我们称约束迁移（constraint migration）
• 潜在变化 "能源瓶颈转移：从 PUE 到有电可用 Power Availability"；"部署速度即 ROI"
• 变的只是问题瓶颈所在，科学方法依旧

约束迁移示意：主导变量随阶段漂移

• 关键：主导变量随环境漂移，但建模 + 约束迁移的工具箱不变

太空数据中心：把"变"推到极致（一）

• 散热供电主次对调：地面 PUE 的敌人是散热；太空里辐射散热"免费"且稳定无腐蚀，但必须自带太阳能阵+电池，供电成绝对瓶颈
• 容错回退到"极冗余 + 可丢弃"：地面 Google 是"让故障发生、快速恢复"（人能去换）；太空去不了人，逻辑回退到与微软 Natick 海底一脉相承但更极端——设计上就不需要维修
• CAPEX 单位从 $/W 变 $/kg：星舰若复用成功，把"一次性航天"变"流水线制造"，与 CUBE 5.0"靠标准生产摊薄成本"是同一逻辑，工厂只是从东莞搬到发射场

太空数据中心（二）：OPEX、尾延迟与新永恒三角

• OPEX 里"人"直接归零，挪进 CAPEX：无现场巡检/运维，省下的 OPEX 变成"极冗余+在轨自重构+保险"——也顺带回答"智能运维替代人力"的灰色地带：太空是架构上就不需要人力
• 尾延迟从"网络拥塞尾"变"轨道力学尾"：天地往返同步轨道 ~250ms，但星间编队内部是真空光速、无拥塞极低延迟；新尾巴是"可见窗口 / 星间切换 / 辐射单粒子翻转"
• 新永恒三角：质量 功率 辐射容限 自主：要长寿命就辐射加固(增重)，要减重就牺牲冗余，要自主就更复杂在轨软件——仍是"没有免费午餐"

回到课堂：元方法不变

• TCO = CapEx + OpEx 永远成立，只是各自构成会变
• 容错 = 冗余 + 软件兜底：硬件故障不可避免，软件必须兜底
• 尾延迟 = 物理硬下限：Jeff Dean 延迟表是地面版注脚，太空版换来源不换形式
• 资源置换（无免费午餐）：地面 带宽延迟一致性 ⇄ 太空 质量功率辐射容限
• 一句话：环境/方式一变，主导约束就迁移，但工具箱不动；从芯片 Scale-up，到国家算力网，再到太空，只是同一逻辑的尺度拉伸

能源即货币

• 金句：“能源才是真正的货币”——在 AI 时代，电力配额 ≈ 算力配额
• 社会约束：全美首次出现市民公投永久禁建数据中心；社区对耗水耗电的抵触在上升
• 资本视角：市场终于开始“算电费”，AI 股因电力预期波动
• 呼应前文“新护城河 = 电力准入 + 部署速度 + 垂直整合”

与现有液冷 / PUE 衔接：从“把电用好”到“把电拿到”

• 本课前面已用大量篇幅讲 PUE 与液冷——那是“把电用好”
• 本节补的是“把电拿到”：瓶颈从 PUE/散热，转向电力准入与并网时延
• 二者一体：液冷解决“热”，电力解决“源”；缺任一半，机器都转不起来
• 衔接：下节从“钱”的角度，看这台大机器的成本与周期

小结：电力决定部署节奏与 ROI

• 供电已成 AI 数据中心的第一硬约束，与芯片、散热并列且更前置
• 解法组合：锁定电力 + 绿电布局 + 新型能源（核/水/光）+ 液冷提效
• 闭环回课堂讨论：认同“电力准入取代芯片采购成为核心竞争力”吗？背后还有哪些战略机遇？
• 思政延伸见下节：能源自主与算力自主，是同一盘棋

集中使用和成本优势

历史和现状
平台软件与负载特性
基础硬件与设计取舍
供电和冷却
集中供能和效率优势
电力约束与新型能源供给
集中使用和成本优势
集中运维挑战

TCO框架总览

TCO = CapEx + OpEx

• CapEx：
  • 数据中心建设（$7–13/W）
  • 服务器/网络/存储采购
• OpEx：
  • 电费（PUE > 1 部分）
  • 运维、维修、人力
• 折旧周期：
  • 数据中心：12–15年
  • 服务器：3–4年

CapEx 建模要点

提示：成本按**临界功率（Critical Power）**归一化，便于横向对比。

OpEx 建模要点

案例A – 传统企业DC

• 配置：
  • 标准服务器 $5000, 340 W
  • PUE = 1.5, 电价 6.7¢/kWh
• TCO 占比：
  • 服务器采购：62%
  • 数据中心折旧：17%
  • 电费：7%
• 结论：服务器贵、利用率低 → 云迁移潜力大

案例B – 高功耗低成本服务器

• 配置：
  • 高密服务器 $2000, 600 W
  • 电价 10¢/kWh
• TCO 占比：
  • 电费：19%
  • 数据中心：44%
  • 服务器：36%
• 结论：基础设施成本反超硬件，需极致PUE

案例C – 半满载数据中心

• 现实场景：
  • 预留成长空间 → 50% 功率利用率
• 影响：
  • CapEx & OpEx 按 1/利用率 放大
  • DC成本占比 75%
• 启示：
  • 功率封顶 + 动态调度可显著提升实际利用率

云成本模型对比

• 结论：云的经济性 = 利用率 × 规模效应

小结与启示

• TCO 是 WSC 设计核心指标；硬件≠唯一焦点
• 利用率是隐藏杠杆：
  • 50% → 成本翻倍
• PUE & 电价 在高功耗场景下占主导
• 云模式 通过分时复用与规模经济实现成本优势
• 未来方向：
  • 动态功率封顶
  • 碳价纳入TCO（CUE）
  • 加速器NRE成本模型优化

延伸思考

• 多云
  • BAT新增机柜主要用于云承载，占比达60%-80%
  • 从小规模单中心向行业/区域大规模多中心、跨行业/区域中心演进
• 东数西算
  • 呈现由中心向周边转移趋势，未来也将由东部向西部迁移

算力经济学：当算力成为资本故事

• 前面谈了“电”，这里谈“钱”：AI 算力已成万亿美元级的资本故事
• 两条必须分清的线：真实需求 vs 投资周期 / 泡沫叙事
• 本节采用理性研判 + 思政视角：不盲目唱多，也不简单唱空
• 主线：资本周期 → 闲置悖论 → 自主可控（思政）→ 系统组织能力（思政）→ 理性结论

泡沫论与周期信号

• OpenAI 相关算力协议规模超 1 万亿美元；测算需 20 GW 电力 ≈ 20 座核电站
• 警示信号：有分析称当前 AI 泡沫规模约为互联网泡沫的 17 倍；MIT 调研称 95% 企业 AI 项目无利润
• 贝恩测算：到 2030 年全球 AI 算力或缺 50 GW 电力（≈50 座核电站）——需求叙事与投资叙事并存
• 资本结构信号：英伟达对 AI 初创的直接投资占其营收 67%（朗讯当年 24%）——循环融资引预警

闲置率悖论：建了，却用不上

• 摩根大通报告称：中国多达 80% 的数据中心可能处于闲置
• “利用率”有五种口径：上架率 / 开机率 / GPU 利用率 / 有效训练利用率 / 商业利用率——口径不同，结论迥异
• 据浪潮测算，平均算力使用率约 30%；关键区分：纸面算力 vs 有效算力
• 结论：看算力不能只看“装机”，要看“真正跑起来、产生价值的那部分”

为什么“用不上”：供电、错配与集中度

• 供电瓶颈（呼应上一节电力约束）：成排 H100 因插不上电而积灰
• 需求错配：训练中心化、推理分布化；重训练轻推理，导致部分资源错配
• 有效利用率低：任务编排、故障恢复、冷热不均拉低实际产出
• 结论：闲置不是“算力无用”，而是系统组织与能源约束没跟上纸面扩张

自主可控：不受制于人的底层逻辑

• 现实压力：先进 AI 芯片出口限制持续收紧（有报道称英伟达在亚洲可授权客户已被砍掉超一半）
• 底层逻辑：关键算力不能“卡脖子”——自主可控不是口号，是供应链安全的必答题
• 进展举例（看趋势，非炫技）：国产 AI 芯片在部分大模型训练中已形成规模化替代；国产 CPU 走向高核高线程（如 128 核 / 512 线程）

国家统筹：全国一体化算力网

• 单点建设易重复、易闲置；国家统筹把分散算力组织成“一台大计算机”
• “东数西算”八大枢纽直接投资超 435 亿元（2024 新华社）；算力由东部向西部、由中心向周边迁移
• 这正是新型举国体制在数据要素上的体现：用统筹对抗碎片化
• 呼应前面超节点讨论的元命题三：分散的资源、集约的调度——从芯片到国家，逻辑一脉相承

系统组织能力：从单点到生态

• 自主不等于“每颗都自研”，而是系统组织能力：把芯片、软件栈、集群、能源、调度拧成一股绳
• 趋势：国产算力从“秀单卡”走向“建体系、组生态”——单点突破 → 体系化进化
• 教学启示：技术竞争最终是系统工程与组织能力的竞争，而非单点指标

理性研判：需求真实 vs 投资过热

• 真实需求一面：推理爆发、长上下文、Agent 化，算力消耗是实打实的
• 投资过热一面：资本开支周期、闲置率、循环融资，提示需防“为建而建”
• 平衡判断：需求方向没错，节奏与结构要稳——能源（电力约束一节）、利用率、自主三者共同决定 ROI
• 回看：精明的投资人是否会集体做傻事？（课堂讨论原题，留给大家）

小结：算力的“经济—能源—自主”三角

• 算力不是孤立的技术问题，而是 经济（钱）—能源（电）—自主（安全） 三角
• 泡沫警示我们算清账；能源约束（电力约束一节）提醒我们看得远；自主可控（思政）托住底线
• 三者共同指向：算力的竞争力 = 系统组织能力 × 真实利用率
• 下一节进入“国家算力网”，看这三角如何在国家尺度落地

国家算力网

从 Datacenters as a Computer

到 Nation as a Computer?

“东数西算”八大国家枢纽节点直接投资超过435亿元, 2024-08-29 14:02 来源：新华社

算力服务化

算力规模情况

算力规模持续扩大，缩小与世界先进国家差距。

Source: https://www.36kr.com/p/1964095815756041

算力规模（2026 数据）：从“装机”到“可用”

• 2020 基线（见上页）：全国算力总规模约 135 EFlops，全球占比 ~31%
• 2025–2026 态势：智能算力成为增量主体，区域格局重塑——湖北算力达 18,645 P（中部第一）
• 关键转变：从“有多少算力”转向“有效算力有多少、绿不绿、用没用起来”（呼应算力经济学一节的闲置率）

区域新进展：宜昌“汉数宜算”冲刺第九枢纽

• 湖北算力 18,645 P（中部第一）；宜昌清洁能源装机占比 >94%
• 三峡东岳庙数据中心 PUE<1.2、年用电 26,575 万千瓦时全清洁水电
• 武汉—宜昌 400G 全光网延迟 <5 ms，“绿电 + 低延迟”兼得
• 意义：东数西算从“八大枢纽”向第九个枢纽扩展，验证“算力跟着绿电走”

从 Datacenters as a Computer 到 Nation as a Computer

• 国家算力网把跨地域、跨主体的算力，组织成可按需调度的“一台大计算机”
• 与前面超节点讨论的元命题三呼应：分散的资源、集约的调度——芯片层的 Scale-up/Scale-out 之争，在国家层重演
• 约束同构：国家算力网也受**电力（电力约束一节）、利用率（算力经济学一节）、自主（思政）**三角约束
• 收束：数据中心技术的尽头，是“把全世界的算力，组织成一台更好用的大机器”

集中运维挑战

历史和现状
平台软件与负载特性
基础硬件与设计取舍
供电和冷却
集中供能和效率优势
电力约束与新型能源供给
集中使用和成本优势
集中运维挑战

新建机房的第一年

~0.5 overheating (power down most machines in <5 mins, ~1-2 days to recover)
~1 PDU failure (~500-1000 machines suddenly disappear, ~6 hours to come back)
~1 rack-move (plenty of warning, ~500-1000 machines powered down, ~6 hours)
~1 network rewiring (rolling ~5% of machines down over 2-day span)
~20 rack failures (40-80 machines instantly disappear, 1-6 hours to get back)
~5 racks go wonky (40-80 machines see 50% packetloss)
~8 network maintenances (4 might cause ~30-minute random connectivity losses)
~12 router reloads (takes out DNS and external vips for a couple minutes)
~3 router failures (have to immediately pull traffic for an hour)
~dozens of minor 30-second blips for dns
~1000 individual machine failures
~thousands of hard drive failures
slow disks, bad memory, misconfigured machines, flaky machines, etc.

Source: Software Engineering Advice from Building Large-Scale Distributed Systems
Source: Designs, Lessons and Advice from Building Large Distributed Systems, LADIS 2009

为什么硬件容错不够？

• 规模效应：
  • 10,000台MTBF=30年的机器 → 每天1台故障
• 软件容错必要性：
  • 低成本硬件 + 软件冗余 → 更高性价比
  • 快速迭代、在线升级、无需停机维护
• 结论：“硬件故障不可避免，软件必须兜底”

故障严重性分级

目标：将故障尽可能屏蔽或降级

故障来源分布（Google实例）

• 软件错误：~30%
• 配置错误：~30%
• 人为操作：~20%
• 硬件故障：~15%
• 其他：~5%

启示：“硬件不是主要敌人，人和软件才是”

机器级故障统计（Google）

• 重启频率：
  • 平均：每月1次（含计划重启）
  • 非计划：每2年1次（成熟机器）
• 宕机时间：
  • 中位数：3分钟
  • 99%：＜2天
• 可用性：99.93%（含计划维护）

故障根因举例

结论：“故障是随机且常态的，必须假设它会发生”

故障预测的挑战

• 磁盘SMART：
  • 可预测群体寿命，个体准确率不足
• 内存CECC：
  • 可纠正错误 → 提前退役页
• 权衡：
  • 误报成本（更换、下线） vs 漏报风险（宕机）
• Google策略：
  • “让故障发生，快速恢复” 优于 “提前过度干预”

修复流程概览

• 检测：健康监控代理 + 时序数据库
• 诊断：机器学习模型推荐故障部件
• 调度：批量维修，每日巡检
• 执行：现场技师更换部件或整机
• 验证：自动 burn-in 测试后上线

Google修复系统示例

• System Health Infrastructure：
  • 每台机器 >100 传感器指标
  • 故障预测准确率 >90%
• 维修优化：
  • 批量维修 → 降低单次成本
  • 年维修成本 ≈ 0.75% 硬件成本
• 对比：
  • 传统企业 4小时响应：年费 10–15%
  • Google 24–48小时：年费 <1%

故障容忍 vs 隐藏

• N+1 到 2N 冗余：
  • 容量冗余也提供容错
• 风险：
  • 外部看不到内部冗余耗尽
  • “从健康到崩溃只隔一次故障”
• 解决：
  • 实时冗余度监控
  • 故障预算（Error Budget） 与 SRE 结合

故障域与调度

• 故障域粒度：
  • 机器 → 机架 → 电源 → 网络 → 楼宇
• 调度策略：
  • Borg 跨域分散副本
  • 降低相关故障概率
• 示例：
  • 同一电源域不超过 2/3 副本
  • 网络升级时保留至少 1 副本可用

跨域延迟挑战

Notes

$1 ns = 10^{-9} seconds$
$1 us = 10^{-6} seconds = 1,000 ns$
$1 ms = 10^{-3} seconds = 1,000 us = 1,000,000 ns$

Credit

By Jeff Dean: http://research.google.com/people/jeff/, Originally by Peter Norvig: http://norvig.com/21-days.html#answers

Source: https://colin-scott.github.io/personal_website/research/interactive_latency.html

Source: http://stereobooster.github.io/latency-numbers-every-programmer-should-know

https://www.servethehome.com/compute-express-link-cxl-latency-how-much-is-added-at-hc34/

前沿趋势

• AI 辅助诊断：
  • 日志 + 指标 → 故障根因定位
• 自愈系统：
  • 自动隔离 + 重启 + 数据重建
• 硬件即插即用：
  • 零配置上线、自动 burn-in
• 碳感知容错：
  • 优先在绿色能源充足区域重建副本

小结

• 故障是WSC的“常态变量”，不是异常
• 软件容错 > 硬件容错：成本、灵活性双赢
• 预测有用，但快速恢复更关键
• 规模使批量维修成为可能，大幅降低单位成本
• 可见性 + 自动化 是容错体系核心

讨论与展望

• 讨论题：
  • 如何在自主硬件上构建类似Google的故障预测系统？
    • 天池云原生比赛
  • 故障预算如何与SRE SLA结合？
• 展望：
  • “零人工干预”自愈数据中心
  • 故障注入即服务（FiaaS） 成为标配
  • 碳感知调度 与容错策略融合

主要内容回顾

• 数据中心技术的基础知识：起源、定义、趋势
• 数据中心系统的组成要素：软件、硬件、基建
• 数据中心运营的关键问题：能效、成本、运维

后续讲座内容

• 数据中心专题讲座与实践

  • 对象存储技术：扩展性、尾延迟、预测性、负载特征……
  • 数据中心先进存储技术：OC-SSD、ZNS-SSD……
  • 数据中心故障预测技术：磁盘故障预测……
  • 数据中心可靠编码技术：纠删码、再生码、大条带……

研讨与实践

• 选读论文，准备下个月研讨
  • 读前提示，请务必落实主要引用文献，精辟阐述研究背景
• 熟悉实验内容，准备以日常赛促实践
  • 日常赛作为入门学习，学有余力可以遍寻各大竞赛平台PVP
  • 数据科学挑战赛：内存故障预测