2018年,100G数据中心以太网市场如火如荼,是各大光模块厂商争夺的主战场。随着各大厂商的1000G系列产品日益成熟,出货量不断上升。这些产品都是基于III-V传统的民族解决方案也有基于硅光技术的生力军。
100G技术门槛已经跨越,成为数据中心强劲需求的主流和首选,不再是高端光模块的同义词。技术进步日新月异。为了满足大型数据中心不断增长的带宽需求,我们把希望放在了400G光模块上。400G业界普遍认为,光模块是一种能有效降低带宽成本的解决方案。
前不久,CAICT预计中国信通院将发布《2018年数据中心白皮书》 2019 年400G大规模部署光模块。
一、光模块市场需求旺盛
据 ODCC 统计,截止 2017 年底,微模块数据中心的部署量已经从 2013 年的 300 套增长到 4500 套,相当于 5 万多个 20A预模块数据中心完成机架规模 9100 个 40A 整机柜的部署相当于1.8 万个 20A 标准机柜、模块化数据中心已完成约定 7 部署一万个标准机架,超过容纳服务器的能力 100 万台。运行 6 安全稳定,年平均PUE 下降 0.2-0.4.降低运营成本 20%-40%,节能降支效果非常明显,对数据中心产业模块化、绿色化具有很强的带动和引领作用。
数据中心的不断建设和改造刺激了光模块的市场需求,光模块的市场规模不断扩大。40G 和 100G 应用逐渐广泛,4000G加快研发量产。光模块作为数据中心交换机的互联技术,经历了 10G->40G->100G 目前数据中心新建或改造的应用较多 40G 和 100G光模块。同时,为了抓住市场机遇,各厂商加快400G光模块的研发速度。
(图为Finisar展示400G光模块)
在 2018 年美国 OFC 光纤通信展包括海信宽带、光迅科技Finisar、Mellanox、徐创科技等,超过10项 家公司对400G现场展示了光模块。目前,一些公司已经将4000G具有量产能力的光模块送样试验。预计 2019 年400G大规模部署光模块。
二、400G光模块市场前景
400作为数据中心G目前,光模块的两种主流包装形式是OSFP和QSFP-DD。OSFP和QSFP-DD在电接口上还提供了8个传输通道,支持25个GBaud波特率的PAM4信号(50Gb/s),所以可以实现8x50Gb/s=400Gb/s信号传输。
OSFP的尺寸比QSFP-DD更宽更长,所以占用了更多的交换机PCB表面面积。交换机每1个U面板上可布置,而的则可以。因此,在交换机带宽能力方面,选择QSFP-DD多出4个端口。还有与QSFP和QSFP28的。
从这两点来看,QSFP-DD未来似乎更加光明。然而,尺寸的尺寸QSFP-DD包装形式对模块的设计要求较高,对模块内的设备包装、模块的性能、功耗和良率提出了更高的要求,可能导致模块。目前,不同的客户群体需要两个包装模块,很难看到哪个包装更具绝对优势。
(图为万兆通400G QSFP28 CWDM4光模块)
在未来的400G光模块市场,谁能率先抢滩登陆,谁就能抓住机遇,先入为主。GQSFP-DD和OSFP模块系列产品的开发已经进行。相信在不久的将来,400G光模块将迎来温暖的春天。
最近,思科公司为此Nexus以太网交换机系列增加400GbE该模型将在今年内进行现场测试,预计明年上半年正式发布。博通还发布了4000G PAM-4PHY芯片BCM87400。看来,400G时代即将到来。
第一,最新的思科Nexus400G交换机
思科数据中心业务总经理VP Roland Acra表示,思科的400G交换机不仅为客户提供了更高的速度,而且为客户带来了强大的功能。包括超快策略、分段和白名单、数据包实时视觉、数据流和事件、大数据和机器学习工作负荷的智能缓冲、按需优先调度关键流量等功能,以满足现代数据驱动工作负荷和云环境的需要。这些400G型号也延续了Nexus交换机的超快策略,分隔化,实时数据包可视性等诸多特性。
,1RU,16端口交换机非常适合应用中心架构ACI脊型应用;
,1RU,28端口100GbE和8端口400GbE,支持脊叶结构的叶形应用;
,4RU,支持128个端口100个插槽GbE或者32端口400GbE;
,1RU,32端口 10/40/100/400GbE,和扇出的2x200GbE和4x50/100GbE;
新推出的思科 Nexus 交换机客户使用 400G 提供了最全面且可定制的方法。:
:全新的 400G 交换机用于提供 Nexus 交换机产品组合赖以成名的强大功能,并以全线速运行。该功能包括用于提供更深入的应用可视化、实时分析和故障排除能力的高级遥测功能,以及专门针对横向扩展应用流量进行调整的智能缓存功能。
此外,客户还可以将交换机与思科领先的以应用为中心的基础设施(ACI)、Tetration 和网络保障引擎(Cisco Network Assurance Engine)相集成。这将帮助他们进一步提高应用敏捷性,提高数据中心安全性和自动化能力,将 400G 功能带入基于意图的网络。
:灵活的部署选项能够支持各种规模的公司轻松满足其特定需求和工作负载。无论是互联网公司,高密度运行或基于意图的网络,亦或是专门使用的应用,客户都可以选择最适合的选项以满足他们的需求。
: 思科与合作伙伴及第三方机构积极合作,推动 400G 实现标准化和可互操作性。思科在最近的 400G 行业互操作性测试中,与互联和测试解决方案合作伙伴合作,针对 400G 展示了经济高效的 100G lambda 光学模块。
思科将在 2018 年 12 月开始与客户进行早期现场试验(EFT),并为 IT 机构提供规划时间以尽快启动试验。全新的思科 Nexus 交换机将于 2019 年上半年全面上市。
二、博通400G PAM-4 PHY芯片
同时,继之前宣布其12.8Tbps TomaHawk 3 400GbE交换芯片进入全面量产后,又于11月8日推出了其针对数据中心和云架构的7nm工艺PHY芯片BCM87400。该芯片基于博通最新的7nm Centenario 112G PAM-4 DSP平台,提供第一流的400G 8:4 gearbox和低功耗性能,确保超级数据中心和云网络的400GbE 链路部署。
BCM87400系列器件具有业界最高性能和最低功耗的单芯片400GbE PAM4 PHY收发器平台能力,在光学链路中可驱动基于56Gbaud的112 Gb/s PAM4四通道。在400GbE模式中,BCM87400可将系统端的53 Gb/s (基于26-Gbaud PAM4)八通道转化为106 Gb/s(基于53Gbaud PAM4)四通道。BCM87400的出现充实了市场领先的PAM4 PHY技术平台,并率先向业界演示基于7nm CMOS工艺运作的400G PAM-4 PHY收发器有效案例。
1、“业界领先”的DSP性能和功率,使得DR4/FR4光模块满足IEEE标准和MSA规范。
2、支持传统交换机应用的DR/FR光模块
3、客户侧接口符合CEI-28G / 56G LR规范,可支持长距离(LR)通道
4、符合IEEE 802.3bs标准KP4和端到端FEC旁路运作
5、一种可支持多个光学前端,例如EMLDML和硅光子的PAM4架构
6、采用28-Gbaud PAM4 和NRZ SerDes架构,可优化博通交换机ASICs和ASSPs的互操作性。
1、超大云数据中心网络
2、有线基础设施
3、400Gb/s QSFP-DD/PSFP光模块
网络作为HPC系统主要组成部分,其组网方式、时延和带宽都决定着系统性能,针对HPC方案,笔者总结梳理了“电子书,目录如下:
《高性能计算(HPC)技术、方案和行业全面解析》
第1章 HPC行业和市场概述 7
1.1 HPC主要场景和分类 9
1.2 HPC系统主要组成 11
1.3 HPC IO业务模型 12
1.4 HPC系统架构演变 13
1.5 HPC市场的主流玩家 14
1.5.1 HPC存储厂商分类 15
1.5.2 Burst Buffer介绍 15
1.5.3 Panasas和Seagate介绍 17
1.5.4 主流并行文件系统 17
1.6 HPC对存储的主要诉求 19
1.7 HPC系统的衡量标准 20
1.8 HPC未来的技术趋势 22
第2章 HPC场景的存储形态 23
2.1 HPC为何是NAS存储 23
2.2 本地存储引入的问题 23
2.3 HPC主要的存储形态 25
第3章 Lustre文件系统解析 26
3.1 Lustre文件系统概述 26
3.2 Intel Lustre企业版开源策略 26
3.3 Lustre文件系统架构 27
3.4 Lustre Stripe切片技术 30
3.5 Lustre 的IO性能特征 34
3.5.1 写性能优于读性能 34
3.5.2 大文件性能表现好 35
3.5.3 小文件性能表现差 35
3.6 Lustre小文件优化 36
3.7 Lustre性能优化最佳实践 38
第4章 GPFS文件系统解析 39
4.1 GPFS文件系统概述 39
4.1.1 GPFS文件系统架构 40
4.1.2 GPFS文件系统逻辑架构 41
4.2 GPFS文件系统对象 42
4.2.1 网络共享磁盘NSD 42
4.2.2 集群节点及客户端节点 43
4.2.3 仲裁Node和Tiebreaker磁盘 43
4.3 GPFS集群仲裁机制 43
4.3.1 仲裁节点机制 44
4.3.2 仲裁磁盘机制 44
4.4 GPFS Failure Group失效组 44
4.5 GPFS文件系统伸缩性 45
4.6 GPFS文件系统负载均衡 45
第5章 Spectrum Scale架构详解 46
5.1 Spectrum Scale云集成 48
5.2 Spectrum Scale存储服务 49
5.3 Spectrum Scale交付模型 50
5.4 Spectrum Scale架构分类 51
5.5 Spectrum Scale企业存储特性 52
5.5.1 Spectrum Scale数据分级至云 52
5.5.2 Spectrum Scale RAID技术 53
5.5.3 Spectrum Scale Active文件管理 53
5.5.4 Spectrum Scale快照技术 53
5.5.5 Spectrum Scale Cache加速 54
5.5.6 Spectrum Scale分级存储管理 55
5.5.7 Spectrum Scale文件和对象访问 56
5.5.8 Spectrum Scale加密和销毁 57
5.6 Spectrum Scale虚拟化部署 57
5.7 Spectrum Scale LTFS带库技术 58
5.8 Elastic Storage Server 61
第6章 BeeGFS文件系统解析 62
6.1 ThinkParQ介绍 62
6.2 BeeGFS操作系统兼容性 63
6.3 BeeGFS系统架构 63
6.3.1 管理服务器介绍 64
6.3.2 元数据服务器介绍 65
6.3.3 对象存储服务介绍 66
6.3.4 文件系统客户端 67
6.4 BeeGFS安装和设置 68
6.5 BeeGFS调优和配置 69
6.6 BeeOND Burst Buffer 69
6.7 BeeGFS配额特性 72
6.8 BeeGFS的Buddy镜像 73
6.9 BeeGFS支持API概述 75
6.10 BeeGFS系统配置要求 75
6.10.1 存储服务器配置 76
6.10.2 元数据服务器配置 77
6.10.3 客户端服务器配置 77
6.10.4 管理守护进程配置 78
6.11 BeeGFS支持的网络类型 78
6.12 通过NAS导出BeeGFS 78
6.13 BeeGFS生态和合作 79
第7章 主流HPC产品和解决方案 82
7.1 DDN存储解决方案和产品 82
7.1.1 DDN S2A平台和产品 83
7.1.2 DDN SFA平台和产品 85
7.1.3 DDN WOS平台和产品 86
7.1.4 DDN Scaler系列网关产品 87
7.1.5 Burst Buffer加速产品 91
7.1.6 FlashScale全闪存产品 93
7.2 希捷存储解决方案和产品 96
7.2.1 ClusterStor产品架构 99
7.2.2 ClusterStor Manager介绍 100
7.2.3 ClusterStor配置扩展方式 101
7.2.4 ClusterStor存储软件集成架构 104
第8章 Burst Buffer技术和产品分析 107
8.1 Cray DataWarp技术和产品 107
8.1.1 Burst Buffer场景匹配 109
8.1.2 Burst Buffer技术架构 110
8.1.3 Cray技术演进蓝图 113
8.1.4 Cray HPC方案和产品 114
8.2 DDN Burst Buffer产品 117
8.2.1 IME产品架构 117
8.2.2 IME14KX产品介绍 120
8.2.3 IME240产品介绍 121
8.3 EMC Burst Buffer产品 122
8.3.1 aBBa产品架构 123
8.3.2 aBBa软件堆栈 124
第9章 HPC主流网络和技术分析 126
9.1 InfiniBand技术和基础知识 126
9.1.1 IB技术的发展 126
9.1.2 IB技术的优势 127
9.1.3 IB网络重要概念 129
9.1.4 IB协议堆栈分析 130
9.1.5 IB应用场景分析 134
9.2 InfiniBand技术和架构 135
9.2.1 IB 网络和拓扑组成 135
9.2.2 软件协议栈OFED 139
9.2.3 InfiniBand网络管理 140
9.2.4 并行计算集群能力 141
9.2.5 基于socket网络应用 142
9.2.6 IB对存储协议支持 142
9.2.7 RDMA技术介绍 143
9.3 Mellanox产品分析 143
9.3.1 Infiniband交换机 145
9.3.2 InfiniBand适配器 148
9.3.3 Infiniband路由器和网关设备 149
9.3.4 Infiniband线缆和收发器 150
9.4 InfiniBand和Omni-Path之争 151
9.4.1 Intel True Scale Fabric 软件架构 152
9.4.2 Intel InfiniBand产品家族 154
9.4.3 Intel Omni-Path产品介绍 155
9.4.4 Omni-Path和InfiniBand对比 156
第10章 HPC超算系统排名和评估 160
10.1 TOP500基准介绍和排名规则 162
10.2 Green500基准介绍和排名规则 165
10.3 HPC超算系统其他评估基准 167
10.3.1 GTC-P应用基准 173
10.3.2 Meraculous测试基准 173
10.3.3 MILC测试基准 174
10.3.4 MiniDFT测试基准 174
10.3.5 MiniPIC测试基准 174
10.3.6 PENNANT测试基准 175
10.3.7 SNAP测试基准 175
10.3.8 UMT测试基准 175
10.3.9 Crossroads/N9 DGEMM基准 175
10.3.10 IOR BenchMark基准 176
10.3.11 Mdtest测试基准 176
10.3.12 STREAM测试基准 176
更多关知识请参考“”电子书(请通过“”获取)。
请识别关注公众号,点击获取”电子书资料详情。