阅读笔记 | Neural Network Meets DCN: Traffic-driven Topology Adaptation with Deep Learning
warning: 这篇文章距离上次修改已过533天,其中的内容可能已经有所变动。
info: Wang M , Cui Y , Xiao S ,et al.Neural Network Meets DCN: Traffic-driven Topology Adaptation with Deep Learning[C]//Abstracts of the 2018 ACM International Conference.ACM, 2018.DOI:10.1145/3219617.3219656.
1.1 背景
传统有线数据中心常采用的静态网络拓扑结构日益难以应对新情况新挑战,引入OCS或无线通信组件构建可重构拓扑的DCN可以解决问题,但其实现存在问题与挑战。
注:OCS内通过电机控制镜片偏转来实现光路控制,进而实现光路交换。文章中的可配置拓扑是OCS或无线通信组件,其余有线拓扑结构是固定不变的(例如固定的Fat-tree)。
1.2 现有方法的缺点
仅考虑了局部性的OCS的端口需求来进行拓扑配置,未将OCS与有线网络拓扑间的全局性的相互作用,而且对这种全局性作用的考虑是有益的。
全局交互模型通常需要解决ILP问题,其通常是NP难的,而启发式方法得到的拓扑配置可能与最优解相去甚远。
1.3 要解决的问题
使用ANN来学习DCN中的流量模式,并学习流量与拓扑配置间的全局相互作用,建立起两者的映射关系模型。
模型输入:流量需求矩阵
模型输出:拓扑配置矩阵
1.3 文章的主要工作
文章主要提出了一种名为xWeaver的流量信息驱动的深度学习系统,用于DCN的中OCS或无线通信组件的动态拓扑配置。其中,系统分为三大模块:
- 评分模块:将流量和拓扑分离卷积提取特征,构建SCNN为给定的流量-拓扑对提供快速自定义指标的性能评分
- 标记模块:将历史流量轨迹与对应的高性能拓扑间进行关联标记,供给模型离线训练所用的数据集
- 映射模块:构建FPNN用于学习流量和拓扑间带约束的高位全局映射关系,训练好后可用于在线拓扑推断。其中输入层使用了评分模块训练好的T-SCNN用于特征提取,输出层附加了CRF模块来利用先验知识纠正拓扑输出。
此外研究者对系统进行模拟,并搭建了基于OCS的实验平台,展示了其优于传统方案更高的流量性能,验证了系统的学习效果。
1.4 个人思考
- 谷歌的数据中心网络Jupiter在去年发表了一篇文章,介绍了其数据中心利用OCS实现软件定义网络,实现动态配置拓扑的功能,取得了相当的成效。可见本篇18年发表的文章对于DCN的SDN之路所具有的的影响力。
- 本篇文章展现了研究者对于流量到拓扑的建模过程,这种抽象建模能力对于研究工作是非常值得学习和培养的。
1.5 延伸阅读
- Farrington, Nathan, George Porter, Sivasankar Radhakrishnan, Hamid Hajabdolali Bazzaz, Vikram Subramanya, Yeshaiahu Fainman, George Papen, and Amin Vahdat. “Helios: A Hybrid Electrical/Optical Switch Architecture for Modular Data Centers,” 339–50. New Delhi India: ACM, 2010. https://doi.org/10.1145/1851182.1851223.
- Hong, Chi-Yao, Srikanth Kandula, Ratul Mahajan, Ming Zhang, Vijay Gill, Mohan Nanduri, and Roger Wattenhofer. “Achieving High Utilization with Software-Driven WAN,” 15–26. Hong Kong China: ACM, 2013. https://doi.org/10.1145/2486001.2486012.
- Poutievski, Leon, Omid Mashayekhi, Joon Ong, Arjun Singh, Mukarram Tariq, Rui Wang, Jianan Zhang, et al. “Jupiter Evolving: Transforming Google’s Datacenter Network via Optical Circuit Switches and Software-Defined Networking,” 66–85. Amsterdam Netherlands: ACM, 2022. https://doi.org/10.1145/3544216.3544265.