info: B. Li et al., “Random sketch learning for deep neural networks in edge computing,” Nat Comput Sci, vol. 1, no. 3, pp. 221–228, Mar. 2021, doi: 10.1038/s43588-021-00039-6.
1.1 背景
深度神经网络对计算和存储资源需求巨大，这给它们在边缘设备上的部署带来困难。最近，轻量级深度学习受到了极大关注，其目的是通过网络剪枝、低秩近似(LRA)、权重量化和网络架构转换(NAT)等压缩大型DNN模型。有工作基于矩阵逼近理论近似相对更低秩和稀疏的DNN模型的权重矩阵，从而得到一个轻量的紧凑模型。