1.1 背景

深度神经网络对计算和存储资源需求巨大，这给它们在边缘设备上的部署带来困难。最近，轻量级深度学习受到了极大关注，其目的是通过网络剪枝、低秩近似(LRA)、权重量化和网络架构转换(NAT)等压缩大型DNN模型。有工作基于矩阵逼近理论近似相对更低秩和稀疏的DNN模型的权重矩阵，从而得到一个轻量的紧凑模型。

1.1 背景

在计算机视觉应用中,移动设备由于计算资源的限制往往需要将卷积神经网络(CNN)的推理任务转移到云端完成。但是除了给云端带来更多的网络负载之外,这种方法还会使那些需要低延迟的应用变得不可行。

1.1 背景

深度神经网络(DNN)是支持移动智能应用的关键技术，但在移动设备上运行DNN存在计算资源有限的挑战。传统的云计算辅助的DNN推理存在明显的延迟问题。边缘计算作为一种新兴的计算模式，可以用于支持实时的DNN推理。

1.1 背景

随着深度学习在各种任务中的广泛应用,将模型部署到边缘设备进行推理非常重要。但是直接在资源受限的边缘设备上使用复杂的深度学习模型进行推理可能会很慢。因此,通过分布式推理来加速非常必要。

这篇博文由浅入深，从边缘计算和深度学习的重要性开始论述，接着介绍了边缘计算的两个主要范式，并以COSMOS智能路口例子引出了边缘深度学习的五项基本技术，最后罗列了边缘深度学习目前存在的问题和挑战。