近日，田渊栋等人在 arXiv 上发表了一篇题为《When is a Convolutional Filter Easy To Learn?》的论文，分析了用于学习带有 ReLU 激活函数的卷积滤波器的（随机）梯度下降算法的收敛，整个过程没有依赖输出分布的任何特定形式，论证也只用到了 ReLU 定义，这与先前受限于标准高斯分布的工作相反。同时这一理论也证明了深度神经网络中两阶段的学习率策略。

深度卷积神经网络（CNN）已经在很多应用中展现出了人工智能的较佳水平，如计算机视觉、自然语言处理和围棋等复杂游戏。尽管目标函数具有非常高的非凸性，简单的一阶算法（如随机梯度下降及其变体）通常可以成功地训练这样的网络。另一方面，卷积神经网络的成功从优化角度来考虑仍然是难以捉摸的。

当输入分布不受约束时，已有的结果大多数为负，如 3 节点神经网络学习的硬度（Blum & Rivest，1989）或非重叠卷积滤波器（Brutzkus & Globerson，2017）。较近，Shamir 等人表明学习单层全连接神经网络对于某些特定的输入分布来说是非常困难的。

这些负面结果告诉我们，为了解释 SGD 学习神经网络的成功，还需要对于输入分布做出更强假设。较近的一系列研究（Tian，2017；Brutzkus & Globerson，2017；Li & Yuan，2017；Soltanolkotabi，2017；Zhong 等人，2017）假设输入分布为标准高斯 N（0，I），并展示了（随机）梯度下降能够在多项式时间内得到具有 ReLU 激活的神经网络。