摘要：在实践中，几乎总是通过向梯度增加来实现算法，而不是真正改变损失函数。显然这是两种不同的方法。那么，权重衰减是不是总比的正则化更好呢我们还没发现明显更糟的情况，但无论是迁移学习问题例如斯坦福汽车数据集上的的微调还是跌宕起伏的Ada