2025年2月4日 · 我会使用尽量少的数学符号描述梯度，着重于意义而非计算。一个直观的例子，在机器学习领域有个术语叫「梯度下降」，你可以想象在群山之中，某个山的半山腰有只小兔子 …

梯度（gradient) 的概念 在空间的每一个点都可以确定无限多个方向，一个多元函数在某个点也必然有无限多个方向。因此，导数在这无限多个方向导数中最大的一个（它直接反映了函数在这 …

2018年5月4日 · 自问自答一下吧，我觉得很多人都在过度解释，认为 gradient scaling 从原理上讲不通。但是其实 gradient scaling 是可以正常工作的。实践中没人用 gradient scaling 的原因就 …

2018年2月6日 · Gradient Reversal Layer 梯度下降是最小化目标函数，向负的梯度方向优化就是最大化目标函数。Domain Adaptation by Backpropagation 这个模型有三部分： 绿色（后文用G …

2. 广义梯度近似（Generalized Gradient Approximation, GGA） 总的来说，LDA在电子密度改变较快的体系中表现不佳，那么比较容易想到的改进方法就是将 n(\\mathbf{r}) 的一阶梯度包含进 …

梯度 (Gradient) 偏导数相对于所有自变量的向量。在机器学习中，梯度是模型函数偏导数的向量。梯度指向最高速上升的方向。梯度裁剪 (Gradient Clipping) 在应用梯度值之前先设置其上限。 …

全程为Adaptive Gradient，意思就是，学习参数的更新率要适当地根据每个参数的历史几率调整，怎么调整呢？ 我们把每个参数的历史梯度值给加起来，然后更新率和这个值负相关，这样 …

2023年4月11日 · 卷积神经网络（CNN）的开创性工作可以追溯到 Yann LeCun 在 1998 年发表的论文，论文题目为：“Gradient-based learning applied to document recognition”。这篇论文介 …

2023年5月6日 · 渐变背景 gradient background, 白色背景 white background, 投影阴影 drop shadow, 背光 backlighting, 闪烁的星星 glinting stars, 城市背景 cityscape, 异世界奇幻城市 …

反对认为自监督学习和无监督学习有区别的所有回答。自监督学习（Self-supervised Learning），笼统而言，是对于“损失函数中使用到的监督信息无需人工标注”的训练范式的一 …