标签：解构

无噪音下降路径 考虑一个通用的机器学习场景： 客观存在一个分布$p(\boldsymbol{x},y)$，定义… 继续阅读 从梯度下降中的信噪比分析mini batch的作用

根据前面对于熵的热力学定义与信息学定义，都统一归纳为 $H = -\sum\limits_{k}p_{k}lo… 继续阅读 微分熵differential entropy与香农熵entropy

DNN中最常使用的离散数值优化目标，莫过于交差熵。两个分布p，q的交差熵，与KL距离实际上是同一回事。 $-\… 继续阅读 最大熵与最大似然，以及KL距离。

序言 所有机器学习的原理，本质上都是对同一段信息在不同空间内的转换、过滤、重新表征，最终解码出一段可读信息。为… 继续阅读 信息瓶颈：深度学习的底层原理

从熵的最原始定义出发，解释softmax函数以及泛化误差公式背后的原理，并分析机器学习为什么要将这些限制条件视… 继续阅读 熵、softmax以及泛化误差。