在探讨核方法的本质之前,想先谈论一下机器学习中的坐标变换coordinate transformation。 … 继续阅读 浅谈神经网络的坐标变换
作者:2040179500@qq.com
微分熵differential entropy与香农熵entropy
根据前面对于熵的热力学定义与信息学定义,都统一归纳为 $H = -\sum\limits_{k}p_{k}lo… 继续阅读 微分熵differential entropy与香农熵entropy
最大熵与最大似然,以及KL距离。
DNN中最常使用的离散数值优化目标,莫过于交差熵。两个分布p,q的交差熵,与KL距离实际上是同一回事。 $-\… 继续阅读 最大熵与最大似然,以及KL距离。
深度学习知识体系图
深度学习体系综述: 热力统计学的一系列限制条件,推导出能量模型Boltamann分布,进而构建起了大部分DL模… 继续阅读 深度学习知识体系图
信息瓶颈:深度学习的底层原理
序言 所有机器学习的原理,本质上都是对同一段信息在不同空间内的转换、过滤、重新表征,最终解码出一段可读信息。为… 继续阅读 信息瓶颈:深度学习的底层原理
熵、softmax以及泛化误差。
从熵的最原始定义出发,解释softmax函数以及泛化误差公式背后的原理,并分析机器学习为什么要将这些限制条件视… 继续阅读 熵、softmax以及泛化误差。