跳至内容

深度学习个人笔记

st的个人博客

  • 首页
  • 解构
  • 笔记
  • 杂谈

浅谈神经网络的坐标变换

发表于2020年5月14日2020年5月15日 作者 2040179500@qq.com

在探讨核方法的本质之前,想先谈论一下机器学习中的坐标变换coordinate transformation。 … 继续阅读 浅谈神经网络的坐标变换

微分熵differential entropy与香农熵entropy

发表于2020年5月14日2020年5月15日 作者 2040179500@qq.com

根据前面对于熵的热力学定义与信息学定义,都统一归纳为 $H = -\sum\limits_{k}p_{k}lo… 继续阅读 微分熵differential entropy与香农熵entropy

最大熵与最大似然,以及KL距离。

发表于2020年5月14日2020年5月15日 作者 2040179500@qq.com

DNN中最常使用的离散数值优化目标,莫过于交差熵。两个分布p,q的交差熵,与KL距离实际上是同一回事。 $-\… 继续阅读 最大熵与最大似然,以及KL距离。

深度学习知识体系图

发表于2020年5月14日2020年5月15日 作者 2040179500@qq.com

深度学习体系综述: 热力统计学的一系列限制条件,推导出能量模型Boltamann分布,进而构建起了大部分DL模… 继续阅读 深度学习知识体系图

信息瓶颈:深度学习的底层原理

发表于2020年5月13日2021年7月11日 作者 2040179500@qq.com

序言 所有机器学习的原理,本质上都是对同一段信息在不同空间内的转换、过滤、重新表征,最终解码出一段可读信息。为… 继续阅读 信息瓶颈:深度学习的底层原理

熵、softmax以及泛化误差。

发表于2020年5月13日2020年5月15日 作者 2040179500@qq.com

从熵的最原始定义出发,解释softmax函数以及泛化误差公式背后的原理,并分析机器学习为什么要将这些限制条件视… 继续阅读 熵、softmax以及泛化误差。

文章导航

上一页< 分页 1 分页 2 分页 3
跳至页脚

目录

  • 人工智能 (6)
  • 信息论与DL (6)
  • 未分类 (1)
  • 深度学习算法 (15)
    • NLP (2)
    • 强化学习 (7)

近期文章

  • Mamba模型解析
  • 主动推断active inference与free energy principle
  • 基于DICE的off-policy estimation评估
  • 《Model-based Offline Policy Optimization》论文笔记
  • Soft Actor Critic

功能

  • 登录
  • 条目feed
  • 评论feed
  • WordPress.org

备案信息

粤ICP备20037989号-1

由 WordPress 强力驱动 | 主题: Yocto 作者 Humble Themes

粤公网安备 44030502005361号