语音之家

 找回密码
 立即注册
搜索
热搜: 算法 软件 硬件
查看: 29|回复: 0

深度学习里面的数学基础-线性代数

[复制链接]

13

主题

14

帖子

118

积分

注册会员

Rank: 2

积分
118
发表于 2019-8-9 15:15:35 | 显示全部楼层 |阅读模式
本帖最后由 肖炜 于 2019-8-9 15:19 编辑

深度学习是一门综合学科,以数据为对象,以方法为中心, 是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉融合。

线性代数是数学的一个分支,它的研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组。

线性代数里面的基本元素是标量,向量,矩阵,张量。

标量就是一个单独的数。
向量看作空间中的点,每个元素是不同的坐标轴上的坐标。
矩阵是二维数组,其中的每一个元素被两个索引。 一段语音,一张图片都可以用矩阵来表征。
张量是基于向量和矩阵的推广,我们可以将标量视为零阶张量,矢量视为一阶张量,那么矩阵就是二阶张量。


四阶张量表示一个包含多张图片的数据集, 一段时间的视频, 一组语料的语音特征。
张量在深度学习中是一个很重要的概念,因为它是一个深度学习框架中的一个核心组件,后续的所有运算和优化算法几乎都是基于张量进行的。

机器学习中,我们经常使用被称为范数(norm) 的函数衡量向量和矩阵大小。
L0范数为x向量里面非0元素的个数(稀疏度)
L1范数为x向量各个元素绝对值之和;
L2范为x向量各个元素平方和的开方。
L无穷为x向量里最大绝对值
L负无穷为x向量里最小绝对值

在反向传播中,L1范数和L2范数经常会被采用用于损失函数的正则化,可以起到限制模型参数复杂度的作用,解决过拟合问题。

在做识别时,需要比较比较注册目标向量和验证目标向量的相似程度, 这就需要用到距离的概念。

1、曼哈顿距离

曼哈顿距离也称为城市街区距离,数学定义是元素之差的L1范数

2. 欧氏距离
数学定义是元素之差的L2范数

3. 切比雪夫距离
数学定义是元素之差的L无穷范数

4. 余弦距离
用于计算两个向量之间的角度, 夹角余弦越大,表示两个向量的夹角越小;当两个向量的方向重合时,夹角余弦取最大值1;当两个向量的方向完全相反时,夹角余弦取最小值-1,当两个向量的方向完全正交时,夹角余弦取0

5. 汉明距离
汉明距离定义的是两个字符串中不相同位数的数目。。例如,1011101 与 1001001 之间的汉明距离是 2。

6.编辑距离,
又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括替换,插入和删除。例如,kitten与sitting之间的编辑距离为3。

特征分解
许多数学对象可以通过将它们分解成多个组成部分。特征分解是使用最广的矩阵分解之一,即将矩阵分解成一组特征向量和特征值。
方阵A的特征向量是指与A相乘后相当于对该向量进行缩放的非零向量。

奇异值分解(SVD)
矩阵的特征分解前提条件是对可对角化的矩阵。将矩阵的特征分解进行推广,得到了一种叫作“矩阵的奇异值分解”的方法,简称SVD。通过奇异分解,我们会得到一些类似于特征分解的信息。
它的具体做法是将一个普通矩阵分解为奇异向量和奇异值。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|yuyinbbs.cn

GMT+8, 2019-8-21 12:57 , Processed in 0.050053 second(s), 18 queries .

快速回复 返回顶部 返回列表