type
status
date
slug
summary
tags
category
icon
password
Property
奇异值分解（Singular Value Decomposition）将一个矩阵写为，分解的因子分别为正交矩阵、对角矩阵、正交矩阵。
与前面的分解不同的是，这两个正交矩阵通常是不同的，而且这个式子可以对任意矩阵使用，不仅限于方阵、可对角化的方阵等。
- 一个正定矩阵可以分解为，由于对称性其特征向量是正交的，且其矩阵中的元素皆为正，这就是正定矩阵的奇异值分解。在这种特殊的分解中，只需要一个正交矩阵就可以使等式成立。
- 可对角化的矩阵能够分解为 的形式，其中的列向量由的特征向量组成，但并不是正交矩阵，所以这不是我们希望得到的奇异值分解。
现在要做的是，在的列空间中找到一组特殊的正交基 ，这组基在的作用下可以转换为 的行空间中的一组正交基 。用矩阵语言描述为
，这些是缩放因子，表示在转换过程中有拉伸或压缩。而 的左零空间和零空间将体现在 的零值中。
另外，如果算上左零、零空间，同样可以对左零、零空间取标准正交基，然后写为
type
status
date
slug
summary
tags
category
icon
password
Property
图像压缩
假设一张图片，长宽皆为个像素，表示第个像素，如果是灰度照片，通常在 上取值，也就是8 bits。对于这承载这张图片信息的向量来说，有。而如果是彩色照片，通常需要三个量来表示一个像素，则向量长度也会变为现在的三倍。
如此大的数据不经过压缩很难广泛传播。这里介绍一个压缩方法是JPEG（Joint Photographic Expert Group，联合图像专家组），该方法采用的就是基变换的方式压缩图像。比如说一块干净的黑白，其附近的像素值应该非常接近，此时如果一个像素一个像素的描述黑白灰度值就太浪费空间了，所以标准基在这种情况下并不能很好的利用图片的特性。
标准基是 ，我们想寻找一个更好的基。试试使用别的基描述图片，比如：
- 基中含有的一个向量 ，即分量全为 的向量，一个向量就可以完整的给出所有“像素一致图像”的信息；
- 另一个向量 ，正负交替出现，比如描述国际象棋棋盘；
- 第三个个向量 ，一半正一半负，比如描述一半亮一半暗的图片；
傅里叶基
type
status
date
slug
summary
tags
category
icon
password
Property
前面涉及到的逆（inverse）都是指左、右乘均成立的逆矩阵，即 。在这种情况下， 矩阵满足 ，也就是满秩方阵。
左逆 left inserve
列满秩，也就是列向量线性无关，但行向量通常不是线性无关的。常见的列满秩矩阵满足 。
列满秩时，列向量线性无关，所以其零空间中只有零解，方程 可能有一个唯一解（ 在 的列空间中，此特解就是全部解，因为通常的特解可以通过零空间中的向量扩展出一组解集，而此时零空间只有列向量），也可能无解（ 不在 的列空间中）。
另外，此时行空间为 ，也正印证了与行空间互为正交补的零空间中只有列向量。
现在来观察 ，也就是在 的情况下， 矩阵乘以 矩阵，结果为一个满秩的 矩阵，所以 是一个可逆矩阵。也就是说 成立，而大括号部分的 称为长方形矩阵 的左逆
最小二乘，通过关键方程 ， 被当做一个系数矩阵乘在 向量上，求得 向量投影在 的列空间之后的解 。如果强行给左逆左乘矩阵 ，得到的矩阵就是投影矩阵 ，来自 ，它将右乘的向量 投影在矩阵 的列空间中。
再来观察 矩阵，这是一个 矩阵，秩为 ，也就是说 是不可逆的。
type
status
date
slug
summary
tags
category
icon
password
Property
随机现象
在一定条件下，并不总是出现相同结果的现象称为随机现象，例如：抛硬币，掷骰子。
随机现象有两个特点：
- 结果不止一个
- 哪一个结果出现，人们事先并不知道
只有一个结果的现象称为确定性现象，例如：太阳从东方升起。
对在相同条件下可以重复的随机现象的观察、记录、实验称为随机试验。也有很多随机现象是不能重复的。例如：某场足球赛的输赢是不能重复的，某些经济现象（如失业、经济增长速度）也不能重复。
样本空间
随机现象的一切可能基本结果组成的集合称为样本空间，记为 。其中， 表示基本结果，又称为样本点。样本点是抽样的最基本单元。
type
status
date
slug
summary
tags
category
icon
password
Property
关于概率的几种观点
一个关于概率的简单而直观的说法是：概率是随机事件发生的可能性大小
在概率论发展的历史上，曾有过概率的古典定义、概率的几何定义、概率的频率定义和概率的主观定义。这些定义各适合一类随机现象。那么如何给出适合一切随机现象的概率的最一般的定义呢？1900年数学家希尔伯特提出要建立概率的公理化定义以解决这个问题，即以最少的几条本质特性出发去刻画概率的概念。1933年数学家柯尔莫哥洛夫首次提出了概率的公理化定义，这个定义既概括了历史上几种概率定义中的共同特性，又避免了各自的局限性和含混之处，不管什么随机现象，只有满足该定义中的三条公理，才能说它是概率。
公理化概率
设 为一个样本空间， 为 的某些子集组成的事件域。若对任一事件 ，定义在 的一个实值函数满足:
- 非负性公理：若 ，则
- 正则性公理：
- 可列可加性公理：若 互不相容，则
则称 为事件 的概率，称三元素 为概率空间。
type
status
date
slug
summary
tags
category
icon
password
Property
当我们知道事件已经发生并且希望计算另外一个事件的时候，考虑当发生时的概率，就是条件概率 ：
当时，条件概率无定义。
所有事件的概率都是条件的，比如试验：扔一个均匀的硬币，事件表示正面，那么概率的条件就是”扔一个均匀硬币”，如果把扔一个均匀的硬币这个事件看做事件，那么出现正面的概率是，这里事件是肯定发生的，所以作为条件给出。如果事件不是肯定发生，那么就要用计算法则计算正面出现的概率了。
上面是从主观概率的角度定义的，如果从频率派的角度，可以这么理解：一个重复 次的试验，事件发生的次数与试验次数的比例近似于，事件和事件同时发生的次数与试验次数的比例近似于 ，所以当事件发生时，事件也发生的概率接近于比例：
乘法原则
type
status
date
slug
summary
tags
category
icon
password
Property
条件概率最朴素的想法就是当一个事件发生了，其对我们关心的事件是否发生有没有影响，有影响与否这都是个条件概率，如果没有影响，我们进一步把这两个事件称之为独立的。
独立与互斥，对立等意义都不相同，独立性是概率论的重要基础关系，在独立事件上建立的概率论理论已经很完备了，但是对于非独立事件相关的研究开在继续完善中，很多情况下都是假设，或者近似一些事件独立的，来是模型更加简单准确。
假定已知事件发生，那么事件发生的概率在此条件下发生的概率是。如果进一步说，事件的发生与否对于事件来说没有什么影响，那么就有
由条件概率定义引出：
那么带入 可以得到：
以上关系成立的充分必要条件是，事件和事件相互独立
type
status
date
slug
summary
tags
category
icon
password
Property
贝叶斯公式在概率论和统计中处于非常核心的部分，所以才有贝叶斯学派这种派系，对立学派是频率派
- 频率学派的观点主要是认为所有事件的概率都不确定，但是可以用频率来近似得到
- 贝叶斯派则认为所有事件的概率都是确定的，只是你的先验知识不足，所以算不出来而已
当我们面对一个试验，在所有的分割块中（ ）必然有一个将要发生，但不确定发生哪一个，我们可以观察到另一个事件 ，如果已知，那么当我们确定事件的发生概率的时候，就可以翻过来推到每个分割块发生的概率有多大
用全概率公式进行代换，就能得到更专业的贝叶斯公式：
type
status
date
slug
summary
tags
category
icon
password
Property
随机变量
概率空间因随机试验而异使其在实际应用中存在诸多不便。特别地，当样本空间的元素不是实数时，其表述可能更加繁琐。在许多试验中，处理总结性变量比原始的概率结构更加方便。为形成统一的概率理论，需要统一不同的概率空间。
为此，借助一个或一系列规则，用数字表示样本空间中的元素。一种可行的方式就是对中每个可能结果都赋予一个实数。换言之，可以构造一个从原始样本空间到由一系列实数组成的新样本空间的映射，这一转换称作随机变量。随机变量是定义在样本空间上的函数，旨在将我们所关注的问题转化为具有更简便结构的新概率空间，从而更方便地解决问题。
随机变量：随机变量 ，是从样本空间到实数集 的-可测映射 (或点函数)，从而对每个结果都存在唯一的实数与之对应，随机变量可能取得所有实数值的集合被称作的值域，构成了新的样本空间，记作 。
例：抛硬币时，样本空间为 。定义一个随机变量 ，满足 ，则我们获得一个新的样本空间 。
- 离散型随机变量的分布函数为阶梯间断函数
- 连续型随机变量的分布函数为连续函数，但不一定为处处可导函数
- 存在既非离散也非连续型随机变量