四个基本子空间
type
status
date
slug
summary
tags
category
icon
password
Property
 
 
对于 矩阵 有:
  • 行空间
  • 零空间 ,自由元所在的列即可组成零空间的一组基
  • 列空间 ,主元所在的列即可组成列空间的一组基
  • 左零空间
 
notion image
 
 

列空间

矩阵空间和秩1矩阵
type
status
date
slug
summary
tags
category
icon
password
Property
 

矩阵空间

矩阵可以同向量一样,做求和、数乘。设所有矩阵组成的矩阵空间为的部分子空间包括:
  • 所有的上三角阵
  • 所有的对称阵
  • 所有的对角阵 ,前两者的交集
 
矩阵举例,其矩阵空间记为
空间的维数为9,与空间很类似。可以选定它的一组基:
notion image
 
对称阵构成的子空间维数为6,它的一组基为:
正交向量与正交子空间
type
status
date
slug
summary
tags
category
icon
password
Property
 

正交向量 Orthogonal vectors

对于向量 ,当 时,有向量 正交。
毕达哥拉斯定理(Pythagorean theorem)中提到,直角三角形的三条边满足:
notion image
对于向量点乘,
由此得出,两正交向量的点积为 。另外, 可以为 向量,向量与任意向量正交。
 
举个例子: ,有 ,而
投影矩阵和最小二乘
type
status
date
slug
summary
tags
category
icon
password
Property
 
 

子空间投影

空间讲起,有向量 ,做 上的投影 ,如图:
notion image
从图中知道,向量就像是向量 之间的误差, 上,有
所以有
关于正交的最重要的方程:
从上面的式子可以看出,如果将 变为 也会翻倍,如果将 变为 不变。
 

投影矩阵 Projections matrix

正交矩阵和Gram-Schmidt正交化法
type
status
date
slug
summary
tags
category
icon
password
Property
 
 

标准正交矩阵

满足如下条件的向量为标准正交向量(orthonormal):
它们单位长度1,并且彼此正交,标准正交向量是线性无关的
 
将标准正交向量放入矩阵中,有 ,列向量为标准正交向量
计算得 标准正交矩阵(orthonormal matrix)

正交矩阵

一个标准正交的方阵称之为正交矩阵
行列式
type
status
date
slug
summary
tags
category
icon
password
Property
 
行列式(determinant)是一个每个方阵都具有的数值,矩阵A的行列式记作
二阶行列式的表达式

行列式的性质

  • ,单位矩阵行列式值为一
  • 交换行,行列式变号
  • 如果在矩阵的一行乘上,则行列式的值就要乘上
  • 行列式是“矩阵的行”的线性函数
    • 注意:这里并不是指 ,方阵相加会使每一行相加,这里仅是针对某一行的线性变换。
  • 如果两行相等,则行列式为零
    矩阵与向量
    type
    status
    date
    slug
    summary
    tags
    category
    icon
    password
    Property
     

    矩阵的加法

    是两个 矩阵,则 矩阵 称为矩阵 的和,记为 .
     

    矩阵的数乘

    矩阵, 是一个常数,则 矩阵 称为数 与矩阵 的数乘,记为 .
     

    矩阵的乘法

    矩阵, 矩阵,那么 矩阵 其中 称为 的乘积,记为 .
     

    三者之间的关系

    特征值和特征向量
    type
    status
    date
    slug
    summary
    tags
    category
    icon
    password
    Property
     

    特征值、特征向量的由来

    矩阵乘以向量,就像是使用矩阵作用在向量上,最后得到新的向量。在这里,矩阵就像是一个函数,接受一个向量 作为输入,给出向量作为输出。
    在这一过程中,我们对一些特殊的向量很感兴趣,他们在输入()和输出()的过程中始终保持同一个方向( 平行于只是长度变了),这是比较特殊的。满足这个条件的称为特征向量(Eigen vector),这个平行条件用方程表示就是:
    计算特征值为的特征向量,有,也就是特征值为的特征向量应该位于的零空间中。也就是说,如果矩阵是奇异的,那么它将有一个特征值为
     
    投影矩阵 的特征值和特征向量
    用向量乘以投影矩阵得到投影向量 ,在这个过程中,只有当已经处于投影平面(的列空间)中时, 才是同向的,此时投影前后不变( )。
    即:在投影平面中的所有向量都是投影矩阵的特征向量,他们的特征值均为
     
    观察投影平面的法向量(向量),对于投影,因为,所以,即特征向量的特征值为
    矩阵对角化
    type
    status
    date
    slug
    summary
    tags
    category
    icon
    password
    Property
     

    对角化矩阵

    方程,通过 得到特征向量 ,再带回关键方程算出特征向量
    在得到特征值与特征向量后,该如何使用它们?可以利用特征向量来对角化给定矩阵。
     
    矩阵的特征向量为 ,使用特征向量作为列向量组成一个矩阵(特征向量矩阵)
    再使用公式对角化
    注意:公式中有,也就是说特征向量矩阵 必须是可逆的,于是需要个线性无关的特征向量。
     
    现在,假设个线性无关的特征向量,将它们按列组成特征向量矩阵 ,则
    差/微分方程和指数矩阵
    type
    status
    date
    slug
    summary
    tags
    category
    icon
    password
    Property
     

    差分方程

    开始, ,所有 ,本例是一个一阶差分方程组。
    要解此方程,需要将展开为矩阵特征向量的线性组合,即
    于是
    继续化简原式, 。用矩阵的方式同样可以得到该式:
    那么如果要求 ,则只需要将 变为 ,而系数 与特征向量 均不变。
    当真的要计算 时,就可以使用
     
     
    一个斐波那契数列(Fibonacci sequence)的例子:
    马尔科夫矩阵、傅里叶级数
    type
    status
    date
    slug
    summary
    tags
    category
    icon
    password
    Property
     

    马尔科夫矩阵 Markov matrix

    马尔科夫矩阵是指具有以下两个特性的矩阵:
    • 矩阵中的所有元素大于等于 (与概率有关,概率是非负的)
    • 每一列的元素之和为
    对于马尔科夫矩阵,我们关心幂运算过程中的稳态(steady state)。与上一讲不同,指数矩阵关系特征值是否为 ,而幂运算要达到稳态需要特征值为
     
    根据上面两条性质,可以得出两个推论:
    1. 马尔科夫矩阵必有特征值为
    1. 其他的特征值的绝对值皆小于
    使用公式进行幂运算
    对称矩阵及正定矩阵
    type
    status
    date
    slug
    summary
    tags
    category
    icon
    password
    Property
     

    对称矩阵

    对称矩阵的特性:
    1. 特征值为实数(对比旋转矩阵,其特征值为纯虚数)
    1. 特征向量相互正交(当特征值重复时,特征向量也可以从子空间中选出相互正交正交的向量)
     
    在通常(可对角化)情况下,一个矩阵可以化为:
    在矩阵对称的情况下,由特征向量组成的矩阵中的列向量相互正交,如果把特征向量的长度统一化为,就可以得到一组标准正交的特征向量。对于对称矩阵有,而对于标准正交矩阵,有,所以对称矩阵可以写为
     
    这个分解本身就代表着对称,