四个基本子空间
type
status
date
slug
summary
tags
category
icon
password
Property
 
 
对于 矩阵 有:
  • 行空间
  • 零空间 ,自由元所在的列即可组成零空间的一组基
  • 列空间 ,主元所在的列即可组成列空间的一组基
  • 左零空间
 
notion image
 
 

列空间

矩阵空间和秩1矩阵
type
status
date
slug
summary
tags
category
icon
password
Property
 

矩阵空间

矩阵可以同向量一样,做求和、数乘。设所有矩阵组成的矩阵空间为的部分子空间包括:
  • 所有的上三角阵
  • 所有的对称阵
  • 所有的对角阵 ,前两者的交集
 
矩阵举例,其矩阵空间记为
空间的维数为9,与空间很类似。可以选定它的一组基:
notion image
 
对称阵构成的子空间维数为6,它的一组基为:
正交向量与正交子空间
type
status
date
slug
summary
tags
category
icon
password
Property
 

正交向量 Orthogonal vectors

对于向量 ,当 时,有向量 正交。
毕达哥拉斯定理(Pythagorean theorem)中提到,直角三角形的三条边满足:
notion image
对于向量点乘,
由此得出,两正交向量的点积为 。另外, 可以为 向量,向量与任意向量正交。
 
举个例子: ,有 ,而
投影矩阵和最小二乘
type
status
date
slug
summary
tags
category
icon
password
Property
 
 

子空间投影

空间讲起,有向量 ,做 上的投影 ,如图:
notion image
从图中知道,向量就像是向量 之间的误差, 上,有
所以有
关于正交的最重要的方程:
从上面的式子可以看出,如果将 变为 也会翻倍,如果将 变为 不变。
 

投影矩阵 Projections matrix

正交矩阵和Gram-Schmidt正交化法
type
status
date
slug
summary
tags
category
icon
password
Property
 
 

标准正交矩阵

满足如下条件的向量为标准正交向量(orthonormal):
它们单位长度1,并且彼此正交,标准正交向量是线性无关的
 
将标准正交向量放入矩阵中,有 ,列向量为标准正交向量
计算得 标准正交矩阵(orthonormal matrix)

正交矩阵

一个标准正交的方阵称之为正交矩阵
行列式
type
status
date
slug
summary
tags
category
icon
password
Property
 
行列式(determinant)是一个每个方阵都具有的数值,矩阵A的行列式记作
二阶行列式的表达式

行列式的性质

  • ,单位矩阵行列式值为一
  • 交换行,行列式变号
  • 如果在矩阵的一行乘上,则行列式的值就要乘上
    • 行列式是“矩阵的行”的线性函数
      • 如果两行相等,则行列式为零
        • 从第 行中减去第 行的 倍,行列式不变。这条性质是针对消元的,可以先消元,将方阵变为上三角形式后再计算行列式。
          • 如果方阵的某一行为零,则其行列式值为零
            • 三角阵的行列式的值等于其对角线上数值(主元)的乘积
              矩阵与向量
              type
              status
              date
              slug
              summary
              tags
              category
              icon
              password
              Property
               

              矩阵的加法

              是两个 矩阵,则 矩阵 称为矩阵 的和,记为 .
               

              矩阵的数乘

              矩阵, 是一个常数,则 矩阵 称为数 与矩阵 的数乘,记为 .
               

              矩阵的乘法

              矩阵, 矩阵,那么 矩阵 其中 称为 的乘积,记为 .
               

              三者之间的关系

              特征值和特征向量
              type
              status
              date
              slug
              summary
              tags
              category
              icon
              password
              Property
               

              特征值、特征向量的由来

              矩阵乘以向量,就像是使用矩阵作用在向量上,最后得到新的向量。在这里,矩阵就像是一个函数,接受一个向量 作为输入,给出向量作为输出。
              在这一过程中,我们对一些特殊的向量很感兴趣,他们在输入()和输出()的过程中始终保持同一个方向( 平行于只是长度变了),这是比较特殊的。满足这个条件的称为特征向量(Eigen vector),这个平行条件用方程表示就是:
              计算特征值为的特征向量,有,也就是特征值为的特征向量应该位于的零空间中。也就是说,如果矩阵是奇异的,那么它将有一个特征值为
               
              投影矩阵 的特征值和特征向量
              用向量乘以投影矩阵得到投影向量 ,在这个过程中,只有当已经处于投影平面(的列空间)中时, 才是同向的,此时投影前后不变( )。
              即:在投影平面中的所有向量都是投影矩阵的特征向量,他们的特征值均为
               
              观察投影平面的法向量(向量),对于投影,因为,所以,即特征向量的特征值为
              矩阵对角化
              type
              status
              date
              slug
              summary
              tags
              category
              icon
              password
              Property
               

              对角化矩阵

              方程,通过 得到特征向量 ,再带回关键方程算出特征向量
              在得到特征值与特征向量后,该如何使用它们?可以利用特征向量来对角化给定矩阵。
               
              矩阵的特征向量为 ,使用特征向量作为列向量组成一个矩阵(特征向量矩阵)
              再使用公式对角化
              注意:公式中有,也就是说特征向量矩阵 必须是可逆的,于是需要个线性无关的特征向量。
               
              现在,假设个线性无关的特征向量,将它们按列组成特征向量矩阵 ,则
              差/微分方程和指数矩阵
              type
              status
              date
              slug
              summary
              tags
              category
              icon
              password
              Property
               

              差分方程

              开始, ,所有 ,本例是一个一阶差分方程组。
              要解此方程,需要将展开为矩阵特征向量的线性组合,即
              于是
              继续化简原式, 。用矩阵的方式同样可以得到该式:
              那么如果要求 ,则只需要将 变为 ,而系数 与特征向量 均不变。
              当真的要计算 时,就可以使用
               
               
              一个斐波那契数列(Fibonacci sequence)的例子:
              马尔科夫矩阵、傅里叶级数
              type
              status
              date
              slug
              summary
              tags
              category
              icon
              password
              Property
               

              马尔科夫矩阵 Markov matrix

              马尔科夫矩阵是指具有以下两个特性的矩阵:
              • 矩阵中的所有元素大于等于 (与概率有关,概率是非负的)
              • 每一列的元素之和为
              对于马尔科夫矩阵,我们关心幂运算过程中的稳态(steady state)。与上一讲不同,指数矩阵关系特征值是否为 ,而幂运算要达到稳态需要特征值为
               
              根据上面两条性质,可以得出两个推论:
              1. 马尔科夫矩阵必有特征值为
              1. 其他的特征值的绝对值皆小于
              使用公式进行幂运算
              对称矩阵及正定矩阵
              type
              status
              date
              slug
              summary
              tags
              category
              icon
              password
              Property
               

              对称矩阵

              对称矩阵的特性:
              1. 特征值为实数(对比旋转矩阵,其特征值为纯虚数)
              1. 特征向量相互正交(当特征值重复时,特征向量也可以从子空间中选出相互正交正交的向量)
               
              在通常(可对角化)情况下,一个矩阵可以化为:
              在矩阵对称的情况下,由特征向量组成的矩阵中的列向量相互正交,如果把特征向量的长度统一化为,就可以得到一组标准正交的特征向量。对于对称矩阵有,而对于标准正交矩阵,有,所以对称矩阵可以写为
               
              这个分解本身就代表着对称,