多元随机变量及分布type
status
date
slug
summary
tags
category
icon
password
Property
随机向量及联合概率分布
随机向量(Random Vector)
一个维随机向量，记作 ，是从样本空间到维欧几里得空间的一个函数。对于样本空间内的任意结果均为一个维实值向量，称作随机向量的一个实现。
联合CDF
和的联合CDF定义如下：
其中是任意实数组。
的性质：
- 是关于 和 的非递减函数
- 是关于 和 的右连续函数
离散情形
当与 均为离散随机变量时，引入联合PMF刻画二者的联合概率分布
联合PMF：
若和为两个离散随机变量，则对任意的 ，二者的联合PMF定义为
的性质:
- 对任意 ：
- ，其中 与分别是与的支撑集
支撑：二维随机向量 的支撑定义为所有取严格正概率的可能实现值 构成的集合，即
连续情形
联合PDF：若两个随机变量 和 的联合CDF 对 和均是绝对连续的， 则称其具有连续型联合分布。此时，存在非负函数 使得对任意子集 ， 有
其中函数 被称作 的联合PDF。
联合PDF 的性质:
- 对 平面上的所有 ，有
并且，对于函数 的可微点 ，有
支撑：二维连续随机向量的支撑定义为所有取严格正概率的可能实现值构成的集合，即
边际分布
离散情形
离散边际概率质量函数：
假设和具有联合离散分布，其联合PMF为 。 则与的边际PMF分别定义为：
因此，
直观上， 的边际PMF是不论取何值， 取给定值的概率。通过考虑的所有可能取值，消去了关于的全部信息而只保留的信息。
边际PMF的性质：
- 对所有的 ，有
- ，其中为的支撑
类似结果对 仍成立
联合PMF不仅提供了边际信息，而且囊括了无法从与的边际分布中获取的二者之间关系的信息。尽管在某些情形下， 和的边际分布相同，但是若二者之间的关系有所差异，则会产 生不同的联合分布。
连续情形
边际PDF: 假设与具有联合连续分布，并且其联合PDF为 。则和的 边际PDF分别定义为：
边际PDF的性质:
- 对所有的 ，有
类似结果对 仍成立。
条件分布
通常情况下，两个随机变量的观测值是相关的。因此，即使无法根据的相关信息得知的准确实现值，也能据此获取的相关信息。
离散情形
条件PMF：假设与具有联合离散分布，其联合PMF为 ，边际PMF为 和 。随机变量 基于的条件PMF定义为：
其中： 。
类似的，随机变量基于 的冬件PMF定义为
其中： 。
直观上，条件PMF 是已经观测到随机变量的取值 ，随机变量取任意值的概率。
若定义事件 ，则
根据条件PMF的定义，有如下乘法法则：
其中，只要 ，第一个等式恒成立；只要 ，第二个等式恒成立。
另外，需要指出的是，条件PMF是一种预测关系，而非从到的因果关系。
连续情形
条件PDF：假设 与 具有联合连续分布，其联合PDF为 ，边际PDF为 和 。则基于 的条件PDF定义为：
其中， 。
类似的， 基于的条件PDF定义为
其中， 。
与离散情形类似，连续情形也有如下乘法法则：
其中，只要 ，第一个等式恒成立；只要 ，第二个等式恒成立。
独立性
一般情况下，与的边际分布(可以用边际PMF/PDF 和 描述)无法完整地刻画和的联合分布。事实上，许多不同的联合分布都具有相同的边际分布。因此，一般无法仅根据边际PMF/PDF 和 的信息确定联合PMF/PDF 。
然而，存在一种重要的特殊情形，即与相互独立时，可以用边际分布确定联合分布。独立性是和之间不存在任何关联的一种刻画。此时， 相关信息不包含的任何信息。
独立性：对于两个随机变量和，若
则称二者相互独立，其中 分别为联合及边际。
上述定义等价于，对任意子集 且 ，有
无论 和是离散还是连续型随机变量，上述独立性的定义均成立。
对于两个离散的随机变量 ，当且仅当
二者相互独立，其中分别为联合及边际PMF。
假设 和为两个连续随机变量，当且仅当
二者相互独立，其中分别为联合及边际PDF。
因子分解定理(Factorization Theorem)：对于两个随机变量和，当且仅当联合PMF/PDF可以写成
二者相互独立。
假设两个随机变量和相互独立，则条件PMF/PDF
其中；并且
其中 。
该定理意味着和相互独立时， 的信息对的概率分布没有预测力
对于随机变量 ，若联合CDF等于边际CDF的乘积
则其相互独立，其中 ，并且 。
对于两个以上的随机变量，可能存在任意两个变量相互独立但所有变量并非相互独立的情况。
二元正态分布
若随机变量的联合PDF为
则称其服从联合正态分布，记做 ，其中 。当时，称为标准二元正态分布。
的另一种表述为：
其中， ，并且：
现在来计算当 时， 和的边际PDF以及基于的务件PDF和基于的条件PDF。令：
则二元正态分布的联合PDF可表述为
并且
其中， 。
注意：
因此，
上式积分部分是分布PDF的积分，故其等于1 。
由对称性，同样可得
上述结果意味着当 和 服从联合正态分布时，二者的边际分布均服从正态分布。特别地， 。
当时， 基于的条件PDF为
其中， 。因此，基于的条件分布依旧是正态分布 。类似可以得到， 基于的条件分布依|日是正态分布 。
常数 刻画了 与 的相依关系。当 时， 的联合PDF为
因此，当且仅当 时，两个服从联合正态分布的随机变量 和相互独立。
二元正态分布参数 就是 两个随机变量的相关系数
二维均匀分布 ：
多元正态分布
服从元正态分布， 记为：
是阶向量，是阶正定矩阵
均值和方差：
当 ，不存在密度函数。 当然可以给出一些形式上的表达式，使得可以统一处理
独立性：
如果是对角阵，那么相互独立
分块矩阵：
做如下拆分：
那么：
需要指出：
- 多元正态分布的任何边缘分布都是正态分布，反之不真。
- =0表示独立，所以多元正态分布拆分后不相关则独立
- 两个正态分布不相关，不一定独立。只有是多元正态分布时，不相关才推出独立。
线性组合：
如果都是常数矩阵，那么
正态分布的乘法：
区别于随机变量的乘法，正态分布的乘法定义为概率密度函数相乘，然后乘以归一化系数使积分仍然是1
已知，对应的的概率密度函数是
- 仍然是一个正态分布
- 新正态分布的方差满足
- 新正态分布的均值
两个随机变量简单函数的概率分布
离散型: 则：
连续型: 则：
,