type
status
date
slug
summary
tags
category
icon
password
Property
均匀分布
若连续随机变量的PDF为
则称其在区间 上服从均匀概率分布,记做 。 因为是一个有界随机变量,其各阶矩均存在。则第阶矩为
令 ,可得的均值为:
令 ,可得二阶矩
因此可得的方差为:
正态分布
若连续随机变量的PDF为:
其中。 则称其服从正态分布,记作 。参数和 分别是位置和尺度参数。当 时, 称作标准正态或单位正态分布(unit normal distribution)。
正态分布的均值为:
其中,由于被积函数为奇函数,倒数第二个等式中的积分为 0 。
使用分部积分求方差:
可加性: ,并且相互独立那么
Stein引理:
假设 ,并且 是满足的可微函数,则
正态分布的形状
- 均值和中值都是
- 在时得到最大值
- 二次求导后在处为0,为曲线拐点
对数正态分布
若连续随机变量的PDF为:
则称其服从对数正态分布,记作lognormal 。
因此, 。
伽玛分布及广义伽玛分布
函数 称作伽玛函数(Gamma function),定义为
的性质:
- 若 是此整数,则
若非负连续随机变量的PDF为:
其中为伽马函数,则称其服从伽马分布 。
当 时,伽马分布称作标准伽马分布。
的均值为
其中最后一处积分可视作 随机变量PDF的积分。
其二阶矩为
其中最后一处积分可视作 随机变量PDF的积分。由此可得方差为
与伽玛分布紧密相关的一个分布是广义伽玛分布。假设随机变量
服从标准伽马分布,即 或者等价地有PDF
则称随机变量 服从形状参数为 与 、尺度参数为 、位置参数为的广义伽玛分布,并且的PDF为
指数分布
指数分布与韦伯分布
伽马分布的另一种特殊形式称作指数分布。若非负连续随机变量的PDF为
其中为尺度参数,则称其服从指数分布分布。当时,则称服从标准指数分布,记作 。
指数分布是伽马分布 在时的一个特例。
均值为:
方差为:
CDF为:
与几何分布类似,指数分布也具有 “无记忆性",即对任意正数和 ,并且 ,有
证明:
而若 服从参数为的指数分布,则服从韦伯(Weibull)分布,其PDF为
其中是位置参数, 是尺度参数,是形状参数,必须大于1 。实际应用中通常设 。
双指数分布
若连续随机变量的PDF为:
其中 ,则称其服从双指数 分布。
双指数分布是关于对称的分布,其尾部相对于正态分布更厚。该分布在 处取得峰值并且其导数在该点不存在。
的均值为:
方差为:
卡方分布
考虑伽马分布的一种特殊情形。若非负连续随机变量 的PDF为
则称其服从自由度为 的卡方分布,记作 。
卡方分布 是伽马分布 在 的特殊情形。
特别的,其均值为
方差为
,其中 相互独立,且同服从
Beta分布
若连续随机变量的PDF为
则称其服从贝塔分布 ,其中
称作贝塔函数(Beta function),定义为:
分布的均值为:
其中最后一个积分可视作 随机变量PDF的积分。
为了计算方差,首先求 二阶矩:
分布的方差为:
在一些机器学习模型中,有时把先验分布定位beta distribution
柯西及稳态分布
若连续随机变量的PDF为
其中 ,则称其服从 Cauchy 分布。
参数 与 分别是位置参数与尺度参数。该分布关于 对称,其支撑不是有界的。当 时,该分布称作标准柯西分布,记为 。
柯西分布的均值以及所有高阶矩均不存在。因此,位置参数 不能解释成均值,尺度参数 也不能解释为标准差。
例如,对于 分布,有
- Fisher Z:
- F分布:
- t 分布:
- 指数族分布: