Hypothesis testing
Hypothesis testing，假设检验。Spark目前支持皮尔森卡方检测（Pearson’s chi-squared tests），包括适配度检定和独立性检定。
皮尔森卡方检测
皮尔森卡方检测是最著名的卡方检测方法之一，一般提到卡方检测时若无特殊说明则代表使用的是皮尔森卡方检测。皮尔森卡方检测可以用来进行适配度检测和独立性检测。
适配度检测
适配度检测，Goodness of Fit test，验证一组观察值的次数分配是否异于理论上的分配。其 \(H_0\) 假设（虚无假设，null hypothesis）为一个样本中已发生事件的次数分配会服从某个特定的理论分配。通常情况下这个特定的理论分配指的是均匀分配，目前Spark默认的是均匀分配。
独立性检测
独立性检测，independence test，验证从两个变量抽出的配对观察值组是否互相独立。其虚无假设是：两个变量呈统计独立性。
检测三个步骤
- 计算卡方检定的统计值“ \(\chi^2\) ”：把每一个观察值和理论值的差做平方后、除以理论值、再加总
- 计算 \(\chi^2\) 统计值的自由度“df”
- 依据研究者设定的置信水平，查出自由度为df的卡方分配临界值，比较它与第1步骤得出的 \(\chi^2\) 统计值，推论能否拒绝虚无假设
适配度检测示例
场景
将五角星的5个角分别标记为1,2,3,4,5。现在旋转若干次五角星，记录每个角指向自己的次数。
第一个的结果为(1,7,2,3,18)，第二个五角星的结果为(7,8,6,7,9)。现做出虚无假设：五角星的每个角指向自己的概率是相同的。
