Investigating the Effect of the Multiple Comparisons Problem in Visual Analysis
论文：Investigating the Effect of the Multiple Comparisons Problem in Visual Analysis
发表：CHI’ 18
作者：Emanuel Zgraggen, Zheguang Zhao, Robert Zeleznik, Tim Kraska
可视化的目的是让用户发掘insights，但是，本文的研究表明，其中遇到的Multiple Comparisons Problem (MCP)会导致发掘的insights错误率超过60%！
在统计学中，当同时考虑一组统计推断或推断基于观察值选择的参数子集时，会发生多重比较(multiple comparisons)，多重性(multiplicity)或多重测试(multiple testing)问题。在某些领域，它被称为外观效应(look-elsewhere effect)。
统计学中的显著性测试是非常重要的一种方法，但置信水平通常只能被用于考虑单个假设，被同时用于多个假设时，如果不能对多重比较进行补偿可能会产生重要的现实后果，例如下图是用两组明显完全无关的数据绘制的线图（被毒蜘蛛杀死的人数和某个拼写比赛冠军拼写的字数），但它们看起来相关性很高。这是在可以进行比较的数据足够多的时候几乎一定会发生的随机系统错误。
在可视化中，一般的分析流程包括探索性(exploratory)和确定性(confirmatory)两部分，从前者中发现的结论被后者验证。但实际中这两个阶段会不断地发生和切换，造成大量的假设验证，产生多重比较问题。
如果要减少错误，有两种可选方法：
- confirmation; same dataset：在原数据上进行验证，但这样会导致上文所说的系统误差
- confirmation; validation dataset：在额外的验证数据上验证，但这样会产生额外的数据收集开销，或者将原数据划分为两部分，一部分用于验证，这样会导致探索和验证数据的规模下降
本文通过一个简单的拖拽生成可视化的系统进行测试，使用了两种数据X两种数据规模，28个来自大学的被试被分为4组每组7人。这些人都使用过数据探索工具（Tableau、R等），并上过统计学的课程。
数据通过人工生成，并进行ground truth的标记，包括几种
- 从现实数据中采样
- 基于现实数据的参数和随机生成的（不为0）的相关系数生成的二元分布，标记为正确
- 随机生成的二元分布，标记为错误
用户使用系统探索数据，记录发现的insights，并由视频和眼动数据的记录
结果表示正确率仅不到40%，具体结果如下图：
其中参数类似于数据挖掘模型，统计true positive(TP), true negetive(TN), false positive(FP) 和 false negetive(FN)，并计算ACC=(TP+TN)/(TP+TN+FP+FN)，False discovery rate (FDR) = FP/(TP+FP)，False omission rate (FOR) = FN/(TN+FN)
此外，还对发现的insights按上文所述的两种方法进行了验证，验证通过将insights按5种类别（下图）量化后进行统计计算完成；结果有显著提升（见上图）
最后，由于两种验证方法有各自的缺陷，特别是第二种很难在实际应用中使用，于是本文提出了第三种方法：mixing exploration and confirmation
简单来说，就是将发现的insights通过统计学上降低MCP问题影响的方法进行处理，本文使用的方法是Benjamini-Hochberg correlation。使用过程中需要更多的假设和insights参与，于是作者定义了一种隐性的insight：在探索过程中被提出但因为不够令人感兴趣而被抛弃的假设，这种insight可以通过研究记录视频和眼动数据中还原。
见前文结果图，mixing exploration and confirmation效果非常好，但实际使用中仍然存在一些问题，例如需要记录并分析整个分析流程，但作者认为这是可以被交互系统自动完成的