语义交互在可视分析中的应用

论文：Semantic Interaction for Sensemaking: Inferring Analytical Reasoning for Model Steering

会议：VAST 2012

作者：Alex Endert, Patrick Fiaux, Chris North

作为一种认知方式，可视分析通过可视化和交互界面使用户得到原始数据、计算模型以及可视化视图中的信息，因此怎样合理构建“用户-可视化-计算模型”之间的交流方式是可视分析中的重点之一。本文提出了语义交互（Semantic Interaction）这一意义构建（sensemaking）方式，旨在建立一种用户可理解、并且可将用户所理解的意义反馈给计算模型的交互手段。

意义构建

意义构建是人类基于已有知识和直觉，在内心中构建信息间联系的过程。[2]中，作者提出意义构建的过程分两大阶段：foraging和synthesis。foraging阶段强调在已有信息中搜索并过滤有效信息，而systhesis阶段则对这些有效信息进行理解、综合和检验。图1展示了情报分析（Intelligence Analysis）中意义构建循环的各个阶段及其关系。

图1：情报分析师的意义构建循环过程。引自[1]。

语义交互

图2：语义交互模型。用户可以与可视化界面进行交互，系统根据交互结果调整统计模型参数，并将调整后的结果反馈至可视化界面。

上文提到，意义构建由两个分开的阶段组成。现有基于可视分析的意义构建工具与案例主要都围绕单个阶段展开，然而当前没有同时包含两个阶段的工具和模型，因此文章提出了语义交互这一概念，对包含了两阶段的意义构建过程进行建模。

可视化使用空间（平面）形式进行信息表达。从用户角度看，语义交互过程是对平面上可视对象布局进行语义上的解释的过程，即可视对象的空间位置排布带有意义。当用户对含有意义隐喻的可视对象进行操作时，底层的计算模型也会相应发生变化，并将变化反馈至用户。这种方式避免了用户对计算模型参数的直接干预，使用可视化隐喻的方式

图3：传统可视化流水线（上）与含有语义交互的可视化流水线（下）。含语义交互的可视化流水线中，用户交互行为以soft data形式融入整个流程，而传统可视化流水线并没有显式地构建出用户交互。

ForceSPIRE原型系统

图4：在大屏环境下使用ForceSPIRE。其系统界面环境与现实生活中对（纸质）文件进行情报分析的场景十分相似。

表1：ForceSPIRE中使用的语义交互形式。

图5：某分析师使用ForceSPIRE分析大量文本情报中包含的恐怖袭击线索。图中展示了不同分析时间时，分析师的界面使用及意义构建情况。聚在一起的文本情报构成了一个相关意义群。

总结

语义交互提出了一种新的在可视分析进行意义构建的思路，拓展了传统可视化流水线中对交互部分的描述。该方向仍有很多亟待解决的问题，例如在其他类型的可视分析场景中使用语义交互，以及继续挖掘soft data中的潜在价值等。

相关文章：

[1] A. Endert, P. Fiaux, and C. North, “Semantic interaction for visual text analytics,” presented at the CHI ’12: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2012.

[2] Pirolli, P. and Card, S. Sensemaking Processes of Intelligence Analysts and Possible Leverage Points as Identified Though Cognitive Task Analysis, Proceedings of the International Conference on Intelligence Analysis, 2005, 6.

[3] ForceSPIRE http://infovis.cs.vt.edu/content/forcespire-semantic-interaction-visual-analytics