原文题目

Authentic versus synthetic: An investigation of the

influences of study settings and task configurations

on search behaviors

摘要

在信息检索和检索研究中，研究者经常收集用户行为数据来预测任务特征，为用户提供个性化信息提供参考。数据采集方法可能会直接影响到用户行为的可靠性。本文描述了一项混合方法的研究，检查研究环境的影响【lab setting vs. remote setting(实验室环境vs远程设置) 】和任务的真实性【authentic task vs simulated task(真实的任务vs模拟任务) 】对用户的在线浏览和搜索行为。36名本科生参与者完成了一个实验实验和一个远程实验，其中他们完成了一个真实的和一个模拟的任务，共从144个任务会话中收集到了日志数据。本研究表明，合成实验室研究设置和模拟任务主要对与内容页面相关的行为（如页面停留时间、每个任务访问的页面数）有显著影响。同时，与全会话行为相比，第一查询行为受研究设置或任务真实性的影响小于全会话行为，这表明在任务预测中使用第一查询行为的可靠性。定性访谈揭示了用户为什么会受到影响。

1.引言

信息搜寻活动通常是由与用户的工作或日常生活相关的潜在任务所驱动的。任务已被确定为影响信息搜索行为的基本要素。

基于任务的信息搜寻(TBIS)研究的一个主要焦点是研究任务特征与信息搜寻行为之间的关系。每个TBIS研究的设计都涉及到几个组成部分，比如研究设置和任务是真实的（authentic）或人为提供的（synthetic）；用户研究可以在实验室环境中进行，或在用户选择的地点进行。

虽然研究人员经常建议参与者像往常一样进行搜索，以观察他们的自然行为，但他们不能在自然环境中进行所有的研究。大多数的TBIS研究都是在实验室环境中使用模拟任务进行的。关于每种类型的研究设置的优势和局限性，一直存在着争论。例如，实验室设置经常被批评是人为的和诱导的非自然的行为，而现场设置可能会带来混杂的变量；模拟任务可能不如用户自己的任务真实，但它们使性能数据在用户之间更具可比性。

在本文中，我们研究了研究设置和任务真实性对用户搜索行为的影响。

我们主要在以下领域填补了现有研究的差距。首先，与现有的研究相比，我们采用了更严格的设计，比较真实的和综合的研究环境和任务，解决了过去研究的方法局限性。其次，我们检查了大量与用户的搜索和浏览行为相关的度量集合，提供了对不同研究设置的影响的更广泛的理解。第三，除了搜索实验外，我们还采访了参与者，以了解观察到的影响背后的原因，从而推断出未来TBIS研究的实际意义。

我们的调查以以下研究问题为指导：

如何进行研究设置(实验室设置vs远程设置)是否会影响用户的网络搜索行为？

研究任务的真实性(真实的任务vs模拟任务）是否会影响用户的网络搜索行为？

2.文献综述

2.1 研究设置

实验室研究给研究人员提供了大量的控制，有助于检查一个或几个任务方面的影响，并减少注意力分散等混杂变量。然而，实验室研究可能不能反映用户真实生活中的搜索环境，因此限制了研究结果的普遍性(He&Yilmaz，2017)。由于环境本身或参与者-研究人员互动产生的实验室效应，用户可能不会像在熟悉的环境中那样表现出色(Denvir，2017；Toms等人，2004)。他们也可能觉得有义务与系统进行交互，直到分配的会话结束(Zuccon等人，2013)。

现有实验室和实地研究的结果往往不能直接具有可比性，因为它们测量不同的行为不同，采用不同的研究设计。一些研究已经完成来检验研究设置对搜索行为的影响。

一些研究已经完成来检验研究设置对搜索行为的影响。博伦德等人。（2012）认为，实验室环境可能会产生一种“令人愉悦的效果”，这导致参与者试图通过在任务上投入额外的时间来取悦研究人员。Zuccon等。（2013）观察到，实验室参与者比来自MTurk的众包参与者（可理解为远程参与）提交了更多的查询。Denvir（2017）同样发现，远程参与者比实验室的参与者执行的搜索更少。这些研究表明&#