在线数据收集
推荐实验方案:
- 请确保您的IRB协议涵盖您的实验过程
- Use Qualtrics 编写调查/实验代码,然后将链接发布到亚马逊土耳其机器人(MTurk), 有关MTurk的一般操作方法:请参阅 here and here)
- 关于素质和心理实验编程的教程: see here
- 有关在HTML中编码的技巧:请参阅此 document
- 在人类神经科学实验室, 我们有使用文字和图片刺激来测试新旧识别记忆的直接经验, recall, 源内存(e).g.(如空间位置),以及各种创造性任务(如.g.、交替使用任务和远程关联任务). 有关模板,请联系 Preston. 我们在质量方面也有平衡和循环的经验.g., see this 一个关于循环的简短视频),这是适当和有效的实验设计所必需的!
- 如果使用Qualtrics,则有 FOUR 重要的事情:
- 1a)确保监控非任务表现(用于相关出版物); Permut et al., 2019)
- 1b)由于Qualtrics中的兼容性问题,1a中列出的代码在某些情况下可能无法工作
- 2)在线实验结束时, 每个MTurk员工都有一个唯一的代码,他们被要求输入MTurk的调查. 他们必须在提交人类智能任务(HIT)之前这样做才能收到报酬. 如果参与者不输入此代码,则不会付款.
- 例如,构建一个最后的问题,看起来像 this
- 3)确保你在MTurk创建一个资格,以确保MTurk不能重做你的实验
- 你为什么需要这个? See here and here
- 要获得您唯一的MTurk代码: http://uniqueturker.myleott.com/
- 在发布您的电子游戏正规平台时,您可以在您的MTurk请求者帐户中设置其他资格/限制, 请看这里的人类神经科学实验室 settings (正如你在图片中看到的那样, 我设置了一个限制,这样的电子游戏正规平台之前没有参与过, here called, 记住列表)
- E.g., We like recruiting participants with a HIT approval rate of >95% (meaning that those who participate are those that are likely to finish it as that is their prior history), 并且参与者至少有50个hit被批准,这意味着他们已经完成了相当数量的MTurk电子游戏正规平台(注意,这些设置遵循其他已发表的电子游戏正规平台).
- 还要注意一些限制, like age, 花费额外的钱(所谓的, “溢价限制”)
- 如何保存/提取您的数据(e).g., as a .csv file)
- 使用问题旁边的齿轮按钮打开变量命名. 复选框称为“变量命名”:这将保存实际选择的响应,而不是点击或选择的位置.
- 在导出部分中,确保导出 .CSV与'选择文本'选定(参见其他选项,如删除空格)
- 关键是,不要假设你所有的数据/回复都会被保存. 确保输出捕获它!
质量的替代方案
- 您可以直接在MTurk中编写Java/HTML代码, 然而,它不是基于gui的,学习和执行起来可能很耗时
- 如果对这种方法感兴趣,看这些很有帮助 视频和教程
- 此外,您还可以使用 REDCap or PsyToolkit
- REDCap 是基于调查的. 电子游戏正规平台服务@BC可以与电子游戏软件社区成员会面,讨论个别REDCap项目. 个人咨询或定制类咨询可通过电子邮件researchservices@bc.Edu或dalgin@jingye0769.com.
- PsyToolkit has an amazing library 经典的认知心理学实验模板有些你认为不适合在线数据收集(例如.g., Stroop Task, 心理旋转, 波斯纳提示任务, 威斯康星车分拣任务, Go/NoGo task, 返回抑制, Multitasking, etc.)
(不全面)在线数据收集清单
这些是建议,不是规定有关更多信息,请参阅此处)
1)在客户端代码中隐藏敏感内容
- 检查客户端代码中的敏感内容. 在浏览器窗口中打开实验程序. If you are using Chrome, click View > Developer > View Source. In Firefox, click Tools > Web Developer > Page Source. (谷歌“如何在[浏览器名称]中查看页面源代码”以查找其他浏览器的说明.)将打开一个新的浏览器窗口,其中包含您正在查看的实验特定页面的源代码. 滚动这段代码, 确保里面没有任何你不想让参与者看到的东西(e).g. 隐性收益值, 逻辑揭示了你的实验操作, 不同条件的名称, etc.).
- 混淆您发送给客户端的任何JavaScript代码,这样参与者就不能通过查看源代码来查看隐藏的值或过程的逻辑. 开源工具 javascript-obfuscator 由Timofey Kachalov创建,可以用来混淆JavaScript代码. javascript-obfuscator@0的Web UI.18.可以在 obfuscator.io. (更好的选择是将所有敏感内容保存在服务器端,但这并不总是可行的.)
2)测试你的程序
- 创建一个Mechanical Turk工作人员帐户,以便您可以在公开启动之前作为参与者测试您的程序
- 设置自定义资格并将其仅分配给您自己的工人帐户
- 使用分配给工人帐户的自定义资格启动您的实验, 阻止其他工作人员查看HIT
- 登录你的员工账户, 完成你的HIT至少8次, 每次使用以下8种配置之一(浏览器+操作系统):
- Chrome + Mac
- Chrome + Windows
- Firefox + Mac
- Firefox + Windows
- Edge + Mac
- Edge + Windows
- Safari + Mac
- Safari + Windows
- 阻塞移动设备, 或在移动设备上测试您的HIT,以确保您的程序正常运行. (You can simulate a mobile request in Chrome by selecting View > Developer Tools, 单击“切换设备工具栏”图标, 选择“中间层移动”,在弹出的设备工具栏中选择移动设备型号. 更多信息可在 这个页面的谷歌开发人员帮助中心.)
- 检查程序中每个页面的url,以确保它们不包含任何可能泄露您的实验操作的信息
- 检查您的记录数据,以确保所有活动都被适当地跟踪
- 让几个朋友完成你的调查,并记录他们对每个问题的回答时间, 这样你就对平均参与者完成这个过程需要多长时间有了一些感觉
3)保护自己免受低质量数据的侵害
- 总是包含一个中立的答案(如.g. “选择这里”)作为下拉列表等表单元素中的预选或默认响应
- 测试多种回应方式(例如.g. 径向、滑块、下拉)来确定响应类型是否会影响结果
- 不将资格要求作为电子游戏正规平台注册过程的一部分, 相反,使用资格限制(如国家/地区), 完成的电子游戏正规平台数目, etc.)或预先调查以限制资格(Siegel et al .)., 2015)
- 通过Mechanical Turk API分配自定义资格来防止重修, 或者使用Qualtrics的内置系统
- 收集IP地址和位置数据,因为这些数据可用于检测机器人活动
- 在实验开始时使用抄写任务,要求参与者抄写一张手写文字的照片
- 使用不明显的模式(如.e. 多项选择理解题的答案不应该都被分配到每个选择题列表的顶部。
- 在你的调查结束时包括一个强制性的自由形式的回答(如果他们没有回应/评论,你可以指示参与者简单地键入“na”)
- 使用自定义JavaScript计算主题离开页面的次数, 跟踪主题离开页面的时间, 或者甚至在参与者离开页面时显示弹出消息, 警告她,如果她在完成程序之前离开,HIT将不会被批准. (您可以在Qualtrics中找到一些实现这种跟踪的示例代码,见上文)
4)减少人员流失的负面影响
- 询问个人人口统计问题, 并在你的手术开始时宣布有机会获得额外的经济奖励, 因为这两种措施都被证明可以减少辍学率(Reips), 2002a)
- 在程序开始时,通过集中动机上的不利因素来引入一个高障碍任务
- 在实验开始前,请参与者估计他们完成整个实验的可能性
- 用呼吁良心的方式发出警告.g. “我们的电子游戏正规平台依赖于高质量的数据, 当参与者未能完成整个过程时,这种质量就会受到影响.”) (Zhou & Fishbach, 2016)
- 使用练习试验, 试行新的实验方案, 或者要求参与者在开始焦点实验程序之前完成一项无聊的任务
5)分析数据
- 等待,直到所有数据都已发布到服务器, 或停用您的质量调查, 在开始分析之前-一些平台(例如.g. 在参与者发起响应后的一周内,Qualtrics不会将未完成的响应发布到服务器, 在这些数据公布之前,你将无法衡量流失率
- 检查你收集到的每一个自由形式的回复,寻找可疑的模式.g. 我在数据中检测到的一个脚本从周围的页面复制文本, 混淆了单词, 然后将结果粘贴到自由格式响应框中)
- 检查重复的IP地址和经纬度坐标, 因为大量这样的重复信息可能是机器人活动的标志(Bai, 2018)
- 将浏览器和操作系统作为分析的因素, 因为系统配置可能会影响参与者与您的过程的交互, 并被发现与可能影响结果的重要个体差异相关(布坎南) & Reips, 2001)
Arechar, A. A.克拉夫特-托德,G. T., & Rand, D. G. (2017). 加班:参与者的特征和行为在亚马逊土耳其机器人上如何随时间和一天而变化. 经济科学学报,3(1), 1-11.
Bai, H. (2018). 重复GPS坐标可以检测到MTurk上大量低质量响应的证据. 检索自:http://www.maxhuibai.com/blog/evidence-that-responses-from-repeating-gps-are-random
Behrend, T. S., Sharek, D. J., Meade, A. W., & Wiebe, E. N. (2011). 众包调查电子游戏正规平台的可行性. 行为电子游戏正规平台方法, 43(3), 800.
Buchanan, T., & Reips, U.-D. (2001). 在线电子游戏正规平台中的平台依赖偏差:Mac用户真的会有不同的想法吗? In K. J. Jonas, P. Breuer, B. Schauenburg, & M. Boos (Eds.), 互联网电子游戏正规平台视角:概念与方法.
Casey, L. S., Chandler, J., Levine, A. S., Proctor, A., & Strolovitch, D. Z. (2017). MTurk工人的跨期差异:基于时间的样本变化和在线数据收集的含义. SAGE Open, 7(2), 2158244017712774.
Chandler, J., Mueller, P., & Paolacci, G. (2014). Nonnaïveté在亚马逊机械土耳其工人:后果和解决方案的行为电子游戏正规平台. 行为电子游戏正规平台方法,46, 112–130.
Chandler, J. J., & Paolacci, G. (2017). 为了一毛钱而撒谎:大多数预筛选者的回答都是诚实的,但大多数电子游戏正规平台参与者都是骗子. 社会心理与人格科学,8(5), 500-508.
Dennis, S. A., Goodson, B. M., & and Pearson, C. (2018). turk工人使用低成本的“虚拟专用服务器”来规避筛选方法:一份电子游戏正规平台报告. SSRN提供: http://ssrn.com/abstract = 3233954
Krantz, J. H., & Reips, U. D. (2017). 基于网络的电子游戏正规平台现状:一项调查和课程纳入的呼吁. 行为电子游戏正规平台方法, 49(5), 1621-1629.
Necka, E.A., Cacioppo S., Norman G.J., Cacioppo, J.T. (2016). 测量土耳其人问题行为的普遍性, Campus, 及社区参与者. PLoS ONE, 11(6): e0157732.
Plant, R. (2016). 关于计算机心理学实验中毫秒计时准确性和潜在复制失败的提醒:一封公开信. 行为电子游戏正规平台方法, 48(1), 408-411.
Reips, U. D. (2002a). 基于互联网的实验标准. 实验心理学, 49(4), 243.
Reips, U. D. (2002b). 基于网络的心理实验:5个注意事项和5个注意事项. 社会科学计算机评论,20 (3), 241-249.
Reips, U. D. (2010). 基于互联网的电子游戏正规平台的设计和格式. 进行在线行为电子游戏正规平台的先进方法, 29-43.
夏普·韦斯林,K., Huber, J., & Netzer, O. (2017). 土耳其人文字误读:评估与解决方法. 消费者电子游戏正规平台杂志,44(1), 211-230.
Siegel, J. T., Navarro, M. A., & Thomson, A. L. (2015). 公开列出资格要求对MTurk的影响:一项涉及器官捐赠的调查, 招聘的脚本, 以及提升的感觉. Social Science & Medicine, 142, 256-260.
Zhou, H., & Fishbach, A. (2016). 在网络上进行实验的陷阱:无人看管的选择性流失如何导致令人惊讶的(但错误的)电子游戏正规平台结论. 人格与社会心理学杂志,2011(4), 493.