离谱的问卷调查
转载或使用文章内容请标明出处
作者:邱宗满
目录
1 流程与结果
2 问卷组卷思路
3 量表选择
4 个人信息设定
5 网络问卷调查的建议
1 流程与结果
于2020年4月21日,使用腾讯问卷制作电子问卷,并通过公众号文章进行发放,问卷被判定有效后给予受访者一定金额的红包作为回赠。(通过腾讯问卷平台只发放了部分红包,其余通过事后对问卷有效性进行人工判断,并邮件联系受访者进行回赠)
共收回问卷1348份。
其中,扣除不同意作答、答卷时长小于150秒、未通过测谎题等个案,最终剩余有效问卷409份。为了使问卷可用于讲解各类特殊情况,因此问卷中仍保留部分问题数据,读者可自行发现。目前公开有效数据的2/3,待教程制作完毕后将会公开1348份原始数据。
数据和说明可通过公众号下方菜单栏进入下载,资料课程→所有资料→免费公开数据→data1。
问卷样卷可扫描下方二维码进行浏览。
2 问卷组卷思路
调查主题主要为迎合教程中包含的各类数据分析方法,因此问卷设定没有核心概念,而是很杂:二分数据、填空题、单选题、多选题、离谱的分类、长量表、短量表、单维量表、多维量表、不同尺度、自由作答可缺失(避免迫选)等等。问卷组卷结果虽然较为离谱,但是问卷组卷过程严谨,提供了量表的中英文对照、反向与计分细节、引用信息、指导语等,并且具有合理的页面编排(控制每页题量),也具有知情同意等流程。
3 量表选择
为节约篇幅,量表的引用信息和详细内容见Excel文件。
在量表选择上,首先,为了确保数据能做出一个比较基本且勉强合理的中介模型,选择了单维度5题的生活满意感量表(Satisfaction With Life Scale)、单维度10题的自尊量表(The Self-Esteem Scale)、两维度共12题的简版无聊倾向量表(Boredom Proneness Scale-Short Form)和单维度多版本共9题的孤独感量表(ULCA Loneliness Scale)。
罗森伯格的自尊量表在国内应用广泛且具有争议,特别是其第8题“我希望我能为自己赢得更多尊重”作为一道反向题在国内文化下水土不服,有学者建议将其作为正向题使用或者删除(之后的教程中会详细讲解),也有学者建议采用台译版。读者在使用数据时可以感受一番。
孤独感量表具有多个版本(目前找到3个主要的英文版),且其题项表达差异较大,《心理卫生评定量表手册》里采用的是第三版(但其引用信息有问题),而此次调查中采用的是第二版的简版。第二版的简版再经过国内学者翻译后,由8题简化成6题版本——但也出现问题。譬如,8题英文版里的“I am an outgoing person”被翻译为“我是一个愿意交朋友的人”并作为反向题出现,导致其表现较差,被国内学者删除。我在问卷设定时,将8题中文版完整保留,同时将“I am an outgoing person”译为“我是一个外向的人”作为正向题加入量表,这样一来,一个调查中就同时具有3个主要的版本:6题中文简版、8题英文简版的中译版、8题英文简版的修正版。这种量表设计技巧也可以用在日常调查中,譬如对上述的自尊量表也可以同时合并中译版和台译版,就能以更少的题目数量拥有更多版本的数据。
接下来的量表就是刻意选择的结果。精神气候量表(Spiritual Climate Scale)编制时用于护理领域,因此题项描述均是“在科室里……”。这是为了向读者展现量表应用于不同人群的情况,这也是新手研究者容易犯的错误——例如将精神病患者专用的问卷用于普通人,导致数据全是极端分布。当然,该量表描述还是比较通用的,即使非护理工作领域,也有其他工作具有“科室”环境,又或者读者可能自行用“教室”等周围环境代入,因此,这个量表的结果将会很有趣。此外,这个量表可能与孤独感量表较为接近,在具体数据分析中,如果两者相关不大,且由于“精神气候”概念与其他概念没有理论关系,我们甚至可以将其作为标识/标签变量(marker variable)应用于共同方法偏差的说明中。
聪明才智量表(Cleverness Scale)是一个4维度的量表,每个维度题项数量不多,适合后期的潜变量建模,包含二阶因子(Second-order factor)、双因子(Bifactor)以及题项打包的分析,尽管量表中有些题项的因子载荷并不是很好。而且该量表底下包含批判性思维、创新思维等,比较适合作为调节变量,这是额外的用途。与此同时,这个量表也是一个对自己正面品质的自评量表,容易出现自评过高现象,或许我们还可以将其与社会赞许性相联系。
马洛-克罗恩社会赞许性量表(Marlowe-Crowne's Social Desirability Scale)是应用于社会赞许性测量的重要量表。原量表题项数量过多,经国内学者研究后修订为13题的中文简版。我们还需要注意到,这是一个两点计分(0=否,1=是)的量表,数据较为特殊,这可能关系到我们的信度计算等方面的特殊情况。当然,如果以后对分类数据的因子分析开始得到推广后,我们还可以将其用于四分相关等方法的练手。
为避免问卷过长,在组卷时只使用了上述量表。
4 个人信息设定
一般来说,个人信息作为隐私信息,应该置于问卷末尾。根据门槛效应,人们对要求的接受总是从易到难。我们可以将量表的描述看做是容易的题项,而个人信息因为包含隐私,是更难(要求更大)的选项。如果我们在问卷开头就设置隐私信息,可能会引起受访者不适,进而在作答中进行隐瞒;如果我们将其置于末尾,则受访者更容易接受,毕竟已经在问卷上花费了许多时间。当然,也有另外的说法,认为正经的问卷调查一开始就比较严肃,也进行了某些知情同意的确认,可以将隐私信息直接置于问卷开头。前些日子,笔者的师妹为做毕业论文发放了网络问卷的前测版,却发现较多受访者建议将个人信息置于问卷开头。因此,这可能需要读者在操作中自主判断。
在个人信息里,我也置入了常见调查项:性别、年龄、学历、职业和月收入。
需要注意的是,年龄部分我采用了填空题的方式让受访者进行输入,这可能导致受访者填出“120”等离谱的年龄,这部分个案过后可能会予以删除。当然,在实际操作中如果为了避免这种情况,可以将年龄设置成数字选择,并控制数字范围,又或者采用年龄段的方式让受访者选择。年龄段(16岁以下、16-24岁等)方式比较适合一些不好透露具体年龄,但是愿意透露大概年龄段的群体,比如大龄单身女青年、男青年。如果是在纸质问卷调查中,情况则与本次调查一样,自由书写年龄。
在职业方面,读者可能已经发现——这职业是不是也太细分了呀?没有错,这是故意的。过于多的选项在小样本调查中并不适合,这部分结果也将在今后的教程讲解中具有教育意义。
而在月收入方面,我原本也想设更多的选项,后来想想,还是只设置了6档工资。这是一个有序的选择,那它在实际应用中又具有什么意义呢?例如我们在进行方差分析时,常常遇到分类过多或者某个分类个案较少的情况,那我们可能需要对分类进行合并,此处的工资档就非常适合进行合并,例如将“1000以下”与“1000-2000”合并为“2000以下”,也完全不违背逻辑。
之后,我还就较常使用的社交软件设置了多选题,这类题项适合进行多重相应的频率分析,常用于市场调研。
最后,还有进入本调查的途径选择题以及填卷认真程度自评分数。进入途径只是单纯为统计,以及,可以作为删选样本的一个依据。而填卷真人正度自评分数,类似于某些手机成瘾调查中,调查者可能设置了专门的手机成瘾量表,并额外自制题目询问受访者的手机使用时间。比如,题项“我每天使用手机的时间为……”,下设“2小时以下”、“2-4小时”和“4小时以上”等等,也可用于分析。
5 网络问卷调查的建议
网络问卷不可取吗?是什么原因?怕填卷者不认真吗?
我们在网络问卷中应该考虑的有很多,抽样问题是其中一个。我们在纸质问卷调查中,比较容易控制抽样问题,比如选择某个学校进行整群抽样,但是许多非专业研究者在网络问卷中属于随机发放,无法保证样本的构成。在这方面值得学习的是,有的研究者使用电子问卷让自己的学生进行填写,以学号作为识别信息,这样子就能解决抽样问题。
受访者信息精确度与填卷认真程度是另一个问题。网络问卷往往无人监督,受访者容易随便填写问卷,存在反应偏差(为了快速做完问卷,常常规律作答)。并且,网络的一个特点便是匿名性,受访者更可能随意填写个人信息。虽然在纸质问卷中也可能出现“年龄120岁”的情况,但是纸质问卷中由于调查者距离较近而产生的压力更容易使受访者填写真实情况。
尽管纸质问卷和网络问卷之间还有许多可以谈论,但调查流程的控制可能是缩小两者差异的最重要因素。上述两个问题其实都反映出网络问卷较难控制的问题,如果我们可以解决,那网络问卷自然而然也是可取的。甚至于,网络问卷更绿色环保、无需手动输入数据也避免了其过程带来的误差等,而且网络问卷一样易于做追踪研究(通过学生学号进行关联)。
此外,还需要注意的是,在网络问卷中,如果不是为了像我一样做出离谱的调查问卷,一般不会将红包直接内置于调查问卷中,而是会让受访者留下支付宝,在问卷审核通过后才发放一定金额的红包——就类似于招募被试进行实验一样。如果通过问卷平台进行有偿问卷收集也可以,就是费用较高,以及自己可能无法掌握调查流程的具体情况等。