用研实操-关于问卷平台的可用性(SUPR-Q)调查
标准通用的百分等级量表(SUPR-Q):常用于测量网站可用性的量表之一。通过一系列的评估和测试从最初的13个简化到目前使用的8个项目(电商网站在可信度上有2个额外的项目),分别测量网站的可用性(Usability),可信度/信任(Trust & Credibility),外观(Appearance)和忠诚度(Loyalty)。其中忠诚度的测试包括一个5点评分的问题和一个净推荐值的问题,其它几个维度均是两个5点评分问题。
SUPR-Q分数=5点分值题目的平均分+NPS问题得分的一半;购买了官方数据库的用户可以将这个分数转化为百分等级分数,即可知道在整个数据库中,所测试的网站优于/劣于百分之多少的网站。
用户属性
本次调查分3次进行,分别收集了问卷星(64人)、问卷网(51人)和腾讯问卷(44人)3个平台的SUPR-Q分数。总共获取有效问卷516份。如图:用户的年龄分布集中在18~25岁之间,且以女性用户为主。
值得警惕的是:由于答卷全部来源于问卷星的互填问卷功能,存在一定程度的取样偏差。这些用户不完全代表3个平台的用户群体,但基本描述了问卷星的用户属性。
用户的平台使用经验:
A) 在调查中通过询问用户使用过的问卷平台为关联问题,判断是否进一步回答SUPR-Q量表。从结果中可以看出,用户平均使用过的的平台个数为2.05个,体现出较高的用户忠诚度;除了问卷星外,用户最多使用的平台为问卷网和腾讯问卷。
B) 在3次调查中均询问了用户在平台上发布/收集问卷的次数。如图,可以看出不论是哪个平台,参与本次调研的用户都是以发布问卷次数在3次以下的初级用户为主。用户在这一水平的一致性也便于后期SUPR-Q分数的对比。
SUPR-Q量表
A) SUPR-Q分数:我将网站在各维度上的得分与NPS问题得分的一半相加得到各问卷平台的SUPR-Q总分。如图,问卷星获得最高得分20.66,而问卷网和腾讯问卷的分数分别为:18.75和16.91。需要注意的是,这些数值并不是最终的SUPR-Q百分等级分数。
B) 维度表现:接下来,我们看一看三个平台在SUPR-Q所测量的4个维度的表现如何。如图:问卷星在各个维度均表现良好,而腾讯问卷则在4个维度上均有所不足。3个平台在外观维度上的表现均有待提高。
值得注意的是,我们可以看到平台在忠诚度这一维度上表现出较大的差异。我认为研究取样的偏差将是主要原因。
NPS得分
如前文所述,SUPR-Q中包含了一个净推荐值的问题。因此,我也能够在网站可用性之外收集到3个平台得到NPS得分。如图,3个平台中只有问卷星获得了25分的净推荐值,其他两个平台的NPS得分均为不太健康的负值。
总结:从整体的调查结果来看,问卷星无疑在SUPR-Q得分和净推荐值分数上均占有一定的优势。由于取样的偏差,无疑是不能对这次调研的结果做出任何结论的。但是,通过这次调查学习和熟练了SUPR-Q的使用,对我个人而言还是非常有意义的!
写在最后的唠叨:
有一次群里有人问了那个平台支持在问卷中设置关联、跳题和引用的逻辑。我推荐了问卷星,然后另有人推荐了腾讯问卷。我才知道,原来腾讯的业务覆盖这么广。在那之后的几天,又在微信公众号里看到了一篇文章比较了各个问卷平台的使用。所以才有了这次的调查,同时也是熟悉了SUPR-Q的使用。在选择问卷的时候还考虑了要不要用20个项目的WAMMI量表,但在翻译完两个量表后还是选择了前者。另外,英文的量表直接翻译成中文在表达和理解上还是有着一定的差异,还是希望有国内的研究者编译更适合国人的问卷吧。
拓展阅读:
问卷平台哪家强? 中作者从各个角度比较了8个问卷平台的优劣。