如何科学的做用户研究?
我是木南:
现在是一家公司的产品经理,工作中的用户调研一般分为两个场景:
1) 新需求场景评估
2)已上线功能的效果反馈
不管哪种情况,我们都需要通过科学的用研方式得出精准客观的结果,本文分享一下自己参与几次用研项目总结的心得经验。
本文引用了几个案例,所以篇幅会稍长,总体大纲分为以下几个部分:
1)明确目标
2)样本抽取
3)调研环节
4)关于KPI设定
5) 总结
一. 明确目标
明确目标,明确目标,明确目标! 重要的事情说三遍,因为不管是定量问卷调研还是定性电话访谈,核心的目标一定要明确并且唯一。
关于“明确”这里就不赘述了,所有的环节都是建立在目标清晰的基础上的,目标不明确调研就不要启动避免浪费资源。
下面谈一谈唯一性,我认为一次有效的调研,只要把一个核心问题调研透彻就是一次有效的调研。
调研主题案例:关于是否需要开发XXX功能的用户调研
第1次做调研时,我把问卷分为了4个部分。第1部分是基本信息(用于识别问卷是否有效);第2部分为“XXX功能的需求场景”,需求调研 ; 第3部分为 “XXX功能应该呈现哪些信息” ;第4部分“除了XXX功能其他场景的拓展”。
当时我认为调研要尽可能彻底全面,所以干脆把XXX功能如何做甚至还有没有其他功能需求都一并问。 但最后真的做PPT汇报调研结果的时候,发现后面3,4部分很多结论都被“阉割”了。原因很简单,因为报告的主题就是“XXX功能是否有必要做” , 没人关心该怎么做,要不要做其他的。
现在看来,当时调研的目的应该是“验证XXX功能的需求是否真实”,那么第3,4部分的问题完全可以删除。 而针对第2部分问题可以多角度多侧面的拆分几个细节的问题,进行交叉验证。尽可能的得出最客观的结论。
二. 样本抽取:利用“统计学”,让你的“样本无偏”
用户研究的工作是一个通过小的样本数据来推断整体的过程,我曾花了1个月静心研读了《统计学》这本书,发现里面的理论知识在用研抽样环节可以很好的指导这个环节的工作实践,确保我们的抽取的样本客观无偏。这里我们谈一下如何科学客观的抽取样本。
1.你的调研总体是哪些人?
判断调研总体是否正确的依据是“样本的总体和将来你用户或者KPI指标定义的人群是不是同一群体。
比如一次调研你从核心用户里面抽出了一批人调研需求。但是功能上线了,BOSS大人的KPI(业务指标)是全部用户该功能使用率,那么后果很可能是核心用户的需求反馈偏高,而导致你做出来的需求并没有那么多人去用。不要认为这个假设太简单,很多人会犯这样的蠢错误。
我举个栗子,网站上的留言板功能。
一共收集了30条留言,10条是无效信息。在有效的20条里面有10条反馈增加“XXX功能或XX功能类似功能”,如何评估这个需求?要不要认为50%的用户都反馈要做这个需求?
实际上是50%愿意花时间填写留言板,并且留下个人信息的忠实用户需要这个需求。这样的忠实用户又有多少呢,占网页版全量用户的多少呢? 如果用50%作为这个项目上线的KPI来评定,结果会不会悲剧呢?
2.利用统计学让你的样本无偏?
当我们明确了总体后,接下来要从总体中抽取样本。样本即为总体的一个子集,无偏样本是可以代表总体特征的子集。这里我结合一个栗子来详细说明。
口香糖公司有红黄蓝三色混装,这三种口香糖数量的比例为3:5:2,每颗口香糖味道持续的时间可能会有差异。
假设一共有1万颗口香糖(总体),我想知道这一万颗口香糖味道平均持续的时间。怎么抽取样本才能保证样本得出的平均时间可以有效代表总体的平均时间?
抽取样本前,我建议按以下几个点来检查,尽量减少抽样误差:
1)你的抽取空间是否是整个目标总体,如果不是可能会导致样本数据不齐全
2)抽样的单位是否正确
3)问题设置是否合理
4)抽取是否可以保障随机性
本例中我们已知口香糖只有三种颜色,并且我们知道三种颜色的比例; 那么我们可以按颜色比例来抽取样本。假如我们要抽取100颗口香糖作为样本,那么按照红黄蓝三种口香糖数量的比例为3:5:2来抽取,也就是:
在红色口香糖中随机抽取3/10 (红色口香糖比例)* 100(样本大小)=30颗红色口香糖,
在黄色口香糖中随机抽取5/10 (红色口香糖比例)* 100(样本大小)=50颗黄色口香糖,
在蓝色口香糖中随机抽取2/10 (红色口香糖比例)* 100(样本大小)=20颗蓝色口香糖。
最后这30颗红色口香糖,50颗黄色口香糖,20颗蓝色口香糖组成样本(100颗口香糖)。
同样的对于用户研究,我们也可以先对不同用户分类,按比例来抽取,可以减少抽样的误差。
三. 调研环节:用户已经发生的客观行为才是真实可靠的
我在调研环节分享三个问题:
1)如何设置问题?
2)如何辨识需求的真伪?
3)定量问卷要注意哪些事?
1.如何设置问题?
调研环节实质上就是设置问题的环节。我们先将问题按下图分类。如果没有需求,我们进行探索性调研。如果有需求目的,我们要确定知不知道原因,不知道原因那么这个问题应该是“疑惑”,知道原因但是没有解决方案,那么这个问题定性为“难题”。
1)探索性问题如何改进?
探索性的问题要从企业内部的内容和核心价值着手探求,具体步骤如下。
Step1: 首先先明确我们产品本身给用户带来的核心价值(或者服务)是什么?
Step2: 基于第一个问题,加上“为什么”?为什么用户需要这个服务
Step3: 在第二个问题的基础上加上“还有什么?” 还有什么服务可以让用户达成同样的目的
Step4: 仍然第二个问题的基础上加上“意味什么?” 我们的服务帮助用户解决了这个问题对用户来说意味着什么?
2)目的性问题如何改进?
Step1: 不要过早的给出“解决方案”,把解决方案去掉。
Step2: 如果是“难题”模式,修改为“疑惑”式,再次检查一下你理解的原因是不是真的原因
Step3: 思考我们为什么要解决这个问题?
2.如何辨识需求的真伪
我认为用户已经发生的客观行为才是真实可靠的。关于这我们通过一个栗子体会一下什么是已经发生的“客观事实”,什么是用户“想象”的场景。
案例:关于错题库调研
用户甲:统计错题,根据学生的作业和辅导材料两方面对比,出一些类似的题手动和电脑输入两种方式。
用户乙:没有准确的进行过错题统计,没有时间和精力,工作量非常大,如果有错题库非常好,减少老师工作量,还能有针对性的找到学生没有掌握的知识点。
3.定量问卷该应该注意哪些事项?
调研主题案例:语文学科的老师需不需要用网页版上课讲题
“语文学科网页版”调研问卷(修改前)
1、您所在的学校教室是否有多媒体设备和网络条件?
A. 有设备且有网络 B. 有设备但无网络
C. 无设备但有网络 D. 无设备且无网络
2、您平常使用哪些电子设备? [多选题]
A.智能手机 B.台式电脑
C.平板电脑 D.笔记本电脑 E. 其他
3、您多久使用一次X公司APP? [单选题]
A. 一周5次以上 B. 一周3~5次 C. 一周1~2次
4、您上课时是否会讲X公司APP上的题目? [单选题]
经常会讲,一周3~5次
有时会讲,一周1~2次
不会讲
5、您一般会讲X公司app上的哪些题目?[多选题]
A. 基础题目(字、词、句) B. 阅读理解(课内、课外)
C. 复习题目(单元、语文园地、期中期末) D . 其他
6、在课堂上不会讲X公司app作业的原因? [多选题]
A 纸质作业多,没有时间讲X公司的题 B. 对X公司的题目质量不满意
C. 班级使用X公司产品的人数少 D. 其他
7、您一般用什么方式讲X公司上的题? [多选题]
A. 手抄到黑板上讲题 B. 看着手机讲题 C. 用手机投影到黑板上讲题
8、如果X功能增加“网页版讲题”(投影讲题)功能您是否愿意尝试? [单选题]
A 愿意 B 不愿意 C 不确定
9、您不愿意尝试的原因是什么?
A 怕操作流程繁琐,用起来麻烦 B 没有多媒体或设备损坏(投影效果不好等)
C 学校规定老师上课不允许带手机 D 其他
看了这个问卷的初稿我梳理了一下几个问题,并针对其进行了修改:
(1)根据唯一性原则,调研目的是用户需不需讲题,对于用户如何讲题的问题删掉(2题,5题)
(2)将重点问题(第四题)拆解为2个问题分开询问
(3)讲题与不讲题为两类用户,应该有逻辑的组织问卷顺序
(4)问题中将“X公司”的标签隐去,消除用户对品牌的主观印象
(5)该假设式的询问为客观事实的描述。(修改第8题问法)
(6)每个选项要做到“完全穷尽,彼此独立”
“语文学科网页版”调研问卷 (修改后)
1、您所在的学校教室是否有多媒体设备和网络条件?
A 有设备且有网络 B 有设备但无网络
C 无设备但有网络 D 无设备且无网络
2、您一周使用APP布置几次作业? [单选题]
A 一周5次以上 B 一周3~5次
C 一周1~2次 D 其他
3、您上课是否讲过手机app上的作业题? [单选题] (注释: 讲题(答 4,5,7) 不讲题答(6,7))
A 曾经讲过 B 一直在讲 C 从来不讲
4、您上课讲手机app上的题目的频次? [单选题]
A 每天都讲 B 一周2~4次
C 一周1~2次 D 不会讲
5、您一般用什么方式讲手机app上的题? [多选题]
A 手抄到黑板上讲题 B 看着手机讲题 C 用手机投影到黑板上讲题
6、在课堂上不会讲手机app作业的原因? [多选题]
A 纸质作业多,没有时间讲手机app上的作业题 B 对手机app上题目质量不满意
C 班级使用APP的人数少 D 怕操作流程繁琐,用起来麻烦
E 没有多媒体或设备损坏(投影效果不好等) F 学校规定老师上课不允许带手机
G 其他
7、如果手机app的题目可以通过网页版上课投影出来辅助讲题,那种情况更与您当前的处境更接近? [单选题]
A 那真的太棒了!我上课不用再把题一道一道抄到黑板上了
B 我目前没有讲过APP上的题,但是上线了愿意上课尝试
C 无所谓,有了当然更好
D 平时教学工作那么紧张,上课从来都不讲app上的题目
四. 关于KPI指标设定
我建议当一份调研结果输出之后,依据结果制定自己的KPI之前一定要再次确认参加调研的用户是否可以代表最终的用户总体,从以下两个点去检查。
1.检查用户来源
比如问卷投放到微信群收取,是否要思考愿意加入微信群的用户是否比不愿意加微信群的用户本身就更加活跃; 比如某某网页上写着关于“X功能调研”,点击进入的用户会不会都是对“X功能”有所预知的用户。
2.检查问题询问方式
是否带了公司品牌植入,让用户产生了主观印象。
综上,我建议用户调研的结果可以当做需求迭代的参考,但是不要当做百分百的结论或者标杆。如果制定KPI这种关键指标上建议留有余地。
五. 结论
1.明确目标,目的要明确并且唯一。
2.抽样环节,总体要和KPI考核的总体一致;样本抽取要用统计方法随机抽取。
3.调研环节,用户客观发生的才是真实可靠的
4.KPI指标的确定,最好三思而后行留有余地。
我是猴子社群会员,知乎:木南