题目的综合分析和筛选
在题目的筛选过程中:
第一,要看区分度。低区分度的题目是不能有效鉴别被试的。根据测验的目的,选择测题优劣的评鉴标准,一般来说 0.3 以上是比较好,但是因为考虑到区分度的相对性,在评价项目的有效性时,应考虑到测验的目的、功能以及被试团体的总体水平,不能将区分度作为筛选试题的绝对标准。
第二,要考虑难度。难度一般在 0.35 到 0.65 之间比较好,但就整个测验而言,难度为 0.5 的测题应居多 ,也需要保留一些题目难度较大和较小的测题,使难度呈一个以 0.5 为平均分的正态分布,难度分布广一些,梯度大一些,这样测验分数才能将各种水平的人区分出来,并且区分得较细。但是同时,要考虑到量表的信度,难度的分布又不能太广,这不利于信度。
如果是人格测验、态度测验以及心理健康测验等等,所需的则不是难度,重要的是保证每个被试能理解测题的意思。如果是标准参照测验,则应该根据编制测验时确定的目标来选择难度。
根据区分度和难度水平选择出合适的测题后,应该对照与原来的双向细目表考虑所选的测题所代表的行为类别之间的比例是否失调,如果失调,应加以调整。
第三,要进行选项分析。就是对选择题后面提供的几个答案的分析。此时主要的异常情况有:正确答案无人选择,或少于其他选项的人数;错误答案选的人太多;正确选项上的高分组选择人数少于低分组;错误项上的高分组选择人数又多于低分组;某个选项无人选择;未答的人数较多。
第四,分析出现上述异常情况的原因,并酌情修改选项或题目。不要轻易丟弃不符合要求的项目,因为:( 1 ) 用内部一致性分析所求得的区分度不一定能代表试题的效度。(2 ) 区分度指数低的试题不一定表示该题有缺点。要详细分析区分度低的原因,并保留题目,作为测验一项重要的学习结果的记录,以备日后使用。(3 ) 课堂测验的项目分析资料的有效性是随时空而变化的,并非固定不变的。(4 ) 研究表明,编制新的项目需要的时间几乎比修订现存项目长 5 倍。
另外,如果做因素分析,还要看题目的负荷量与题目间的相关,某个因素中的题目过少的,也要进行删除。题目的筛选也要考虑量表的长度。一个测验的长度应该根据测验的时限、 对象的年龄、 测验的性质而定。