信度与效度的理解、案例--部分补充
为了更好地理解信度和效度,通过对网络资源的整理,以备后用。
1.直观理解信度、效度及两者关系
1.1 对信度的理解
一、通俗的例子:假如你在一台体重秤上连续称3次,3次读数都不一样,这说明这台秤没有信度。
二、与学习相关的例子:一份调查问卷,被测试对象没有认真填写,就说这份调查问卷没有信度。
信度分析的目的是检验受访者是否真实的回答了问卷的问题,收集上来的数据是否真实可靠。
1.2 对效度的理解
一、通俗的例子:加入你在另外一台体重秤上连续称3次,3次读数均一样,说明这台秤有信度。但如果这3次一致的读数并不准确,说明这台秤效度不够或没有效度。这时再换一台体重秤,连续测3次,读数一致且准确,说明这台秤既有信度又有效度。
二、与学习相关的例子:一份非常简单的数学试题,多名被测试者全部答对,说明数学试题有信度,但无法测试被测试者的数学能力。如果再换一套难易适中的数据试题,多名被测试者答对的题数可能各不相同,如果能够将这些被测试者的成绩分成好、中、差,则可以认为该试题有较好的效度。
效度是指测量工具能够准确测量出事物所要测量特性的程度,效度越高表示测量真实性越高,由于真实值往往未知,所以我们对于效度的评价也不可能永恒不变的,随着设定和对比的“真实值”变化,效度指标也会发生变化。也就是说,效度的指标的种类会有很多。
1.3 信度与效度关系
Bias 指标衡量了测试数据和真实数据之间的差异。
xdandxd.jpgVariance 表示在不同测试集间,预测效果间的偏差程度,偏差程度越大,variance 越大,反之越小。
2.信度案例与计算操作
2.1 外在信度
2.1.1 重测信度
是指用同样的测量工具,对同一组被测者隔一定时间重复测量,考察两次测量结果的相关程度,可以直接采用相关分析,得到的相关系数即为重测信度系数。
2.1.2 复本信度
是指让同一组被测者一次填写两份平行问卷,计算两份数据的相关系数,复本信度要求两份问卷除了在问题表述不同之外,其余方面要完全一致,实际操作比较困难。
真实案例:
在初次调查的同时,对健康相关知识部分采用内容、形式、难度与原始问卷高度相似的的复本对50人进行了调查。统计分析健康知识部分原本与复本的积矩相关系数,得健康相关知识部分的复本信度为 0.897。
参考文献:
[1]张瑞红,王宝珠,藏爱红,李颖芬,王学蛟.中年女性健康知、信、行问卷初步编制及信、效度检验[J].中国护理管理,2009,9(01):35-37.
2.2 内在信度
2.2.1 折半信度
是指将一份问卷分成两部分,计算这两部分的相关系数,即折半信度系数,以此来衡量整份问卷的信度。
真实案例:
折半信度将SF-36量表各维度按奇偶序号分为两部分,分别计算两部分总分并求出二者之间的相关系数,结果r为0.705,经Spearman-Brown[R=2r/(r+1)]公式计算,得到0.827,说明量表具有较好的稳定性。注意折半信度在这里作者表述为量表的稳定性。
参考文献:
[1]龚晓妍,赵岳,魏力,宋崑,从继妍.SF-36量表应用于天津市滨海新区职业人群的信度和效度研究[J].天津医科大学学报,2019,25(04):408-411.
2.2.2 α系数
是最常用的测量内部一致性信度的方法,计算出的克隆巴赫α系数是所有可能折半信度的均值,取值在0-1之间,系数越高一致性越好,说明数据的真实性越高。α系数是问卷数据真实性检验的最重要指标。
真实案例:
D31717EF-70C7-4DB5-82A4-9995C9D393CC.jpeg
信度采用Cronbach’s α系数作为评价量表内部一致性信度的指标。中文版SF-36的Cronbach’s α系数为0.767。由表2可知,在删除量表中任一项目后,量表的Cronbach’s α系数为0.730~0.772,无特异性高值,由此说明中文版SF-36的内部一致性良好。
参考文献:
[1]龚晓妍,赵岳,魏力,宋崑,从继妍.SF-36量表应用于天津市滨海新区职业人群的信度和效度研究[J].天津医科大学学报,2019,25(04):408-411.
3.效度案例与计算操作
3.1 内容效度
是一种定性的评价标准,主要通过经验判断进行,主要是通过专家和有经验的业内人士进行评价的方法。还可以对问卷在正式使用前进行小范围的使用,结合结果进行题项的修正以说明问卷的有效性。内容效度一般不需要使用SPSS进行数据分析,但是需要专家和权威老师的指导,前测修改过程,最后对问卷的内容效度进行说明。
专家判断
问卷前测
真实案例:
经5名医疗专家和1名护理专家评定后认为,本量表测定的条目基本上可以反应神经内分泌患者的生活质量,且涵盖了此类患者的特征性症状和表现。量 表 的 内 容 意 思 基 本 清 楚,通 俗 易 懂,不易产生歧义,且 相 对 完 整,可 保 留 原 条 目。总 量 表的CVI值为0.889,各分量表CVI为0.667~1.000。
参考文献:[1]张丽燕,李洁.中文版胃肠神经内分泌肿瘤患者生活质量量表的信效度评定[J].护理学杂志,2019,34(13):27-30.
3.2 结构效度
是指测量题项与测量方向之间的对应关系
分析方法:因子分析
真实案例:
C3B51598-75AC-4B3A-9706-4D4F0B2B8633.jpeg
对 量 表 除5个 单 项 条 目 外 的16个条目进行探索性因子分析。KMO 抽样适度测量值为0.870,Bartlett球形检验的χ2=1385.782,P<0.01,说明 问 卷 适 合 进 行 因 子 分 析。采用主成分分析法,最大方差正交旋转后提取到5个特征值>1的公因子,累积贡献率为63.10%。其中条目17在2个因子(因子3治疗相关症状和因子5社会 功 能)的 因 子载荷均>0.4,结合条目的具体内容、对因子内涵的分析以及因子载荷高低 等 多 项 指 标,在 咨 询 专 家 后,仍将其归属至原维度(因子5)。5个因子包含的题项和未进入因子的条目与编制问卷使用的理论框架大致符合,说明量表有较好 的 结 构 效 度,具 体 各 条 目 因 子载荷度见表2。
参考文献:[1]张丽燕,李洁.中文版胃肠神经内分泌肿瘤患者生活质量量表的信效度评定[J].护理学杂志,2019,34(13):27-30.
3.3 校标效度
人为指定确定的结果作为“准确标准”,考察其他待测结果与其是否一致。例如,考试卷中的选择题都会有准确答案,那么每题的正确率就是这个班级在该题上的效度。
分析方法:相关分析
真实案例:
选 用 QLQ-C30 作 为 效 标,用Pearson相关系数评价两量表的相关性判断其效标效度。中 文 版 GI.NET21量 表 总 分 与QLQ-C30总 分 呈 中 度 的 相 关 性 (r=-0.471,P<0.01)。两量表各维度间 也 均 呈 不 同 程 度 的 相 关(均 P<0.05)。
参考文献:[1]张丽燕,李洁.中文版胃肠神经内分泌肿瘤患者生活质量量表的信效度评定[J].护理学杂志,2019,34(13):27-30.