第5章 测量的信度
1解释信度和信度系数的定义。
答:(1)信度的定义
①信度是指测量的一致性或可靠性程度,即若能用同一测量工具反复测量某人的同一种心理特质,则其多次测量的结果间的一致性程度就是信度。研究信度应注意两方面的问题,一是测验分数一致性的程度,二是造成分数不一致的原因。
②在测量理论中,信度被定义为:一组测量分数的真变异数与总变异数(实得变异数)的比率。即:
rXX=ST2/SX2
式中rXX代表测量的信度,ST2代表真分数的变异数,SX2代表实得分数的变异数,即总变异数。该定义有两点要注意:a.信度指的是一组测验分数或一系列测量的特性,而不是个人分数的特性;b.真分数的变异数是不能直接测量的,因此信度是一个理论上构想的概念,只能根据一组实得分数作出估计。
(2)信度系数的定义
信度系数是表示测验信度高低的数值,是表示测量一致性的指标。信度系数是同一被试样本所得的两组数值之间的相关程度,它实际上是真正分数与实得分数之间的决定系数,可以解释为在实得分数的变异数中有多少比例是由真分数的变异决定的。
根据计算方法的不同,可分为四种:①稳定系数:指运用同一测验对同一组被试隔一段时间测试两次,计算两次测试分数相关的数值;②等值系数:指运用同一测验的两个等值复本对同一组被试施测,计算两组分数相关的数值;③内部一致性系数:指计算同一测验内部题目之间得分的相关的数值;④稳定与等值系数:指两个平行的测验测量同一批被试所得结果的一致性程度的数值,且两个复本测验是相距一段时间分两次施测的。
2考察一个测验的信度有什么意义?
答:信度是衡量一个量表质量高低的重要指标之一,在编制和使用量表时都有重要意义。具体地说,信度的意义表现在以下三个方面:
(1)信度是测量过程中所存在的随机误差大小的反映
如果信度很低,测量的随机误差就很大,测量的结果就会与真分数发生较大偏差。由于这种偏差完全是随机决定的,所以人们无法相信测量的结果。
(2)信度可以用来解释个人测验分数的意义
用信度来估计个人分数,这就是测量标准误差的应用。人们用一个团体两次施测的结果来代替对同一个人反复施测,以估计测量误差的变异数。此时,每个人两次测量的分数之差可以构成一个新的分布,这个分布的标准差就是测量的标准误,它是此次测量中误差大小的客观指标,利用这个指标就可以对团体中任何一个人的测验成绩做出恰当的解释。第一,估计真实分数的范围,即能通过区间估计的办法指出测量的精度;第二,了解实得分数再测时可能的变化情形。最简单的方法是考虑某人重测时在某参考团体中的位置的改变情形,假如测验无误差,则重测时每个人的相对位置不变。测量的标准误可用下式计算:
式中SE为测量的标准误,Sx为实得分标准差,rXX是测量的信度。
(3)信度可以帮助进行不同测验分数的比较
通常来自不同的测验的原始分数是不能直接进行比较的,只有参照同一个团体的平均分数,将它们转换成相同尺度的标准分数,才能进行比较。具体办法是采用“差异的标准误”来进行差异的显著性检验,其公式为:
式中,S为相同尺度(如T分数的S=10)的标准分数的标准差,rXX和rYY分别是两个测验的信度系数。
3信度有哪几种类型?分别如何估计?
答:(1)信度的类型
由于测验分数的误差来源不同,估计信度的方法也不同。信度主要有重测信度、复本信度、分半信度、同质性信度、评分者信度五种类型。
(2)信度的估计方法
①重测信度
重测信度是使用同一种测验,对同一组受试者,前后施测两次,再根据受试者两次测验分数计算出的相关系数。计算重测信度有下列3个假设:a.所测量的特性必须是稳定的;b.遗忘与练习的效果相同;c.在两次施测期间被试的学习效果没有差别。由于此3条假设难以做到,所以有些测验不宜用再测法估计信度。一般只在没有复本可用,而现实条件又允许重复施测的情况下才采用此法。只有那些不容易受重复使用影响的测验才能用再测法估计信度,如感觉运动测验、人格测验等。在测验手册中报告此种信度时还应说明时间间隔以及在此间隔中被试的有关经历,如受过何种教育训练、心理治疗以及有何学习经历等。
②复本信度
如果一种测验有两个以上的复本,则可根据一群受试者接受两个复本测验的得分计算出相关系数,此相关系数即为复本信度。复本是与某个测验在内容范围、编制方式、题目数量和难度、记分标准等各个方面都相同的一个或几个测验。两个复本测验连续施测,所得等效本信度称为等值性系数,其分数的不一致主要来自题目取样的差别;两个复本测验相距一段时间,所得等效本信度称为稳定与等值性系数,其误差来源于时间取样和内容取样。在报告复本信度时,也应说明两次施测的间隔,以及在此间隔内被试的有关经历。
③分半信度
分半信度是将测验题目分成对等的两半,根据各人在这两半测验的分数,计算出相关系数,将此相关系数作为信度的指标。当测验没有复本且只能实施一次时,通常采用分半法估计信度。这个相关系数代表了两半测验内容取样的一致性程度,又称为一致性系数。
④同质性信度
同质性信度是指测验内所有题目得分的一致性程度。同质性指的是测验内部所有题目间的一致性,这里的一致性是指分数的一致,而不是题目内容或形式的一致。同质性信度只需一个复本,施测一次,计算方法包括库德-理查逊公式、克伦巴赫系数、荷伊特信度、因素分析方法。
⑤评分者信度
随机抽取相当份数的试卷,由两位评分者按记分规则分别给分,根据每份试卷的两个分数计算其相关系数,即得评分者信度。一般要求在成对的、受过训练的评分者之间平均一致性达到0.90以上,才认为评分是客观的。
4比较各种信度系数相应的误差来源。
答:(1)主要的信度系数
①重测信度:用同一种测验,对同一组受试者,前后施测两次,再根据受试者两次测验分数计算的相关系数。②复本信度:如果一种测验有两个以上的复本,根据一群受试者接受两个复本测验的得分计算的相关系数。③分半信度:将测验题目分成对等的两半,根据各人在这两半测验的分数计算的相关系数。④同质性信度:通过测定测验内所有题目得分的一致性程度而得到。⑤评分者信度:随机抽取相当份数的试卷,由两位评分者按记分规则分别给分,然后根据每份试卷的两个分数计算的相关系数。
(2)五种信度系数的共同误差来源
随机误差对以上几种信度系数都会产生影响。
①受试者方面:生理因素,如测试前失眠、生病、疲劳状态,应试动机,注意力,持久性,求胜心,作答态度,焦虑等。
②主试者方面:不按规定实施测验,制造紧张气氛,给予特别协助,评分主观等。
③测验内容方面:指导语不当,试题取样不当,题目格式不妥,内部一致性低,题数过少,难度过高或过低,题意模糊,测验时限过短等。
④施测实施情境方面:测验现场物理环境,如通风、温度、光线、噪音、桌面好坏、空间阔窄等;意外干扰,如停电,突发噪音,舞弊,测验用品出问题等。
(3)五种信度系数各自重要的误差来源
①重测信度
影响重测信度的主要误差来源是时间取样。经过一段时间重新测试时,被试的练习因素、记忆效果都会存在个体差异,并且成熟、知识的发展也不是人人都等量增长。测验实施的环境也会有差异。
②复本信度
影响重测信度的主要误差来源是内容取样。测验的两种形式是否等值:测题取样是否匹配,格式是否相同,内容、题数、难度、平均数、标准差是否一致。如果不一致则得出的结果没有意义。当复本是间隔施测时,时间取样与内容取样均是误差的重要来源。
③分半信度
影响分半信度的主要误差来源也是内容取样。不同的分半方法就有不同的分半信度。分开的两个相对独立部分等值才可进行计算。
④同质性信度
影响同质性信度的主要误差来源是内容的异质性。测验内容抽样不同使同质性信度受影响。因为测验既无复本也无重复测量,只是用内在一致性系数来估计同质性信度,所以测验题目的选择就非常重要。
⑤评分者信度
影响评分者信度的主要误差来源是被试的得分会受到评分者的主观判断的影响,不同的评分人员对相同被试的评分存在着差异。
5影响信度的因素有哪些?
答:影响信度的因素包括以下几个方面:
(1)误差变异
误差变异越大,信度愈低。凡受试者、主试者、测验内容和施测情境等各个方面能引起随机误差而导致分数不一致的因素,都会降低测验的信度。
①受试者方面,包括身心健康状况、动机、注意力、持久性、求胜心、作答态度等因素。
②主试者方面,包括不按规定实施测验,制造紧张气氛,给予特别协助,评分主观等因素。
③测验内容方面,包括试题取样不当,内部一致性低,题数过少,题意模糊等因素。
④施测情境方面,包括测验现场条件,如通风、温度、光线、噪音、桌面好坏、空间阔窄等因素。
(2)被试样本
影响信度系数的一个重要因素是用来确定信度的被试团体的特性。
①团体的异质性:信度系数受分数分布范围的影响,分数范围与被试团体的异质程度有关。团体越是异质,其分数范围越大,信度系数就越高。
②团体的平均水平:对于不同水平的团体,题目具有不同的难度,每个题目在难度上的微小差异累积起来便会影响信度。
(3)题目的数量
题目的数量即测验的长度,也是影响信度系数的一个因素。一般说来,当其他条件不变时,在一个测验中增加同质的题目即测验长度越长,信度越高,因为增加测验的长度可以加大分数范围。
(4)测验难度
测验的难度对信度估计没有直接影响,但是若测验对某团体太难,被试对许多题目只能做随机反应,即猜测时,测验分数的差别就主要取决于随机分布的测量误差,信度系数趋近于0。相反,如果测验太容易,被试对许多测题的反应都为正确,测验分数就相当接近,分数分布范围变得狭窄,从而使信度降低。这表明,要使信度达到最高,能产生最广分数分布的难度水平方为合适。
(5)间隔时间
以再测法或复本法求信度,两次测验相隔时间越短,其信度系数越大;间隔时间越久,其他变因介入的可能性越大,受外界的影响也越多,信度系数便越低。