• / 97
  • 下载费用:30 金币  

心理测量学测量的信度讲义

关 键 词:
心理测量学讲义 心理测量学信度
资源描述:
East China Normal University 陈国鹏 测量的信度 East China Normal University 陈国鹏 第一节 信度概述 定义:测验结果一致性 的判断 在实测分数中真分数所占的 比率 (真分数理论) 实测分数=真分数 +误差 East China Normal University 陈国鹏 信度可以用相关系数来 表示,也就是真分数与实测 分数相关的平方 公式 East China Normal University 陈国鹏 East China Normal University 陈国鹏 East China Normal University 陈国鹏 第二节 误差及误差的来源 定义:与测量目的无关 的因素造成了测 验结果的 不 一致或不准确 种类: 1 随机误差: 方 向和大小完全是随机 的 ,没有规律性 2 系统误差: 稳 定地存在于每一次测 量中,有规律可循 3 抽样误差:由 抽样变动而引起的 East China Normal University 陈国鹏 误差来源 1 .测验内部引起 1)题目取样误差 2)题目用词模棱 两可 3)题目太难 4)规定的测验时 间太短 5)题型的原因 East China Normal University 陈国鹏 2 测验过程引起的 1)物理环境 2)主试方面 3)意外干扰 4)计分 East China Normal University 陈国鹏 3 被试引起的 1)动机 2)焦虑 3)练习 4)经验 5)生理因素 East China Normal University 陈国鹏 第三节 估计信度的方法 一 、稳定系数 (重测信 度)(跨时间的一致性) 对同一个测验前后 做两次,然后计算两次测 验结 果的一致性。 公式: East China Normal University 陈国鹏 测 验 被 试 12345678910 11 12 13 14 15 x116 15 13 1 3 1 3 11 10 10 10 998876 x216 15 16 1 4 1 2 11 13 12 10 11 11 910 87 测验∑x ∑x 2S∑x1x 2 x1158178410.53 2.831946 x2199214711.67 2.65 统计值统计值 East China Normal University 陈国鹏 East China Normal University 陈国鹏 公式二公式二 被试数学 x 阅读 y xyx2y2xy 14117+1-4116-4 23828-2+7449-14 34822+8+16418 43216-8-5642540 53418-6-336918 63615-4-6163624 74124+1+3193 84320+3-191-3 94723+7+249414 1040270+60360 4002100024418686 4021 East China Normal University 陈国鹏 East China Normal University 陈国鹏 二 等值系数 (复本信度) (跨 形式的一致性) 一个测验有A ,B两个版本,对一组 被试测试, 求取两个 测验结果的一致性 East China Normal University 陈国鹏 三 内在一致性系数 以一次 测验的结果来估 计测验的信度. 用以估计测验内 部的一致性. East China Normal University 陈国鹏 分半信度 把一次测验的结果 人为地分成对等的两半,然 后计算两半分数之间的相关 。 分半信度只是半个 测验的信度,所以需加以校 正。 校正公式: East China Normal University 陈国鹏 库德—理查逊估计法 库德—理查逊1937年提 出了一种分析题目间一致性 来估计信度的方法,即应用 项目统计量来避免任意的两 半分法导致产生的误差。 公式: East China Normal University 陈国鹏 假设一个测验有5个测题,施测于一个30个人的 样本,结果求出标准差为2.5 测题 答对人数 p q pq 1 15 0.50 0.50 0.25 2 20 0.67 0.33 0.22 3 12 0.40 0.60 0.24 4 10 0.33 0.67 0.22 5 6 0.20 0.80 0.16 Σpq=1.09 East China Normal University 陈国鹏 稳定系数(克伦巴赫  系数) 公式: East China Normal University 陈国鹏 二个评分者分别对一组 被试的测验结果加以评分, 然后求取两组人分数的一致 性。 三个以上评分者对一组 被试的测验结果评分,其一 致性的求取采用肯特尔和谐 系数。 公式: 四 评分者信度 三个教师给6篇作文评分 将分数值转换为得分等 级(最高为1……)然后求出 每一篇作文所得等级之和( Ri ) 教师123456 A253027202832 B222621202530 C152018142122 123456 A524631 B425631 C534621 Ri147131883 Ri =14+7+13+18+8+3 =63 Ri2=811 K=3 N = 6 被评对象在3-7人时, 直接查表,w值大于表中数值 说明信度是高的,如被评对 象超过7人,则可计算2值, 作2检验。 2=k (N-1) w df=N- 1 East China Normal University 陈国鹏 East China Normal University 陈国鹏 第四节 影响信度的因素 测验分数分布的 范围对信度的影响 分数分布的 范围越大,信度就越 高,分数分布的范围 越小信度就越低。 East China Normal University 陈国鹏 用异质团体的信度来推 测同质团体的信度 公式: 例: East China Normal University 陈国鹏 二 测验的长度对信度的影响 测题数量越多信度就越 高 以已有测题数量所得信 度来预测达到某种信度水平 需增加的题数 公式: 例: East China Normal University 陈国鹏 以增加题目的数量来推 测所能达到的信度 公式: 例: East China Normal University 陈国鹏 进一步增加题数可达到的信度水平 题数1050100200300400500 相关系数 0.500.830.910.950.96 8 0.97 6 0.98 East China Normal University 陈国鹏 三 测验的难度对信度的影响 难度间接影响信 度。 即难度影响测验 分数的分布,然后影 响信度。 East China Normal University 陈国鹏 第五节 测量的标准误差 定义:误差分数分布的 标准差 标准误也可用来判断一 个测验的稳定性程度。 信度系数是估计整个样 本的误差程度,而标准误则 是用来估计个人分数中的误 差水平。 East China Normal University 陈国鹏 标准误的计算公式 East China Normal University 陈国鹏 标准误的用途 确定分数的有效区间 例:一个儿童做韦氏 智力测验测得智商120,已知 韦氏测验的标准差为15,信 度是0.95。 East China Normal University 陈国鹏 公式: 以95%的置信水平来 确定这个儿童智商分数的有 效区间,那么真分数有95% 的可能性会落在X+/- 1. 96 Se 的范围内, 即 120+/-1.96 × 3.35 =113- 127。 East China Normal University 陈国鹏 评价两个不同测验分数 是否有明显的差异。 例:一个儿童的韦氏言 语智商是102,操作智商为 108,操作智商是否显著地高 于言语智商呢?以标准误来 检验,先算出差异分数的标 准误 公式: East China Normal University 陈国鹏 4.74×1.9 6 = 9.29 两个分数差异大于9分 以上才有显著性差别,现在 108-102=6,所以这个儿童的 两种智力没有差异。 East China Normal University 陈国鹏 以图形也可来辨 认两种分数的差异。 如果置信区间有重叠 ,尤其是一半以上重 叠,那就不能说一个 分数比另一个高。 East China Normal University 陈国鹏 East China Normal University 陈国鹏 测量的效度 East China Normal University 陈国鹏 East China Normal University 陈国鹏 第一节 效度概述 定义: 测验达到测 量的目的,即测到了要 想测量的对象. 效度反应了 测验的准确性 East China Normal University 陈国鹏 与目的有关的真分数在实 测分数中所占的比例 实测分数=真分数+误差 (随机误差) 与目的 与目的 有关 无关(系 统误差) East China Normal University 陈国鹏 信度与效度的关系 信度是效度的必 要条件,但不是充分条 件.要想一个测验的效 度高,其信度必须得高 ;但信度高,效度未必 高. East China Normal University 陈国鹏 影响效度的误差来源 1.测验题目不能反 应要测量的特征. 2. 实施过程偏离 了标准化的程序. 3. 被试不如实回 答. East China Normal University 陈国鹏 第二节 效标效度(准则关联效度) 什么是效标: 反应测验目 的的行为参照. 什么是效标效度: 测验分数与 效标行为间的一致性 程度 East China Normal University 陈国鹏 效标效度的计算方法 1. 相关法 求取测验分 数与效标变量之间的 相关程度,即效度系数. East China Normal University 陈国鹏 1) 积差相关 在两组数据都是连 续变量,且两者存在线性关系 时使用 公式: East China Normal University 陈国鹏 被 试 12345678910 测验(x)20343247202427252216 销售额 (y) 2.5 3.8 340.7 12.2 3.5 2.8 1.2 East China Normal University 陈国鹏 2) 二列相关 在测验分数和效 标这两个变量中一个是连续 变量,另一个是二分变量时使 用. 公式: East China Normal University 陈国鹏 例: 智商与学校类型的 关系 p 重点中学被试百分比 66/302 = 0.1875 q 普通中学被试百分比 286/302 = 0.8125 重点中学被试智商均数 114 普通中学被试智商均数 96 St 总体标准差 14.53 y 常态曲线下,p 所对应 的纵轴高度 0.2685 East China Normal University 陈国鹏 3) 多元相关 在测验分数和效标变 量中有一个是连续变量,另一 个是二分以上的变量时使用. 用Juspen公式 4) 四格相关 在两组变量都是二分 变量时使用 用皮尔逊余弦  法. East China Normal University 陈国鹏 二.区分法 以被试在效标上 的表现分组,然后再对两组被 试在测验中的成绩用t值进行 显著性差异的检验. 公式: East China Normal University 陈国鹏 区分法的缺点是 如果样本规模大的时 候,没有显著性也能算 出显著性差异来,所以 要配合重叠量的使用. East China Normal University 陈国鹏 1. 以称职组的平均数为 指标,看两组中超过这一平均 数的人次百分比.比例越低说 明差异越大,如称职组的平均 数为6.05,不称职组超过此分 数的有7人,称职组超过这一分 数的有38人,人次比为7/38,重 叠的部分为18%,差异很大. East China Normal University 陈国鹏 2. 统计称职组中分数低 于不称职组平均数的人数,和 不称职组中分数高于称职组 平均数的人数.然后两数相加, 再除以总人数.如:称职组20人, 不称职组20人,不称职组中分 数超过称职组平均数的有7人, 称职组中分数低于不称职组 平均数的有3人, 那么 有25%的重叠部分. East China Normal University 陈国鹏 3. 算出两组人分数 分布共同区域的百分率, 即重叠的区域,如重叠区 域越大,说明差异越小,而 重叠小说明测验有效. East China Normal University 陈国鹏 3. 命中率 测验有效性的指标之一 就是作出正确决定的比率,即 决策的命中率. 效标成 绩 测验预测 失败成功 成功( A ) 失误( B ) 命中 失败( C ) 命中( D ) 失误 East China Normal University 陈国鹏 East China Normal University 陈国鹏 第三节 内容效度 定义: 测验题目对 所要测量的内容范 围的代表性程度.考 验题目样本是否代 表了内容总体. East China Normal University 陈国鹏 确定内容效度的方法 1.专家判断 内容效度比(CVR)= 内容效度比低的题 目就应该被淘汰.然后计算全 部测题的内容效度比的平均 数,作为内容效度的指标. East China Normal University 陈国鹏 缺点: 1) 没有量化指标; 2) 对内容效度的判断 不一致; 3) 教育思想或心理学 观点不同,所以对内容范围的 理解也不同. East China Normal University 陈国鹏 2.统计分析法 3.再测法 4.经验法 East China Normal University 陈国鹏 内容效度与表面效度的区别 表面效度是指测验 看起来所要测量的东西, 是被试或外行看来是有效 的测验. 表面效度与内容效 度并不总是一致的. 表面效度能间接影 响测验的效度,所以测验 编制时也要适当关注表面 效度. East China Normal University 陈国鹏 提高内容效度的方法之一: 编制命题的双向细目表 记忆 了解 应用 分析 综合 评价 合计 第一章8210 第二章12621030 第三章 4422618 第四章 2101284642 合计6262814206100 East China Normal University 陈国鹏 第四节 结构效度 定义: 测验能够测量到 理论上的结构或特质 的程度. East China Normal University 陈国鹏 某一智力理论的四 项假设: 1.智力随年龄而增长 ; 2.智商是稳定的; 3.智力与学业成绩有 密切关系; 4.智力受遗传的影响 . East China Normal University 陈国鹏 某注意力的理论,注 意有如下特征: 1.稳定性 2.集中性 3.转移性 4.分配 5.范围 East China Normal University 陈国鹏 收集结构效度资料的方法 1.测验内方法 研究测验的内部 构造来界定所测量的结构 范围. 1) 内容效度 2) 内在一致性 3) 因素分析 East China Normal University 陈国鹏 2. 测验间方法 研究几个同类测 验间的相互关系来考察它 们是否测量相同的心理结 构. 1)相容效度 2) 会聚效度和区 分效度 East China Normal University 陈国鹏 East China Normal University 陈国鹏 3. 发展变化 4. 实验操作 East China Normal University 陈国鹏 项目分析 East China Normal University 陈国鹏 第一节 项目的难度 定义: 测题的难易 程度(能力测验) 测题的“通俗 性”或“流行性”的程 度 (人格测验) East China Normal University 陈国鹏 难度估计的方法 1. 通过率 A. 用于 二值记 分的测 题 B. 用于非二值记分的测题 C. 用于多重选择题时还要作校正 East China Normal University 陈国鹏 校正难度的作用 检验实际难度 例: 某题通过率为 75%,是一个五选一的题目. 比较两个不同选项数题目的难度 例: 有二道题,一题的难度为0.50,有五个选项,另 一题的难度为0.53,有四个选项. East China Normal University 陈国鹏 D.分组法 用于样本很 大的测题 East China Normal University 陈国鹏 2.项目难度的等距量表 A.如果样本很大,分 数接近常态分布,可以根 据常态曲线表将测题的难 度转换成Z分数。 B.另一种单位的等 距量表公式为 = 13+4X East China Normal University 陈国鹏 例:某一题几乎所有的 被试都通过(99.8%),其Z值为- 3,代入上述公式  =13+4(-3)=1 如都通不过 (0.13%),其Z值为3,代入公式  =13+4(3)=25 如通过率为84%,Z 分数为-1,代入公式  =13+4(-1)=9 East China Normal University 陈国鹏 测题难度的确定与分数分布 越是接近中等难 度的题目越具有区分的作用, 也就是越是靠近0.50的题目越 好,其区分程度越高. 如: 1 × 99 = 99 2 × 98 = 196 30× 70 = 2100 50 × 50 = 2500 East China Normal University 陈国鹏 East China Normal University 陈国鹏 East China Normal University 陈国鹏 第二节 项目的区分度(鉴别力) 定义: 测题对不 同水平被试反应 的区分程度和鉴 别能力. East China Normal University 陈国鹏 估计方法 1.项目的效度分析 计算每个测题与效 标的相关. 1) 相关系数 与 效标求相关 2) 鉴别指数 高 分组通过减去低分组通 过率. 公式: D = PH - PL East China Normal University 陈国鹏 例: East China Normal University 陈国鹏 鉴别指数与测题的评价 __________________ ___________ D 测题评价 --------------------------- ----------------- 0.40以上 非常优良 0.30-0.39 良 好,如能修改更好 0.20-0.29 尚 可,但必须修改 0.20以下 劣,淘汰 --------------------------- ------------------- East China Normal University 陈国鹏 2.测题和总分的相关 1) 点二列相关 公式: = 答对该题的被试 在总分上的平均分 = 答错该题的被试 在总分上的平均分 p = 该题的难度 q = 1-p St = 全体被试的总分 标准差 East China Normal University 陈国鹏 15个学生某测题的得分与总分情况 学 生 12345678910 11 12 13 14 15 总 分 9 0 81 80 78 77 70 69 65 55 50 49 42 35 31 10 某 题 101111100010100 East China Normal University 陈国鹏 2) 因素分析 分析测题在一个因 素上的负荷,负荷越大说明越 有区分度,一般在0.30以上才 是可以接受的. 3) 方差法 方差大说明离散程 度越高,那就具有鉴别力. 公式: East China Normal University 陈国鹏 难度与鉴别力的关系 ------------- ----------------------------- P D ------------ ------------------------------ 1. 00 0.00 0. 90 0.20 0. 70 0.60 0. 60 0.80 0. 50 1.00 0. 40 0.80 0. 30 0.60 0. 10 0.20 0. 00 0.00 -------------- --------------------------------- East China Normal University 陈国鹏 第三节 选项分析 选项设置不当会降 低题目的难度,所以也要对选 项作分析,看有无异常情况. 通常判断选项好坏 有以下几点: 1) 正确答案无人选或 少于其它选项的人数. 2) 错误答案选的人太 多. 3) 正确选项高分组选 择人数少于低分组. 4) 错误选项上高分组 选择人数多于低分组. 5) 选项无人选择. 6) 未答人数较多. East China Normal University 陈国鹏 题 号 组别选答人数正确 答 案 ABCD未答 1高分 组 592120B 低分 组 225012160 2高分 组 581015161A 低分 组 262115362 3高分 组 1715282812D 低分 组 2511193411 4高分 组 14414365C 低分 组 15610285 East China Normal University 陈国鹏 也可以用高分组 的反应情况来判断选项选择 是否得当. 1) 选项 A B C D* 高分组 1 1 9 2 2) 选项 A B C* D 高分组 4 3 3 3 3) 选项 A* B C D 6 0 1 6 East China Normal University 陈国鹏 项目分析步骤 1.选取有代表性的样组 实施测验. 2.计算每个人的总分,然 后按总分分组. 3.计算高分组和低分组 通过每一题的比率. 4.分别求出每一测题的 难度和鉴别指数. 5.选项分析. 6.修改测题或选项. East China Normal University 陈国鹏 第四节 标准参照测验的项目分析 标准参照测验是 用来测量学习前后被 试的差异或受过训练 与没有受过训练被试 之间的差别.测验结果 参照的不是常模,而是 某一种标准. East China Normal University 陈国鹏 标准参照测验的项目分析所采用的方法 1.以达标与否分组,然后 计算两组被试在每一题上的 成绩差异,算出难度和区分度. 公式(难度) : 2.教育效果敏感指 公式: (区分度): 学生 测 题 12345 前后前 后前后前后前后 A-+-+++--+- B++-+++--+- C-+-+++--+- D-+-+++--+- E++-+++--+- F---+++--+-
展开阅读全文
  麦档网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:心理测量学测量的信度讲义
链接地址:https://www.maidoc.com/p-15475731.html

当前资源信息

天马****3

编号: 20180825060813557213

类型: 共享资源

格式: PPT

大小: 2.04MB

上传时间: 2019-10-09

关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2018-2020 maidoc.com版权所有  文库上传用户QQ群:3303921 

麦档网为“文档C2C模式”,即用户上传的文档所得金币直接给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的金币归上传人(含作者)所有。
备案号:蜀ICP备17040478号-3  
川公网安备:51019002001290号 

本站提供办公文档学习资料考试资料文档下载


收起
展开