• 1. *绩效与评估方法(七)
    • 2. *第七章 绩效评估的定量化方法
    • 3. * 一、绩效评估的质量分析
    • 4. *分析方法信度分析 效度分析 反馈调查
    • 5. *信度又称可靠性程度,用于分析一种考评方法所得结果的前后一致性水平,并以这种一致性程度为指标来评定量表与评定方法的可靠性。
    • 6. *信度系数 同一种方法在两种不同时间、不同情境条件或两组不同评价材料的评定结果之间的相关系数。
    • 7. *相关系数的计算设随机变量X有均值a=E(X) 偏离的量X-a E(X-a)=E(X)-a=0 绝对值|X-a| E|X-a|叫做X(或其分布)的“平均绝对差” (X-a)平方 取其均值得E(X-a)2 ,即为方差
    • 8. *方差 设X为随机变量,分布为F,则 Var(X) = E(X-EX)2称为X(或分布F)的方差 其平方根 称为X(或分布F)的标准差
    • 9. *方差的计算记EX=a (X-a)2 = X2-2aX+a2 Var(X) = E(X2)-2aE(X)+a2 = E(X2)-(EX)2
    • 10. *多维随机变量 (X,Y)为二维随机向量,X、Y本身都是一维随机变量,可以定义其均值方差,在此我们记 E(X )=m1, E(Y )=m2, Var(X )=σ12, Var(Y )=σ22
    • 11. *协方差 称E[(X- m1)(Y- m2)]为X、Y的协方差, 记为Cov(X,Y)
    • 12. *定理 若X、Y独立,则Cov(X,Y) = 0 [Cov(X,Y)]2≤σ12σ22,等号当且仅当X、Y之间有严格线性关系(即存在常数a,b使Y = a+bX)时成立
    • 13. *相关系数 称Cov(X,Y)/(σ1σ2)为X,Y的相关系数,并记为Corr(X,Y)
    • 14. *定理 若X、Y独立,则Corr(X,Y)=0 | Corr(X,Y)| ≤1,等号当且仅当X和Y有严格线性关系时达到
    • 15. *例:计算相关系数1,2,3 4,5,6 1,2,3 6,5,4
    • 16. *等级相关系数斯皮尔曼等级相关公式 n 为评估指标个数,di是2位评估者关于第i个评估指标评分的等级之差。
    • 17. *肯德尔和谐系数法 (评估者信度的估计)按照被评估对象各构成要素所获得的等级及它们之间的差异大小,来衡量评估者之间的意见一致性程度。
    • 18. *肯德尔和谐系数的计算公式 m为评估者人数, n为评估对象各构成要素(即评估指标)的个数 S为第j个指标所获得的等级Rj与所有评估指标获得等级的平均数之差的平方和。 Rj(j=1,2,…m)为m位评估者对第j个评估指标所给评估等级的总和。
    • 19. *修正公式 Ti是第i个评估者的赋值中出现相等情况的一种度量 l是相等的值出现的次数
    • 20. *例若第3名评估者的赋值中 “2”出现2次,“4”出现3次
    • 21. *显著性检验 不一致一致置信水平α取0.05或0.01
    • 22. *例 评估结果表 ABCD甲良优良中乙优优良良丙良良中中丁优良优良戊良优良良
    • 23. *评估等级数值表 ABCD甲2.542.511乙3.53.51.51.5丙3.53.51.51.5丁3.51.53.51.5戊2422Rj1516.5117.5
    • 24. *计算肯德尔和谐系数
    • 25. *
    • 26. *
    • 27. *影响考评信度的因素考评人或被考评人的个人态度、动机、情感等人格因素引入的干扰 考评填表或考核手段的质量引入的干扰
    • 28. *考评信度重测信度 对半信度 等值信度
    • 29. *重测信度 又称稳定性程度,它用于分析两次间隔一定时间的考评结果之间的相关性。
    • 30. *影响重测信度的主要因素 人为干扰 参加考评的态度不认真 产生考评效应
    • 31. *对半信度首先要把考评表中的问题,按随机的原则分为相等的两部分; 请一组考评人员运用考评表进行考评,记录这些结果; 求出两部分考评结果的相关系数γnn,即为对半信度系数。
    • 32. *斯皮尔曼-布朗公式 γXX= 2γnn/(1+γnn) γXX——原长度的信度估计 γnn——对半信度
    • 33. *等值信度 用两个平行型的考评表在最短的时间内施行两次,用所得的结果的相关系数来检验
    • 34. *图7-1 等值信度定义 A型考评表B型考评表最短时距相关γAB(等值信度)
    • 35. *效度 指考评的有效性,即运用量表或其他考评方法所获得的结果达到期望目标的程度。
    • 36. *效度系数 以所测得的分数与所希望测得的分数(根据特定的标准)之间的相关系数来表示
    • 37. *考评效度内容效度 效标关联效度 结构效度
    • 38. *内容效度分析考评表中阐述的要素以及个体各要素的考评成绩反映其绩效的程度
    • 39. *内容效度检验法 请人力资源管理专家按照一定的标准评价某考评是否具有代表性, 其计算公式为: CVR= (Ne– N/2)/(N/2) CVR——内容效度 Ne——判断某项目具有代表性的人数 N——参加判断的人数
    • 40. *按“合理”与“不合理”的是非进行判断 考评要素与考评表结构的归属关系是否合理; 要素名称与定义内涵标准的相关程度是否合理; 考评等级与各等级标准的相关程度是否合理; 考评表的总体与考评期望达到的目标的一致性程度是否合理; 各要素之间关系的协调性是否合理。
    • 41. *效标关联效度通过寻求员工绩效考评成绩与某效标的相关程度来度量的效度 效标是指假定的客观标准,它作为评判考评手段的有效性的指标 同时效度 预测效度
    • 42. *图7-2 同时效度与预测效度 个体考评成绩与考评时间并存的效标相关γAB(同时效度) 个体考评成绩与考评时间有时间差的效标最短时距相关γA’B’(预测效度)
    • 43. *同时效度 工作实绩 自我考评 组织评估 他人考评
    • 44. *预测效度 检验考评所获得的结果符合未来产生的特定标准的程度指标 考评半年后的工作实绩
    • 45. *反馈调查
    • 46. *例 问卷调查表我感觉上司的评价对我的职业生涯的发展是极有帮助的。 我认为我们所使用的绩效考评体系对于开发我的下属的全部潜能是毫无意义的。 我们的绩效考评体系常使我更加不确定自己究竟在组织中处于什么位置(比考评前)。 我们所使用的绩效考评体系有助于我更好地与下属进行沟通,告知他们处于什么位置。 在高层管理活动中需要进行管理职位或晋升等人事决策时,他们常以绩效考评结果记录为依据。 在进行薪资决定或晋升、调整以及其他人事决策时,我找不到过去的绩效考评结果来帮助我更好地进行决策。
    • 47. *二、评估指标权重的计算
    • 48. *权重 一组权重体系{wi | i=1,2,…,n}必须满足下述两个条件: 0
    • 49. *权重的计算方法Dephi法 成对比较法
    • 50. *Dephi法 Dephi法是专家咨询法的一种,它是使一群专家意见集中起来的方法,被广泛用于规划、计划、评估、预测和建议等方面。
    • 51. *Dephi法的特点由主持人采取保密的方式与其选定的若干名专家(通常有十多名)沟通。 主持人精密设计沟通的内容,以询问的方式传送,在收到专家们的回答后,主持人进行关于意见集中程度的统计,纳入下一次沟通的内容。 沟通——统计——再沟通——再统计,反复多次,直到集中程度满足要求为止。 对选定了哪些专家保密不外泄,也不让他们彼此知道;对每次沟通的结果只以统计的形式再进行沟通,而不透露其他人的意见。
    • 52. *中位数 对于实数列{aj} nj=1 ,如果存在实数M,满足数列中有一半数项不小于M,有一半数项不大于M,则称M为数列{aj} nj=1的中位数。
    • 53. *四分位数 若M为数列{aj} nj=1的中位数,则小于等于M的一半数项的中位数称为数列 {aj} nj=1的下四分位数,记为Q -; 大于等于M的一半数项的中位数称为数列{aj} nj=1的上四分位数,记为Q+。
    • 54. *集中系数 对于递增数列{aj} nj=1,若有e > 0,满足Q+–Q -= e(an–a1),则称e为数列 {aj} nj=1的集中系数。 集中系数越小,说明数列越集中;反之,则数列越分散。 返回
    • 55. *例 数列{aj} 10j=1 = {2.8, 3.0, 3.2, 3.2, 3.5, 3.5, 3.6, 3.6, 3.7, 4.0} 中位数M=3.5 上四分位数Q+=3.6 下四分位数Q - =3.2 a10=4.0,a1=2.8, 集中系数e =(3.6-3.2)/(4.0-2.8)=0.33
    • 56. *图7-3 Dephi法的过程主持人选定与组织专家组拟定征询表格第一轮征询确定M,Q-,Q+,e意见集中否分别个别调查征询少数派意见又一轮征询确定M,Q-,Q+,e结束YN
    • 57. *征询表格的设计 精心设计,易于回答
    • 58. *表7-1 预测年度经济增长率调查表 增长率≤ 0%≤ 3%≤ 6%≤ 9%≤ 12%>12%
    • 59. *表7-2 评估个人表现表格得分54321注:表现情况5:很好 4:较好 3:一般 2:较差 1:很差
    • 60. *例:确定某服务机构指标的重要性顺序该机构的服务指标,共有5项: 1         设备利用情况 2         服务广泛程度 3         服务质量 4         信誉 5         与服务相关的事务处理情况
    • 61. *表7-3 服务指标重要性征询表格 打分 指标5分4分3分2分1分1 设备利用情况2 服务广泛程度3 服务质量4 信誉5 相关事务处理按“很重要”、“重要”、“一般”、“不重要”、“很不重要”分别打5、4、3、2、1分
    • 62. *集中系数上限e的取法 计算e与上、下四分位数差的关系 若取e =0.2,则 (5-1)e =0.8 若取e =0.3,则 (5-1)e =1.2 若取e =0.4,则 (5-1)e =1.6 若取e =0.5,则 (5-1)e =2.0 取e =0.3, Q+–Q—<1.2
    • 63. *表7-4 第一轮统计结果第1次统计MQ—Q+Q+–Q— 指 标 号12231<1.223242>1.233242>1.242132>1.253341<1.2
    • 64. *表7-5 第二轮统计结果第2次统计MQ—Q+Q+–Q— 指 标 号12220<1.224451<1.233242>1.241121<1.253341<1.2
    • 65. *表7-6 第三轮统计结果第3次统计MQ—Q+Q+–Q— 指 标 号12220<1.225451<1.233341<1.241121<1.253341<1.2
    • 66. *重要性指标筛选假设一个问题有n个指标I1,I2,…In,其重要性大小分别为x1,x2,…xn,这里,xi都是正数,其值越大,表明相应的指标越重要。从n个指标中筛选出重要的指标,剔除不重要的指标,叫做重要性指标筛选。
    • 67. *重要性指标筛选方法 将{xi}ni=1按从大到小排列,不妨仍记为x1,x2,…,xn,并记 ,求最小的m,使得 (a为小于1的常数,称为重要性常数),x1,x2,…,xm对应的指标I1,I2,…,Im即为重要性指标。
    • 68. *a的选取 一般取a≥0.7 满足要求: 所选的指标是重要的 重要的指标已被选上
    • 69. *重要性大小的确定x1,x2,…xn 各专家对该项指标的打分之和 可进行适当处理 例如以等比数列代替5分制等差数列。 规定最低分为1,最高分为50,等比系数为2.65(2.654=50), 分别以1,3,7,18,50代替1,2,3,4,5,重新对指标赋值,统计指标得分,再进行重要性排序
    • 70. *成对比较法在考虑若干指标时,通过对所有可能的组合进行两两比较来确定这些因素的重要性顺序的一种方法。
    • 71. *表7-7 标度及其含义标度含义1两个因素同样重要3一个因素比另一个因素稍重要5一个因素比另一个因素明显重要7一个因素比另一个因素非常重要9一个因素比另一个因素绝对重要2、4、6、8上述相邻判断的中值反之取倒数
    • 72. *比较结果的矩阵表示返回
    • 73. *如果决策人对aij的估计一致,则有 aij = aji aij = aikakj aii=1 ,i=1,2,…,n 如果决策人对aij的估计不一致,则只有 aij ≈ wi /wj 一般aij wj - wi的值并不为0
    • 74. *计算权重的方法权的最小平方法 特征向量法 叠代法
    • 75. *权的最小平方法选择一组权{ w1,w2,……,wn}使平方误差的和为最小,即
    • 76. *拉格朗日函数
    • 77. *解的矩阵表达
    • 78. *例 设矩阵A为
    • 79. *特征向量法
    • 80. *计算方法
    • 81. *例 设矩阵A为
    • 82. *
    • 83. *叠代法定理 A是n阶方阵,记对应的特征向量为w,则有 其中e =(1,1,…,1)T, c为不等于0的实数。 
    • 84. *例 取e =(1,1,1)T Ae =(11,4.167,1.584)T
    • 85. *把Ae归一,得 x1= (0.657, 0.249, 0.094)T A x1 = (2.527, 0.641, 0.341)T x2= (0.657, 0.249, 0.094)T A x2=(2.206, 0.594, 0.338)T x3= (0.703, 0.189, 0.108)T A x3=(2.269, 0.630, 0.349)T x4= (0.699, 0.194, 0.107)T A x4=(2.291, 0.632, 0.347)T x5= (0.701, 0.193, 0.106)T A x5=(2.283, 0.628, 0.345)T x6= (0.701, 0.193, 0.106)T 
    • 86. *一致性检验 相容指数 相容比:CR=CI/RI RI是随机生成的倒称阵的CI的平均值
    • 87. *表7-8 平均随机一致性指标RI 阶数n12345678RI0.000.000.580.901.121.241.321.41阶数n9101112131415RI1.451.491.511.481.561.571.59
    • 88. *λmax 的求法
    • 89. *例 λmax=3.26 查表得当n=3时,RI=0.58,相容比为 CR=0.13/0.58=0.22>0.10
    • 90. *参考文献非线性评估的理论探索与应用,侯定丕、王战军,中国科学技术大学出版社,2001年2月。 综合评价理论与方法,郭亚军,科学出版社,2002年8月。 决策分析,陈(王廷),科学出版社,1987年9月。