ZHC的命题过程

2017-04-17 16:59:30

ZHC的命题过程

 

参加ZHC命题工作的老师分别来自北京大学、北京语言大学、中国人民大学、北京师范大学等高等院校。所有参加命题的教师都具有硕士学位或博士学位。命题教师命制的试题要经过严格的审定和检验才能付诸正式使用。第一关是专家单独审题。只有经过两名专家双盲匿名审定的题目,才能付诸预测。第二关是预测。经过预测,那些难度、区分度、猜测度、DIF(关系公平性的统计量)等统计指标不合格的题目将被淘汰。第三关是专家集体审题。在审题会中,专家结合统计数据,对每道题横挑鼻子竖挑眼。只有经受住专家挑剔的题目,才能进入题库。

在这些环节中,最重要的一个环节是预测。为了保证ZHC的质量,我们坚持以考前预测的方法筛选题目。在根据预测数据筛选试题的过程中,我们既计算了题目通过率、题目区分度、备择选项选择情况等基于经典测验理论的统计量,也计算了基于IRT的题目参数。

预测和统计分析对于提高试题质量具有非常重要的意义。首先,借助预测数据,我们可以事前对试卷的难度进行定量控制,避免了试卷难度出现较大的起伏;其次,可以帮助我们发现试卷中存在的问题,避免发生错误。例如,一个出现了负区分度的题目,即错误选项与试卷总分之间的相关高于正确答案与总分之间相关的题目,很可能存在某种问题,或者是没有正确答案,或者是正确答案不唯一,或者是题目太难,几乎没有人能够选择正确答案;第三,可以通过尽量减少那些区分度不高或难度不适当的题目来提高试卷的质量;第四,可以通过对迷惑性备择选项的分析来改进题目。替换掉那些缺乏迷惑性的备择选项,可以增加题目的区分度。

ZHC的分数等值

ZHC是一个水平考试和等级证书考试,必须保证在不同时间、使用不同试卷的考生可以得到公平的对待,必须保证证书的授予标准不随试卷难度而起伏,必须保证不同试卷得分之间具有可比性。如果对使用这一份试卷的人一个标准,对使用另一份试卷的人又一个标准,那么,不仅会大大影响ZHC的信度和效度,而且会对有关的决策产生误导,会使考生受到不公平的对待。将测验不同版本的分数统一在一个量表上的过程即等值(equating)。等值是测验公平性的保证。尽管我们在命题过程中总是尽量保持考试难度的稳定性,但不同试卷之间在难度、信度、分数分布方面的差别很难完全避免,这种差别会使考生受到不公平的对待。如何保持试卷难度的稳定性和保证分数的公平性?这是ZHC开发过程中所考虑的一个重要问题。

 

 
 

 
相关信息