技术背景
[0001] 本
发明涉及项目培训效果评估领域，具体是一种兽医现场流行病学项目培训效果评估系统与方法。
[0002] 背景技术
[0003] 中国兽医现场流行病学培训项目(以下简称CFETPV项目)是在农业农村部和联合国粮食及农业组织(FAO)、美国国际发展署合作
框架下，由农业农村部畜牧兽医局、FAO跨境动物疫病应急中心中国办公室与中国动物卫生与流行病学中心联合举办的，面向全国各省、自治区、直辖市、计划单列市和重点地区动物疫病
预防控制机构、国家级兽医技术
支撑机构优秀业务骨干及兽医重点院校老师，开展为期2年的兽医流行病学培训。
[0004] 目前，国外提出的评估模型主要有2大类：分层次评估模型和分阶段评估模型。分层次评估模型侧重分析培训的效果，主要有柯式四级评估模型、五级投资回报模型和五级评估模型等。其中，柯式四级评估模型是柯克帕特里克(Donald L Kirkpatrick)于1959年首次提出的，目前成为管理界研究培训评估问题的经典理论，并在各领域得到广泛应用。该模型按照评估深度和难度分为4个层次：反应模
块、学习模块、行为模块、效果层。五级投资回报模型是1991年由菲利普斯(Jack J Phillips)提出的，在柯式四级评估模型的
基础上，增加了第5层级——投资回报率。五级评估模型是1994年由考夫曼(Kaufman)提出的，在柯式四级评估模型的基础上，在反应模块中增加了对培训前投入资源要素的评估，并增加了第 5个层级——社会效益层级。分阶段评估模型侧重对培训项目的全流程评估，主要有CIPP 评估模型和CIRO四级评估模型等。CIPP评估模型是1965年由Daniel Stufflebeam提出的，评估流程包括背景评估、输入评估、过程评估、成果评估4个阶段。CIRO四级评估模型是 1970年由Warr、Bird和Rackham提出的，评估流程包括背景评估、输入评估、反应评估和输出评估4个阶段。2012年，TEPHINET对其57个成员国的FETPs项目通过问卷调查的方式对课程设置、组织机构、学员录用与培养、项目活动与成果等方面进行了评估。印度NIE FETP团队对项目7年来从投入、发展、成效、产出四个方面以问卷调查的方式对培训前后培训能
力、学习活动、田间调查、项目管理、课程管理、与工作相关性、项目优劣势等内容进行了内部评估。
[0005] 行业培训效果评估方面，贺龙基于柯式四级评估模型建立企业安全生产培训的效果评估模型，将万人违章率、20万工时停工再培训的损工日比、培训不合格事件比、万人死亡率、 20万工时事件率、20万工时可记录伤害事件率作为结果模块的评估指标。2010年，饶艳华和曹梅娟以柯式模型和CIPP模型为导向，对我国社区护士岗位培训评估模型的构建和应用进行了初步探讨，提出社区护士培训评估可以分为培训前评估、培训过程评估和培训后评估 3个层次，并在2011年采用专家函询法构建了社区护士岗位培训工作评估指标体系。FETP 培训效果评估方面，刘慧慧通过访谈和问卷调查的形式，开展了地方现场流行病学培训项目实施效果定性调查。王安娜和姚兰从反应模块和学习模块开展了北京市顺义区和贵州省现场流行病学培训项目效果评价。李东悦通过问卷调查学员、学员单位领导及专家对项目的整体评价、培训后技术能力提升情况、结业后工作成绩和工作表现满意度及结业前后工作业绩等内容进行了广东省现场流行病学培训项目培训效果评估。CFETPV项目培训效果评估工作尚处在探索阶段，仅仅通过简单的问卷调查了解学员对教学及会务管理等的反馈。项目管理方曾基于柯氏四级培训效果评估理论，构建了CFETPV项目基础培训效果评估方法，并以第五期CFETPV项目基础培训为例，从反应模块和学习模块两个层级进行短期评估。
[0006] 培训课程能否满足实际需要，如何保证学员学习
质量，如何提升教学
水平，是项目管理方需要深入思考的问题。因此，研究构建一套科学合理的培训效果评估模型，对优化完善兽医流行病学人才培训项目具有重要意义。
发明内容
[0007] 本发明提供一种兽医现场流行病学项目培训效果评估方法，解决了
现有技术中现有的培训效果评估具有一定的滞后性，缺少科学合理有效的CFETPV项目培训效果评估方法的技术问题。
[0008] 为了达到上述目的，本发明是这样实现的：包括管理模块、反应模块、学习模块、行为模块、结果模块五个一级模块，每个一级模块下设共计13个二级模块，二级模块下设共计 75个三级模块；
[0009] 所述管理模块是项目办对培训质量的评估，于培训结束后进行，包括项目管理模块和教学质量模块，所述项目管理模块和教学质量模块下设总计有11个次级模块，所述项目管理模块进行培训项目质量评估，下设7个次级模块，包括课程管理模块，用于课程的管理，人力资源管理模块，用于人力资源的管理，物质资源管理模块，用于评估物质资源水平，资金来源管理模块，用于分类资金来源，学员选拔评估模块，用于进行学员的选拔评估，监督评价模块，用于对学员的阶段性评估，毕业生管理评估模块，用于对毕业生的管理进行评估，所述教学质量评价模块进行教学质量评估，下设4个次级模块，包括培训课程模块，用于对培训课程设置进行评估，现场实践模块，用于对现场实践的水平进行评估，技术评估模块，用于对技术水平进行评估，学员评估模块，用于对学员进行评估；
[0010] 所述反应模块用于评估项目办和学员对培训项目的反应和评价，于培训后立即进行，下设5个二级模块，包括培训课程满意度模块，现场实践满意度模块，培训导师满意度模块，组织管理满意度模块，期望建议模块；所述培训课程满意度模块下设8个三级模块，培训目标模块，用于对评价培训目标的明确性进行满意度评价，课程内容模块，用于对课程内容完整性进行满意度评价，课程安排模块，用于对课程安排恰当性进行满意度评价，课程难易模块，用于对课程难易程度进行满意度评价，内容与工作模块，用于对评价内容与工作相关度进行满意度评价，课业量模块，用于对课程课业量的多少进行满意度评价，授课模块，用于对授课老师授课方式进行满意度评价，教材或讲义模块，用于对教材或讲义的适应性进行满意度评价；所述现场实践满意度模块下设4个三级模块，包括任务安排模块，用于对任务安排的合适度进行满意度评价，现场实践模块，用于对导师现场实践的指导效果进行满意度评价，实践安排模块，用于对集中授课中的实践安排效果进行满意度评价，现场实践能力模块，用于对现场实践能力提升的帮助效果进行满意度评价；所述培训导师满意度模块下设5个三级模块，包括教学态度模块，专业素质模块，语言表达模块，教学进度把握模块，对学员问题解决程度模块，分别进行教学态度、专业素质、导师语言表达、导师教学进度把握、解决学员问题满意度评价；所述组织管理满意度模块下设5个三级模块，包括培训组织模块，培训场地模块，培训辅助设备及资料模块，项目管理模块，项目定期评估与反馈模块，分别用于对培训组织、培训场地、培训辅助设备及资料、项目管理、项目定期评估与反馈进行满意度评价；所述期望建议模块下设2个三级模块，包括问题模块和建议模块，分别用于对项目培训存在问题、有关建议对项目未来发展进行评价；
[0011] 所述学习模块用于评估学员参加培训后知识技能的掌握情况，于培训前和培训后进行评估，下设2个二级模块，包括项目办评估模块与学员自我评估模块，所述项目办评估模块用于考察学员学习期间的综合情况，下设9个三级模块，包括毕业答辩评价模块，流行病学研究评价模块，紧急流行病学调查评价模块，开展培训评价模块，发表文章综合评价模块，文献批判性阅读综合评价模块，出勤率评价模块，其他实践安排评价模块，担任班委情况评价模块；所述学员自我评估模块用于了解学员对培训所学流行病学基础理论、紧急流行病学调查、监测、
风险分析、空间流行病学分析、流行病学研究设计及现场调查、疫情数据
整理及分析、英语沟通及报告共计八项能力的综合掌握程度，下设8个三级模块，包括流行病学基础理论评价模块，紧急流行病学调查评价模块，监测评价模块，风险分析评价模块，空间流行病学分析评价模块，流行病学研究设计与现场调查评价模块，疫情数据整理及分析评价模块，英语沟通及报告评价模块；
[0012] 所述行为模块用于了解学员将学习内容转化为工作实际的情况，于项目结束后半年定期进行，下设2个二级模块，包括行为变化评价模块与知识技能应用评价模块，所述行为变化评价模块下设6个三级模块，包括工作态度评价模块，工作积极性评价模块，沟通交流能力评价模块，兽医流行病学理念评价模块，工作职能或
角色变化评价模块，职务或职称晋升评价模块，分别从工作态度是否有变化，工作积极性是否有所提高，沟通交流能力是否有所提高，兽医流行病学理念是否有所提高，工作职能或角色是否有变化，职务或职称是否有变化进行评价；所述知识技能应用评价模块下设5个三级模块，包括培训与预期差别评价模块，所学知识技能应用评价模块，工作能力评价模块，外语水平评价模块，单位支持度评价模块，分别从培训是否达到预期，是否运用所学知识及技能，工作能力是否有所提高，外语水平是否有所提高，单位是否支持培训所学方面进行评价；
[0013] 所述结果模块用来预见项目培训对学员和单位带来的积极作用，于培训后定期进行，多在半年以后开展，下设2个二级模块，包括个人业绩评价模块与单位效益评价模块，所述个人业绩评价模块下设9个三级模块，包括流行病学研究/监测评价模块，紧急流行病学调查评价模块，风险分析评价模块，开展流行病学培训和授课评价模块，文章发表情况评价模块，参与国内国际流行病学学术研究评价模块，
申请/实施科研项目及课题评价模块，参与标准制定修订评价模块，参与制定规划或计划评价模块；所述单位效益下设3个三级模块，包括单位知名度评价模块，领导认可度评价模块，对单位兽医流行病学工作的帮助评价模块。
[0014] 作为一种优选的实施方式，所述项目管理模块与所述教学质量评价模块根据公式(1) 计算教学质量评价综合达标率，进行教学质量评估，公式(1)如下：
[0015]
[0016] QTi：第i项评估内容综合达标率，i＝1,2，分别代表项目管理和教学质量评价；
[0017] Qj：单项达标率；
[0018] m：单项评估内容的数量，公式(1)中m＝7或4；
[0019] 其中，单项达标率可通过公式(2)获得，公式(2)如下：
[0020]
[0021] Qj：第j项评估内容达标率，j＝1，2，......11，分别代表11个三级模块；
[0022] nj：第j项评估内容包含的三级指标下调查问卷问题总数量；
[0023] xj：第j项评估内容中调查问卷中选择“是”的数量；
[0024] 参照全球流行病学培训与公共卫生干预网络(TEPHINET)培训项目质量评估方法，经多方征求专家意见，得出评判标准：QTi≥80％，评判结果为非常好或较好，60％≤QTi＜80％，评判结果为一般，QTi＜60％，评判结果为不好。
[0025] 作为一种优选的实施方式，所述培训课程满意度模块、现场实践满意度模块、培训导师满意模块、组织管理满意度模块通过公式(3)和公式(4)进行满意度评判，公式(3)与公式(4)如下：
[0026]
[0027] Sj：第j项评估内容满意度，j＝1,2,……24，分别代表24个三级模块；
[0028] n：参与调查的学员数量；
[0029] xij：第i位学员对第j项评估内容的满意度评分；
[0030] ss：满意度评分满分值；
[0031]
[0032] STi：第i项评估内容综合满意度，i＝1,2,……4，分别代表培训课程设置满意度、现场实践、培训导师、组织管理；
[0033] Sj：公式(3)得到的单项满意度；
[0034] m：单项评估内容的数量，公式(4)中m＝2或4或5或8；
[0035] 满意度评分为1～5分，满分为5分。其中，1分不满意，2分不太满意，3分一般，4 分较满意，5分很满意，满意度为被调查学员打分的平均分除以5分再乘以100％，故评判标准：STi≥80％，评判结果为较满意或很满意；60％≤STi<80％，评判结果为一般；STi<60％，评判结果为不太满意或不满意。
[0036] 作为一种优选的实施方式，所述项目办评估模块通过项目办评估结果GS来考察学员学习期间的综合表现情况，项目办评估结果GS的计算方式见公式(5)：
[0037] GS＝∑xi 公式(5)
[0038]
[0039] xi：第i项指标得分情况，i＝1,2,……9，依次代表毕业答辩、流行病学研究、紧急流行病学调查、开展培训、发表文章、文献批判性阅读、出勤，另有附加项：其他实践和担任班委；
[0040] 其中毕业答辩总分60分，流行病学研究总分10分，紧急流行病学调查总分10分，开展培训总分5分，发表文章总分5分，文献批判性阅读总分4分，出勤率总分6分，其他实践与担任班委作为附加分，总分分别为3分和2分，共计105分；
[0041] 每期培训招收学员20名，为激发学员学习热情，提升培训效果，在实地调研部分省份兽医主管部
门领导的基础上，根据各省干部选拔任用条例等有关文件规定，经项目执委会研究，确定评判标准：根据每位学员的总分进行排名，排名前25％的学员额外获得优秀毕业生荣誉称号，排名25％与50％之间的额外获得优秀现场实践荣誉称号，所有完成全部培训内容的学员获得由农业农村部颁发的毕业证书。
[0042] 作为一种优选的实施方式，所述学员自我评估模块通过单项知识技能掌握与综合掌握度进行评估，单项知识技能掌握通过公式(6)计算，综合掌握度通过公式(7)进行计算，公式(6)与(7)如下：
[0043]
[0044] Mj：第j项知识技能掌握度，j＝1,2,……8，分别代表流行病学基础理论、紧急流行病学调查、监测、风险分析、空间流行病学分析、流行病学研究设计及现场调查、疫情数据整理及分析、英语沟通及报告；
[0045] n：参与调查的学员数量；
[0046] xij：第i位学员对第j项知识技能的掌握度自评分；
[0047] sm：掌握度评分满分值；
[0048]
[0049] MT：综合掌握度；
[0050] Mj：公式(6)得到的单项知识技能的掌握度；
[0051] m：单项知识技能的数量，公式(7)中m＝8；
[0052] 掌握度评分为1～5分，满分为5分。其中，1分不好，2分不太好，3分一般，4分较好， 5分很好，掌握度为被调查学员打分的平均分除以5分再乘以100％，故评判标准：MT≥80％，评判结果为较好或很好；60％≤MT<80％，评判结果为一般；MT<60％，评判结果为不太好或不好。
[0053] 作为一种优选的实施方式，所述变化评价模块与知识技能应用评价模块通过单项变化率和综合变化率进行评估，单项变化率公式运用公式(8)计算，综合变化率评估运用公式(9) 计算，公式(8)与公式(9)如下：
[0054]
[0055] 其中：
[0056] Aj：第j项行为变化率，j＝1,2,……11，代表11个三级模块的内容；
[0057] xj：第j项评估内容中选择“是”的数量；
[0058] n：参与调查的学员数量；
[0059]
[0060] ATi：第i项评估内容综合变化率，i＝1,2，分别代表行为变化和知识技能的应用；
[0061] Sj：单项变化率；
[0062] m：单项评估内容的数量，公式(9)中m＝6或5；
[0063] 经多方征求专家意见，得出评判标准：ATi≥80％，培训效果非常好或较好；60％≤ATi<80％，培训效果一般；ATi<60％，培训效果不好。
[0064] 设定5个一级指标，5个一级指标包含13个二级指标，13个二级指标包括75个三级指标，各一级指标及评估步骤如下：
[0065] (1)管理模块，管理模块以项目办为评估主体，运用调查问卷的方法，在培训后进行评估，管理模块包括项目管理和教学管理2个二级指标，所述项目管理包括课程管理，人力资源，物质资源，资金来源，学员选拔，监督评价，毕业生管理7个三级指标，所述教学质量包括培训课程、现场实践、技术评估、学员评估4个三级指标，在三级指标的单项达标率的基础上得到二级指标的综合达标率，综合达标率和单项达标率计算公式见公式(1)和公式(2)：
[0066]
[0067] QTi：第i项评估内容综合达标率，i＝1,2，分别代表项目管理和教学质量评价；
[0068] Qj：单项达标率；
[0069] m：单项评估内容的数量，公式(1)中m＝7或4；
[0070] 其中，单项达标率可通过公式(2)获得，公式(2)如下：
[0071]
[0072] Qj：第j项评估内容达标率，j＝1，2，......11，分别代表11个三级模块；
[0073] nj：第j项评估内容包含的三级指标下调查问卷问题总数量；
[0074] xj：第j项评估内容中调查问卷中选择“是”的数量；
[0075] 参照全球流行病学培训与公共卫生干预网络(TEPHINET)培训项目质量评估方法，经多方征求专家意见，得出评判标准：QTi≥80％，评判结果为非常好或较好，60％≤QTi＜80％，评判结果为一般，QTi＜60％，评判结果为不好。
[0076] (2)反应模块以项目办、学员为评估主体，运用问卷调查评估，在培训后立即进行评估，包括培训课程满意度、现场实践满意度、培训导师满意度、组织管理满意度、期望建议 5个二级指标，培训课程满意度包括培训目标明确性、课程内容完整性、课程安排恰当性、课程难易程度、内容与工作相关度、课程课业量、授课方式、教材或讲义适应性8个三级指标，现场实践满意度包括任务安排和适度，导师对现场实践的指导，集中授课中的实践安排，对现场实践能力提升的帮助4个三级指标，培训导师满意度包括教学态度、专业素质、语言表达、教学进度把握、对学员问题解决程度5个三级指标，组织管理满意度包括培训组织、培训场地、培训辅助设备及资料、项目管理、项目定期评估与反馈4个三级指标；期望建议包括存在问题、有关建议2个三级指标，通过公式(3)对三级指标单项满意度进行评估，得到单项满意度Sj后，代入公式(4)得到二级指标综合满意度评估指数，公式(3)与公式(4)如下：
[0077]
[0078] Sj：第j项评估内容满意度，j＝1,2,……24，分别代表24个三级模块；
[0079] n：参与调查的学员数量；
[0080] xij：第i位学员对第j项评估内容的满意度评分；
[0081] ss：满意度评分满分值；
[0082]
[0083] STi：第i项评估内容综合满意度，i＝1,2,……4，分别代表培训课程设置满意度、现场实践、培训导师、组织管理；
[0084] Sj：公式(3)得到的单项满意度；
[0085] m：单项评估内容的数量，公式(4)中m＝2或4或5或8；
[0086] 满意度评分为1～5分，满分为5分。其中，1分不满意，2分不太满意，3分一般，4 分较满意，5分很满意，满意度为被调查学员打分的平均分除以5分再乘以100％，故评判标准：STi≥80％，评判结果为较满意或很满意；60％≤STi<80％，评判结果为一般；STi<60％，评判结果为不太满意或不满意。
[0087] (3)学习模块以项目办、学员为评估主体，运用问卷调查方法，在培训前、培训后分别进行评估，包括项目办评估与学员自我评估2个二级指标，项目办评估包括毕业答辩情况、流行病学研究情况、紧急流行病学调查情况、开展培训情况、发展文章情况、文献批判性阅读情况、出勤率、其他实践、担任班委情况9个三级指标，运用公式(5)进行计算得到评估结果；学员自我评估是从流行病学基础理论掌握情况、紧急流行病学调查能力、监测能力、风险分析能力、空间流行病学分析能力、流行病学研究设计及现场调查能力、疫情数据整理及分析能力、英语沟通及报告水平8个三级指标进行评估，运用公式(6)、公式(7)得到评估结果；
[0088] 项目办评估公式为：
[0089] GS＝Σxi 公式(5)
[0090]
[0091] xi：第i项指标得分情况，i＝1，2，…….9，依次代表毕业答辩、流行病学研究、紧急流行病学调查、开展培训、发表文章、文献批判性阅读、出勤，另有附加项：其他实践和担任班委；
[0092] 其中毕业答辩总分60分，流行病学研究总分10分，紧急流行病学调查总分10分，开展培训总分5分，发表文章总分5分，文献批判性阅读总分4分，出勤率总分6分，其他实践与担任班委作为附加分，总分分别为3分和2分，共计105分；
[0093] 每期培训招收学员20名，为激发学员学习热情，提升培训效果，在实地调研部分省份兽医主管部门领导的基础上，根据各省干部选拔任用条例等有关文件规定，经项目执委会研究，确定评判标准：根据每位学员的总分进行排名，排名前25％的学员额外获得优秀毕业生荣誉称号，排名25％与50％之间的额外获得优秀现场实践荣誉称号，所有完成全部培训内容的学员获得由农业农村部颁发的毕业证书。
[0094] 所述学员自我评估通过单项知识技能掌握与综合掌握度进行评估，单项知识技能掌握通过公式(6)计算，综合掌握度通过公式(7)进行计算，公式(6)与(7)如下：
[0095]
[0096] Mj：第j项知识技能掌握度，j＝1，2，……8，分别代表学员自我评估中的各三级指标；
[0097] n：参与调查的学员数量；
[0098] xij：第i位学员对第j项知识技能的掌握度自评分；
[0099] sm：掌握度评分满分值；
[0100]
[0101] MT：综合掌握度；
[0102] Mj：公式(6)得到的单项知识技能的掌握度；
[0103] m：单项知识技能的数量，公式(7)中m＝8；
[0104] 掌握度评分为1～5分，满分为5分。其中，1分不好，2分不太好，3分一般，4分较好， 5分很好，掌握度为被调查学员打分的平均分除以5分再乘以100％，故评判标准：MT≥80％，评判结果为较好或很好；60％≤MT＜80％，评判结果为一般；MT＜60％，评判结果为不太好或不好。
[0105] (4)行为模块以学员、学员单位或同事、执委会、导师为评估主体，运用问卷调查或实地调研方法，在培训后定期进行评估，包括行为变化情况与知识技能应用情况2个二级指标，行为变化情况包括工作态度是否有变化、工作积极性是否有所提高、沟通交流能力是否有所提高、兽医流行病学理念是否有所提高、工作职能或角色是否有变化、职务或职称是否晋升6个三级指标，知识技能应用情况包括培训是否达到预期、是否运用所学知识及技能、工作能力是否有所提高、外语水平是否有所提高、单位是否支持培训所学5个三级指标，行为变化情况与知识技能应用情况2个二级指标的评估是按照先进行三级指标单项变化率公式(8)计算，后再进行综合变化率公式(9)计算，得到评估结果，公式(8)与公式(9) 如下：
[0106] 单项变化率评估公式：
[0107]
[0108] 其中：
[0109] Aj：第j项行为变化率，j＝1,2,……11，代表11个三级指标的内容；
[0110] xj：第j项评估内容中选择“是”的数量；
[0111] n：参与调查的学员数量；
[0112] 综合变化率评估公式：
[0113]
[0114] ATi：第i项评估内容综合变化率，i＝1,2，分别代表行为变化和知识技能的应用；
[0115] Sj：单项变化率；
[0116] m：单项评估内容的数量，公式(8)中m＝6或5；
[0117] 经多方征求专家意见，得出评判标准：ATi≥80％，培训效果非常好或较好；60％≤ATi<80％，培训效果一般；ATi<60％，培训效果不好。
[0118] (5)结果模块以学员、学员单位领导、执委会、导师为评估主体，运用问卷调查实地调研方法，在培训后定期进行评估，结果模块包括个人业绩、单位效益2个二级指标，个人业绩包括流行病学研究/监测情况，紧急流行病学调查情况，风险分析能力，开展流行病学培训和授课情况，第一作者或通讯作者发表文章情况，国内国际流行病学学术研讨情况，申请/实施科研项目及课题，参与标准制定修订情况，制定规划或计划情况9个三级指标，单位效益包括提升单位知名度效果，领导认可度调查，对单位兽医流行病学工作的帮助3个三级指标。
[0119] 选择满足与学员学历、职务、本领域工作时间背景相当中的至少两项，但没有参与 CFETPV培训的人员作为对照组，通过
配对样本T检验比较学员与对照组间的成果统计来评价培训效果，评判结果：T检验显示若有统计学差异，表明培训效果显著，若没有统计学差异，表明培训效果不显著。
[0120] 本发明的有益效果：在本系统中，五个评估模块逐层递进、相辅相成。管理模块是对培训质量的评估，便于掌握培训实施情况，及时发现问题，提高培训质量。反应模块是对培训的满意度和期望建议，是学员根据自己的培训需求和活动状况进行的直观反馈。管理模块和反应模块得到的评估结果和学习模块紧密相连，由于学员对培训的直观感受不同，会出现不同的学习表现，从而导致对知识技能的掌握程度不同。行为模块是学员培训后日常工作的表现，虽经过培训，并不一定所有的
收获都能够转化为实践能力，但总体上，学习模块对行为模块有巨大影响。此外，学习模块和行为模块体现的内容会共同作用于单位和个人总体利益的产出，影响结果模块。而根据单位和学员是否受益及受益程度，会使学员单位产生新的培训需求，从而影响对下一次培训的反应。使用本系统时可以从以下几方面入手：首先，引入系统思维，关注不同模块对总体产出的影响，将培训效果放在首要
位置。其次，加强项目办和学员单位的交流，综合考虑不同评估主体的评估结果，进行汇总分析。再次，注重结果反馈，及时将评估结果上报至管理模块，从而为项目未来发展提供决策依据。
具体实施方式
[0121] 一种兽医现场流行病学项目培训效果评估系统，包括管理模块、反应模块、学习模块、行为模块、结果模块五个一级模块，每个一级模块下设若干二级模块，二级模块下设若干三级模块，参见表1。
[0122] 表1 CFETPV项目培训效果评估系统
[0123]
[0124] 管理模块是项目办对培训质量的评估，于培训结束后进行，具体指标参见表2，包括项目管理模块和教学质量模块，所述项目管理模块和教学质量模块下设有11个次级模块，所述项目管理模块从课程管理情况、人力资源管理情况模块、物质资源水平、资金来源、学员选拔评估、监督评价、毕业生管理评估7个方面，了解项目实施情，进行培训项目质量评估，所述教学质量评价模块从培训课程设置评估、现场实践水平评估、技术水平评估、学员评估 4个方面进行质量评估；
[0125] 表2管理模块指标/体系
[0126]
[0127]
[0128] 所述项目管理模块与所述教学质量评价模块根据公式(1)计算教学质量评价综合达标率，进行教学质量评估，公式(1)如下：
[0129]
[0130] QTi：第i项评估内容综合达标率，i＝1,2，分别代表项目管理和教学质量评价；
[0131] Qj：单项达标率；
[0132] m：单项评估内容的数量，公式(1)中m＝7或4；
[0133] 参照全球流行病学培训与公共卫生干预网络(TEPHINET)培训项目质量评估方法，经多方征求专家意见，得出评判标准：TTi≥80％，评判结果为非常好或较好，60％≤TTi＜80％，评判结果为一般，TTi＜60％，评判结果为不好。在本
实施例中，为了细化评估结果，提高单项达标率评估，管理模块的部分三级模块可以从以下内容进行即四级指标单项评估，课程管理模块通过是否有课程设置，是否有教学目录，是否有教学能力要求，是否有课程安排，是否有培训目标，是否有教学方法进行单项评估；人力资源管理模块通过是否有主任，主任是否在农业农村部担任职务，主任是否有职责描述，是否有其他人员职责描述，是否有外部聘任专家，是否每位学员都有导师，是否有导师职责描述，是否有导师培训计划，是否有导师预算进行单项评估；物质资源水平模块从是否有课堂讲义，是否有个案研究，是否有现场调查方案，是否有课后练习，是否有参考书目，培训时是否有互联网，是否有参考文献，是否有视听设备，是否有复印机，是否为学员提供电脑，是否有
打印机，是否有
采样设备及用品，是否有运输样品设备及用品，是否有参考实验室，是否有
生物安全设备，是否有教室，是否有员工办公室，是否有专有电话，实践时工作人员能否联系上学员，实践时学员能否联系上工作人员，是否有国际电话，项目办能否发邮件，学员能否发送并接收邮件，是否有现成的交通工具，是否有资金使用交通工具，是否有明确项目预算进行单项评估；资金来源模块从农业部是否有经费支持，FAO是否有经费支持进行单项评估；学员选拔评估模块从是否有学员选拔条件，是否有入学程序，是否有学员活动记录，是否有学员书面成果，是否有学员阶段性评估，是否有学员阶段性评估程序；监督评价模块从是否有项目管理人员阶段性评估，是否有关键项目指标
数据库，是否有评估计划方面进行单项评估；毕业生管理评估模块从是否有毕业证书，培训期间是否有其他培训机会，是否有毕业生就业计划方面进行单项评估；培训课程评估模块从是否完成
指定课程方能毕业，是否包含描述流行病学，是否包含分析流行病学，是否包含生物统计，是否包含监测，是否包含
人畜共患病，是否包含田间调查指南，是否包含动物疫病防控，是否包含实验室和生物安全程序，是否包含调查和抽样，是否包含效果测量(如动物卫生经济和决策分析)，是否包含课程管理，是否征求学员培训主题，是否征求学员培训时长，是否征求学员参考资料，是否征求学员培训方法，是否征求学员是否达到预期目标进行单项评估；现场实践评估模块从是否每位学员完成流行病学研究，是否每位学员完成监测，是否每位学员完成暴发调查，是否每位学员完成风险分析，是否每位学员完成批判性阅读，是否每位学员完成海报展示，是否每位学员完成递延培训进行单项评估；技术水平评估从是否让学员参与项目办评估，是否有评估学员进步的标准格式进行单项评估；学员评估从学员是否知道评估结果，是否有完成培训内容的正式文件进行单项评估。
[0134] 单项达标率评估公式：
[0135]
[0136] Qj：第j项评估内容达标率，j＝1，2，......11，分别代表11个三级模块；
[0137] nj：第j项评估内容包含的三级指标下调查问卷问题总数量；
[0138] xj：第j项评估内容中调查问卷中选择“是”的数量；
[0139] 例如，课程管理包含6个四级指标，其中5项选择“是”，则课程管理的达标率为[0140]
[0141] 反应模块用于评估项目办和学员对培训项目的反应和评价，于培训后立即进行，指标体系参见表3，反应模块包括培训课程满意度模块，现场实践满意度模块，培训导师满意度模块，组织管理满意度模块，期望建议模块；所述培训课程满意度模块包括培训目标明确性评价模块，课程内容完整性评价模块，课程安排恰当性评价模块，课程难易程度评价模块，内容与工作相关度评价模块，课程课业量评价模块，授课方式评价模块，教材或讲义适应性评价模块；所述现场实践满意度模块包括任务安排合适度评价模块，导师对现场实践的指导评价模块，集中授课中的实践安排评价模块，对现场实践能力提升的帮助评价模块；所述培训导师满意度模块包括教学态度评价模块，专业素质评价模块，语言表达评价模块，教学进度把握评价模块，对学员问题解决程度评价模块；所述组织管理满意度模块包括培训组织评价模块，培训场地评价模块，培训辅助设备及资料评价模块，项目管理评价模块，项目定期评估与反馈评价模块；所述期望建议模块包括存在问题评价模块，有关建议评价模块。
[0142] 表3反应模块指标/体系
[0143]
[0144]
[0145] 所述培训课程满意度模块、现场实践满意度模块、培训导师满意模块、所述管理满意度模块通过公式(3)和公式(4)进行满意度评判，公式(3)与公式(4)如下：
[0146]
[0147] Sj：第j项评估内容满意度，j＝1,2,……24，分别代表24个三级模块；
[0148] n：参与调查的学员数量；
[0149] xij：第i位学员对第j项评估内容的满意度评分；
[0150] ss：满意度评分满分值；
[0151] 例如，满意度评分设置为1～5分，满分为5分，4位学员对培训目标明确性的满意度评分分别为4、4、5、5分，则课程内容的满意度为S1＝(4+4+5+5)/(4×5)×100％＝90％。
[0152]
[0153] STi：第i项评估内容综合满意度，i＝1,2,……4，分别代表培训课程设置满意度、现场实践、培训导师、组织管理；
[0154] Sj：单项满意度；
[0155] m：单项评估内容的数量，公式(4)中m＝2或4或5或8；
[0156] 例如，学员对培训组织、培训场地、培训辅助设备及资料、项目管理的满意度分别为 90％、92％、95％、和91％，则对组织管理的综合满意度为
[0157]
[0158] 满意度评分为1～5分，满分为5分。其中，1分不满意，2分不太满意，3分一般，4 分较满意，5分很满意，满意度为被调查学员打分的平均分除以5分再乘以100％，故评判标准：STi≥80％，评判结果为较满意或很满意；60％≤STi<80％，评判结果为一般；STi<60％，评判结果为不太满意或不满意。
[0159] 所述学习模块用于评估学员参加培训后知识技能的掌握情况，于培训前和培训后进行评估，模块/指标体系见表4，包括项目办评估模块与学员自我评估模块，所述项目办评估模块包括毕业答辩评价模块，流行病学研究评价模块，紧急流行病学调查评价模块，开展培训评价模块，发表文章综合评价模块，文献批判性阅读综合评价模块，出勤率评价模块，其他实践安排评价模块，担任班委情况评价模块，所述项目办评估模块用于考察学员学习期间的综合情况；所述学员自我评估模块用于了解学员对培训所学“八项能力”的综合掌握程度，包括流行病学基础理论评估模块，紧急流行病学调查评估模块，监测评估模块，风险分析评估模块，空间流行病学分析评估模块，流行病学研究设计与现场调查评估模块，疫情数据整理及分析评价模块，英语沟通及报告评价模块。八项能力是指培训所学流行病学基础理论、紧急流行病学调查、监测、风险分析、空间流行病学分析、流行病学研究设计及现场调查、疫情数据整理及分析、英语沟通及报告。
[0160] 表4学习模块指标/体系
[0161]
[0162]
[0163] 所述项目办评估模块通过项目办评估结果Gs来考察学员学习期间的综合表现情况，项目办评估结果Gs的计算方式见公式(5)：
[0164] GS＝Σxi 公式(5)
[0165]
[0166] xi：第i项指标得分情况，i＝1，2，…….9，依次代表毕业答辩、流行病学研究、紧急流行病学调查、开展培训、发表文章、文献批判性阅读、出勤，共100分，另有附加分：其他实践和担任班委，总分105分；
[0167] 其中毕业答辩总分60分，流行病学研究总分10分，紧急流行病学调查总分10分，开展培训总分5分，发表文章总分5分，文献批判性阅读总分4分，出勤率总分6分，其他实践与担任班委作为附加分，总分分别为3分和2分；
[0168] 每期培训招收学员20名，为激发学员学习热情，提升培训效果，在实地调研部分省份兽医主管部门领导的基础上，根据各省干部选拔任用条例等有关文件规定，经项目执委会研究，确定评判标准：根据每位学员的总分进行排名，排名前25％的学员额外获得优秀毕业生荣誉称号，排名25％与50％之间的额外获得优秀现场实践荣誉称号，所有完成全部培训内容的学员获得由农业农村部颁发的毕业证书。
[0169] 所述学员自我评估模块通过单项知识技能掌握与综合掌握度进行评估，单项知识技能掌握通过公式(6)计算，综合掌握度通过公式(7)进行计算，公式(6)与公式(7)如下：
[0170]
[0171] Mj：第j项知识技能掌握度，j＝1，2，……8，分别代表流行病学基础理论、紧急流行病学调查、监测、风险分析、空间流行病学分析、流行病学研究设计及现场调查、疫情数据整理及分析、英语沟通及报告；
[0172] n：参与调查的学员数量；
[0173] xij：第i位学员对第j项知识技能的掌握度自评分；
[0174] sm：掌握度评分满分值；
[0175] 例如，掌握度自我评分设置为1～5分，满分为5分，3位学员对紧急流行病学调查的自我评分分别为3、4、5分，则掌握度为
[0176]
[0177] MT：综合掌握度；
[0178] Mj：单项知识技能的掌握度；
[0179] m：单项知识技能的数量，公式(7)中m＝8；
[0180] 例如，学员
对流行病学基础理论、紧急流行病学调查、监测、风险分析、空间流行病学分析、流行病学研究设计及现场调查、疫情数据整理及分析、英语沟通及报告的掌握度分别为91％、86％、88％、90％、92％、87％、90％和93％，则综合掌握度为[0181]
[0182] 掌握度评分为1～5分，满分为5分。其中，1分不好，2分不太好，3分一般，4分较好， 5分很好，掌握度为被调查学员打分的平均分除以5分再乘以100％，故评判标准：MT≥80％，评判结果为较好或很好；60％≤MT<80％，评判结果为一般；MT<60％，评判结果为不太好或不好。
[0183] 所述行为模块用于了解学员将学习内容转化为工作实际的情况，于项目结束后定期进行，多在半年以后开展，模块/体系参见表5，包括行为变化评价模块与知识技能应用评价模块，所述行为变化评价模块包括工作态度评价模块，工作积极性评价模块，沟通交流能力评价模块，兽医流行病学理念评价模块，工作职能或角色变化评价模块，职务或职称晋升评价模块，分别从工作态度是否有变化，工作积极性是否有所提高，沟通交流能力是否有所提高，兽医流行病学理念是否有所提高，工作职能或角色是否有变化，职务或职称是否有变化进行评价；所述知识技能应用评价模块包括培训与预期差别评价模块，项目所学知识与技能应用评价模块，工作能力提升评价模块，外语水平提升评价模块，单位支持度评价模块，分别从是否达到预期，是否运用所学知识及技能，工作能力是否有所提高，外语水平是否有所提高，单位是否支持培训所学方面进行评价。
[0184] 表5行为模块指标/体系
[0185]
[0186] 所述行为变化评价模块与知识技能应用评价模块通过单项变化率和综合变化率进行评估，单项变化率公式运用公式(8)计算，综合变化率评估运用公式(9)计算，公式(8) 与公式(9)如下：
[0187]
[0188] Aj：第项行为变化率，j＝1,2,……11，分别代表工作态度、工作积极性、和沟通交流能力等11个三级模块；
[0189] xj：第j项评估内容中选择“是”的数量；
[0190] ：参与调查的学员数量。
[0191] 例如，6位学员对“工作态度是否有变化”中有5位选择“是”，则工作态度的变化率为。
[0192]
[0193] ATi：第i项评估内容综合变化率，i＝1,2，分别代表行为变化和知识技能的应用；
[0194] Sj：单项变化率；
[0195] m：单项评估内容的数量，公式(9)中m＝6或5；
[0196] 例如，对培训是否达到预期、是否运用所学知识及技能、工作能力是否有所提高、外语水平是否有所提高、单位是否支持培训所学的达标率分别为96％、98％、99％、100％和98％，则知识技能的应用的综合变化率为
[0197] 评判标准：ATi≥80％，培训效果非常好或较好；60％≤ATi<80％，培训效果一般；ATi<60％，培训效果不好。
[0198] 所述结果模块用来预见项目培训对学员和单位带来的积极作用，于培训后半年定期进行，指标/体系参见表6，包括个人业绩模块与单位效益模块，所述个人业绩模块包括流行病学研究/监测评价模块，紧急流行病学调查评价模块，风险分析评价模块，开展流行病学培训和授课评价模块，文章发表情况分析模块，参与国内国际流行病学学术研究评价模块，申请/实施科研项目及课题综合评价模块，参与标准制定修订综合评价模块，制定规划或计划评级模块；所述单位效益模块包括单位知名度评价模块，领导认可度评价模块，对单位兽医流行病学工作的帮助评价模块。
[0199] 表6结果模块指标/体系
[0200]
[0201]
[0202] 选择与学员学历、职务、本领域工作时间(至少两项以上)等背景相当，但没有参与 CFETPV培训的人员作为对照组，通过配对样本T检验比较学员与对照组间的成果统计来评价培训效果，评判结果：T检验显示若有统计学差异，表明培训效果显著，若没有统计学差异，表明培训效果不显著。
[0203] 在本系统中，五个评估模块逐层递进、相辅相成。管理模块是对培训质量的评估，便于掌握培训实施情况，及时发现问题，提高培训质量。反应模块是对培训的满意度和期望建议，是学员根据自己的培训需求和活动状况进行的直观反馈。管理模块和反应模块得到的评估结果和学习模块紧密相连，由于学员对培训的直观感受不同，会出现不同的学习表现，从而导致对知识技能的掌握程度不同。行为模块是学员培训后日常工作的表现，虽经过培训，并不一定所有的收获都能够转化为实践能力，但总体上，学习模块对行为模块有巨大影响。此外，学习模块和行为模块体现的内容会共同作用于单位和个人总体利益的产出，影响结果模块。而根据单位和学员是否受益及受益程度，会使学员单位产生新的培训需求，从而影响对下一次培训的反应。使用本系统时可以从以下几方面入手：首先，引入系统思维，关注不同模块对总体产出的影响，将培训效果放在首要位置。其次，加强项目办和学员单位的交流，综合考虑不同评估主体的评估结果，进行汇总分析。再次，注重结果反馈，及时将评估结果上报至管理模块，从而为项目未来发展提供决策依据。
