人力变算力 AI赋能北大教学评价

本文原标题《北大：人力变算力，AI赋能教学评价》

“希望未来可以形成一套新的教学评价模式，把人力变成算力，做更全面的教学质量监测，给予老师更细化的教学指导”现为北京大学教务部副部长的董礼谈及该校本科教学质量评价工作的新变化时表示。

2022年3月，时任北京大学常务副校长、教务长龚旗煌（现为校长、党委副书记）在中国语言文学系检查教学工作情况和教学档案管理情况时强调，“新一轮本科教学审核评估对学校发展提出了更高的要求，要全方位展示北大教育教学改革过程中的新举措、新成绩和新面貌；要突出本科教育的理念，思考如何培养引领未来的人才，……推动教育教学改革进一步深化，……建设世界一流的本科教育。”

近年来，教学评价工作是北大教育教学改革重点推进的事项之一。谈及北大的本科教学质量评价工作的新变化，时任北京大学教务部教育教学评估办公室主任、现为北京大学教务部副部长的董礼在与麦可思研究（以下简称“麦”）交流过程中多次提到“改革”“评价指标细化”“教评信息化”“AI”等关键词，尤其是AI技术在教评工作的应用方面，北大做了诸多探索和尝试。他说，希望未来可以形成一套新的教学评价模式，把人力变成算力，做更全面的教学质量监测，给予老师更细化的教学指导。

麦：北大的本科教学质量保障体系建设情况如何？在进行哪些新探索？

董礼：我们的本科教学质量保障体系建设有两大关注点，一是以课程评价为核心，二是将信息技术与教评系统结合做一些改进工作。

北大打造的 以课程评价为核心的 本科教学质量保障体系 ，同时包括院系评价、专业评价、教师评价、学生评价等内容。我们觉得课程是影响教学质量的核心因素，课程评价做好了，能让教师更专心于教学，为学生提供更高质量的课程，利于进一步提升人才培养质量。我校的课程评价包括对课程本身、学生对老师、专家领导听课以及老师自评等多方数据，还有教务部启动的各类教学质量的调查数据。

近年来，北大一直在发力系统建设，力图将信息技术与教学评价相融合，包括与外部第三方合作搭建的教学质量管理平台，以及正在开发的校内本科教学质量状态系统等。近期，我们联系了一些人工智能开发公司，希望利用AI技术改进教学评价，把这项工作做得更细化，导向性更明确，更能助力院系和教师教学。

麦：北大探索AI助力教评工作的思路是怎样的？目前进展如何？

董礼：目前我们正在整合学校数据，参照教育部本科教学基本状态数据采集平台的功能和数据收集需求，建立了一套北大校内的本科教学质量状态系统，已经开展了一些简单的教评数据分析工作。

教育部本科教学基本状态数据是静态的，每年填报一次，按照固定的时间来收集和展示，但我们想拓宽教学数据的广度，加入过程性数据，如学生学习过程的数据、教师教学的动态数据，这些数据需要从其他系统获取后纳入其中。

另外，北大的听课专家组从最开始的15人左右已提升至40余人，规模翻倍有余，但教务部每年统计专家组的听课数据发现，单从听课数量来看，每年仅有约1/3~1/4的课程被专家听过。由于一门课程被听的次数非常有限，学校和专家其实对教师的课程设计等具体内容了解是不足的。与此同时，教务部受限于管理压力和专家资源有限，继续扩大专家组规模的可行性不大。因此我们希望能在评价方式上下功夫，扩大课程评价规模和质量。

数据可视化呈现是新系统需重点实现的工作。之前的系统虽能展示核心数据指标，但是给学校领导、院系管理人员和老师的支持并不够，部分教评数据没有展示出评价、横向比较结果，使用者难以对比其他院系找出优劣之处。另外我们也在美化系统界面，让使用者能更清晰直观地了解各院系、各专业的教学发展状况，以及教师层面不同院系的对比情况。

这些做法优势在于，一是评价更加标准化，不同专家对同一门课程可能会有差异较大的评价结果，利用AI技术可以保证所有课程是在同等情况下得出相对公平的评比结果；二是不受人力限制开展评价工作，可从非学生的角度对全部课程进行全覆盖，结合专家、领导、学生和AI自身等多渠道的评比结果，对课程的评价也更客观、公正；三是给老师具体的改进方向和建议，借助AI技术对课堂录像和文本的分析，能深入体现老师的教学风格，给他们更合理、精准的改进建议，譬如一些老师强调知识的传授学习，而忽略了师生互动环节，新系统可在某一时间节点提醒老师开展课堂交流或者鼓励学生课堂提问等。

目前来看，利用AI技术开展教评工作困难不小。大学老师的教学行为通常有个人特色，不像基础教育老师的教学，模式化程度较高。但是我们觉得可以先探索看看，能否形成一套新的教学评价模式，把人力变成算力，做更全面的教学质量监测，给老师更细化的教学指导。

麦：对于教评工作的信息化，您认为未来的发展趋势是怎样的？

董礼：我觉得AI技术与教评工作的融合可能是未来的发展趋势。教评工作信息化，就是尽量减少人工工作量，让机器做一些工作，减少师生负担。

未来AI如果能较好分析课堂教学情况，包括分析学生的学习状态、老师的教学状态等，其实可以降低学生评教的覆盖率。对于AI评教的准确性，则可结合其他渠道的数据，去了解、佐证。譬如每学期可以在固定时间段，选取真正愿意参与课程评价的学生反馈教学意见。当然，学校要保证这一群体有畅通的反馈渠道。

专家组的听课，与学生评教类似，同样可以与AI相融合。

受疫情影响，这几年学校所有的课程都有录像，其实是积累了大量的数据，至少有相对基础的数据，且当前的硬件条件、网络配置等也基本上能满足教评工作信息化的需求了。

麦：您也曾提到分类开展教学评价。北大目前这项工作是如何开展的？

董礼：我们一直在做课程的分类评价，包括理论课、实验课、体育课、实践课、思政课等都有不同的评价指标。差异化评价不同类型课程，基本上各高校做法类似。

我这里想谈到一点，北大与外部第三方合作教学质量管理平台时，曾提出给院系开放课程评价权限的个性化需求，希望各院系能依据其课程特征和课程分类情况，细化评价指标。但实际上，只有少部分院系在使用该功能，大部分院系还是习惯性地使用学校已设定的评价指标。主要原因是担心自己设计的评价指标不够合理，导致学生评课时有意见。

对老师和课程教学质量的改进与提升来说，有针对性设计的评价指标当然更好。教务部因而考虑进一步细化课程评价指标，从例如不同学科、不同层次、不同规模等维度去做专门的指标设计，还可能对同样的课程评价内容，制定不同问题问法的评价指标，融入针对性更强的评价内容。例如大班课的教学规范和小班课的教学规范的提法或许不同，但其指向内容的核心是一致的，即设计相对等价的、实质一致的评教问题。后续开展课程评价工作时，我们能依据课程类型去组合评价指标，或者提炼出更有针对性的评价模型，譬如将公用的评价指标和个性化的评价指标组合使用，全面了解各课程的教学内容、教学方法以及教学成效等具体情况。

我们觉得，课程评价应当要分出课程质量的高与低，明确一门课程好在哪，差在哪，对老师和院系都很重要。如果评价指标一样，得分高的课程，一定有做得更好的地方。当然，从学校和院系的管理角度来说，统一的评价指标也更便于比较。

麦：您也曾提到分类开展教学评价。北大目前这项工作是如何开展的？

董礼：该功能我们一直在用，是一个挺好的功能。

学校目前的课程评价是以期末评价为主，但是很多同学会在意，课程结束后评价，老师是否重视自己的反馈意见、是否会改进。所以我们希望在教学过程中，学生能向老师及时反馈意见。

教务部一般每两周整体查看一次学生的反馈，并邮件发送给相关老师，持续跟进没有及时回复的老师，并请院系也提醒老师，及时在课堂上或者系统里回应学生，以便思考如何去改进、调整后面的教学。

学生的意见得到重视和接纳，师生之间的交流也会更通畅。

不过评教确实是学生的额外任务，加上邮件、班级微信群、老师个人微信等沟通渠道，使得学生在该平台上的使用率并不太高。但对比其他渠道，教学质量管理平台有两大优势：一是学生可以选择匿名向老师反馈意见；二是教务部能看到学生的反馈意见，并督促老师及时回复学生。

麦：您之前说希望将教学质量管理平台中的教评结果应用到专业及院系的绩效考评中，不知现在的情况如何？

董礼：北大的教师教学绩效考核工作一直在运用评价数据，通过固定的指标和分值，影响院系的整体评价分数。相比之下，专业层面用得少一些，因为我们目前还是坚持大类培养为主，同一院系的不同专业，学生选的课相差不大，可能主要是同一课程是核心课还是选修课的差别。

基于北大的校院二级管理模式，教务部针对各院系开展评价，会影响到院系整体本科教学绩效。各院系会结合学校评价标准，并根据自身情况，继续使用教评数据去对老师进行绩效考核。

另外学校人事那边也在用这些评价数据，比如教学质量考核会影响教师晋升职称的评价。若教师教学综合评价较低会影响到教师职称晋升。

关注“麦研文选”,获取更多数据——

☞回复“布点专业”，获取近两年高职院校布点数增加较多的专业全名单。

☞回复“高职相关度”或“本科相关度”，分别获取2022届本科或高职专业相关度较高专业TOP20名单。