教学评价与改进实践
如何用多源证据评价并改进大学教学。核心命题：教学效果无法直接观察，任何单一指标都不可靠；评价的用途（改进还是问责）决定证据应该怎么收、怎么用。
历史脉络
学生评教（Student Evaluation of Teaching, SET）的源头在 1920 年代的普渡大学，雷默斯（Herman Remmers）开发了最早的标准化评教量表；1960–70 年代随美国高校问责压力与学生运动而普及为几乎所有院校的常规制度；1980 年代马什（Herbert Marsh）的 SEEQ 等工具把 SET 心理测量学化。1990 年博耶（Ernest Boyer）提出教学学术，推动教学像科研一样接受同行评议与公开检验（见 教学学术与教师发展）。2010 年代，SET 效度研究出现转折性证据，多所高校与项目（如美国国家科学基金会资助的 TEval 项目，2017 年前后启动）转向多源、结构化的教学评价改革。
核心原理与概念
- 证据三角互证：教学质量的证据来自四个来源——学生（评教、期中反馈）、同行（观察、材料评审）、自我（档案袋、教学陈述）、学习结果（直接测量）。任何人事决定至少要有两个以上来源交叉支持。
- 形成性与总结性分离：用于改进的信息（可以坦诚暴露问题）与用于晋升考核的信息（必然引发印象管理）混在一个流程里，两个目的都会失败。
- 低利害原则：指标一旦高利害化就会被博弈——宽松给分换好评、只教容易被看见的东西。
代表人物与经典文献
- Remmers, H.（普渡大学，1920 年代）——SET 研究的开创者。
- Marsh, H. "SEEQ"（1982）——最有影响的标准化评教工具之一。
- Cohen, P. A.（1981）——早期元分析，曾报告 SET 与学习成绩中等正相关。
- Uttl, B., White, C. A., & Gonzalez, D. W.（2017，Studies in Educational Evaluation）——元分析：校正小样本偏差后，SET 与学生学习增量的相关趋近于零。
- MacNell, L., Driscoll, A., & Hunt, A.（2015）——在线课程互换教师身份的实验，暴露性别偏差。
- Boring, A.（2017，Journal of Public Economics）及 Boring、Ottoboni 与 Stark（2016）——SET 性别偏差的计量证据。
- Seldin, P. The Teaching Portfolio（1991 初版）——教学档案袋传统的奠基作。
理论间关系
- 教育评价理论：效度、信度与"评价用途决定证据"的框架，从评学生平移到评教学。
- 教学学术与教师发展：改进面的制度载体——教学发展中心、同行社群与教学学术发表。
- 建构性对齐：学习成果的直接测量要成立，前提是成果—教学—考核已对齐。
- 质量保障与认证体系：院校与专业层面的外部问责语境。
- 高等教育治理与政策：评教进入绩效管理后的制度后果属于治理问题。
- 以学生为中心的教学：主动学习课堂"实际学得多、感觉学得少"的证据，是解读其评教分数下滑的关键背景。
在高等教育中的实践应用
学生评教：证据与合理使用
效度争议：科恩（1981）的早期元分析曾支持 SET 与学习成绩中等正相关，长期被用来为制度背书；乌特尔等（2017）纳入更多研究并校正小样本效应后，相关趋近于零——SET 测量的主要是学生满意度，而非教学带来的学习。偏差证据：麦克内尔等（2015）让同一在线课程的助教互换性别署名，"男性"身份获得系统性更高评分；博林等用法、美数据反复验证性别与外国教师偏差；给分宽松与好评的关联也有稳定证据。滥用后果：2018 年加拿大瑞尔森大学（Ryerson University）仲裁裁决明确 SET 不得作为衡量教学有效性的依据用于晋升与终身职决定；评分通胀是系统层面的代价。
合理使用原则清单：
- 低利害：不进排名、不设"末位"，不单独决定任何人事结论
- 多源三角互证：SET 只是一角
- 聚焦可改进项：多用具体行为条目与开放题，少看总体满意度
- 报告分布与样本量，小班（如 n<10）与低响应率结果不做解读
- 对解读者做培训：0.3 分的差异几乎从不构成可靠区分
- 对采用主动学习的课堂，预期短期分数波动并在解读中说明
同行评议教学
形成性（同事互助观课）与总结性（人事评审）必须分开进行、分开存档。课堂观察走三段协议：观察前会谈（了解课程目标与当次意图）→ 观察（用结构化记录表，如 STEM 领域常用的 COPUS 行为编码）→ 观察后会谈（描述先于评判）。材料评审看大纲、作业与试卷的对齐质量，往往比听一次课更有信息量。评议者须经培训并使用公开量规，否则同行评议只是把偏见换了主体。
教学档案袋与教学陈述
塞尔丁（Peter Seldin）传统的结构：教学理念陈述、教学责任清单、方法与材料样例、学生学习证据、改进轨迹（含失败与调整）、他人评价。关键是反思性——档案袋的价值在"证据 + 对证据的解释"，堆料无益。教学陈述宜与理念一致的证据互相锚定。
期中学生反馈（SGID）
小组教学诊断（Small Group Instructional Diagnosis）：学期中段第三方顾问入班，学生分组就"哪些做法帮助学习、哪些妨碍、有何建议"形成共识意见，顾问整理后与教师面谈，教师向学生公开回应。证据表明"反馈 + 咨询面谈"对后续教学改进的效果显著优于只发问卷；期中时点让当下学生受益，也降低了防御心理。
学习成果的直接测量
前后测、跨教师共同题、用统一量规对学生作品盲评，是最接近"教学是否产生学习"的证据；但归因须谨慎——学习受先修、投入等多因素影响，跨课程横向比较尤其危险。
机构支撑与中国场景
教学发展中心的咨询必须与人事评价严格隔离（保密原则），否则无人求助；TEval 等项目提供了把教学分解为多维度、配量规与多源证据的院校级框架。中国场景的两个突出问题：其一，评教分数深度嵌入职称、绩效乃至"末位约谈"，正是文献警告的高利害滥用形态，改革方向是降利害、报分布、增加同行与档案袋权重；其二，督导听课传统偏检查性，可借三段式观察协议改造为形成性制度，把"打分"换成"对话"。
批评与局限
多源评价成本高，可能异化为材料军备竞赛；同行评议受人情与院系政治影响，信度并不天然高于 SET；档案袋可被精心包装；直接测量面临归因难题；而任何指标只要接上高利害，就会重演被博弈的老故事。多源评价不是万灵药，它只是把"用一个坏指标"的确定性伤害，换成"用一组不完美指标"的可管理风险。
前沿动态
多校联盟的教学评价改革（TEval 及其教学质量框架量规）持续扩散；基于课堂行为观察编码（COPUS 等）的教学实践测量走向常规化；AI 辅助的课堂话语分析开始进入教学反馈场景，其隐私与监控伦理争议同步出现（见 AI时代的教与学）；中国新一轮审核评估强调校内质量文化，为评教制度的形成性转向提供了政策窗口。
延伸阅读
- Uttl, White & Gonzalez（2017）——SET 效度问题的关键元分析。
- Seldin, P. The Teaching Portfolio——档案袋操作与样例。
- Chism, N. Peer Review of Teaching: A Sourcebook（1999）——同行评议协议与表单。
- Arreola, R. Developing a Comprehensive Faculty Evaluation System（第三版, 2007）——多源评价的系统设计。
相关条目：教育评价理论、教学学术与教师发展、建构性对齐、质量保障与认证体系、高等教育治理与政策、以学生为中心的教学、理论到实践映射、AI时代的教与学