思维发展视域下的人工智能学习评价体系构建研究

中期报告

一、课题研究背景

布卢姆等人把认知领域的教育目标按从低到高分为记忆、理解、应用、分析、评价、创造六个层级。布朗德(Borland，2017)认为，未来社会只有那些“创新、沟通和深度思考”的工作职位很难被取代。对于正在全国兴起的人工智能教育，其教学目标应从“人工智能知识学习和基本应用”转向面向 “人工智能思维培养”。因此，在人工智能课程教学中，如何对学习效果进行分析和测量、为学生的学习提供有效的评价反馈，是实现思维发展的必要保障。

然而，目前国内中小学人工智能课程教学研究中关注较多的是课程设置、教材编写、教学策略等方面，对学习评价的实践研究相对薄弱，导致目前初中人工智能课程教学中缺乏系统的评价框架，基层教师在实践中很难对学生的学业水平进行有效高质的评价反馈。

目前国内已有部分地区开展人工智能课程教学探索，然而，对人工智能教学效果和教学过程的评价还在理论层面的探讨，暂时没有成熟的可参照的人工智能教学评价量表和指标体系出台^[2]。张志新等在调查中发现，人工智能课程的教学评价问题比较突出，评价内容侧重于认知结果，很少涉及对创新精神、动手能力、情感态度等综合素质的评价，对思维发展的评价更是处于空白状态，评价主体缺乏学生的参与，很少使用量规这种面向学习过程的评价工具。研究建议中小学人工智能课程的教学评价应重视总结性评价与过程性评价相结合，建议采用电子档案、学习平台等记录型评价手段，多使用先进的评价工具^[[1]]。

评价体系与学习方式密不可分。当下中小学人工智能课程中较为常见的是采用项目化学习，评价活动应根据项目学习不同阶段来开展^[[2]]，利用过程性和总结性评价相结合、质性与量化评价相结合、自我与相互评价相结合的评价可以促进项目化学习被有效地诊断和评估^[5]。

张闻闻、徐晓雄在高中人工智能课程教学评价中尝试以形成性评价贯穿于人工智能项目的各个阶段，用以测量学生思维发展水平^[2]。在卢言宏对日照市初中人工智能课程实施调查中显示，针对初中学段的学生应以激励性评价实现自我促进和反思，以重视思维评价促进能力发展，突出学生主体的自我评价，教师设计相适切的评价单以供学生记录和回顾，引导学生在项目中不断自省、修正、创造^[[3]]。

综上可见，目前国内初中人工智能课程的开设刚刚起步，普遍采用项目化学习，课程目标重视学生思维能力的养成，但与之相适配的评价方案设计尚停留在理论层面，虽有部分理论模型，但实际教学中的应用研究还比较缺乏，尤其是对思维和能力的评价尚无成熟案例，评价的主要手段表现为考核与测试为主，时间点主要集中在学期结束阶段，教学评价的学习驱动作用尚不明显。

本研究基于初中生的学习特点，以线上线下结合的评价实现方式，采取学生自评、生生互评、教师评价三位一体，从“提出问题、解决问题、成果呈现”三个维度搭建思维培养导向的学习评价方案。评价方案以解决问题为导向，构建情境分析、知识梳理、项目实施的学习支架，促进学习者思维发展。

二、核心概念界定

【思维发展】

本课题研究中的“思维发展”主要是指布卢姆在其《认知领域教育目标分类》中所提到的“知道、领会、应用、分析、综合、评价”六个类别目标的发展测评。

【人工智能】

本课题中的 “人工智能”原指根据《2017版江苏省义务教育信息技术课程纲要》（以下简称“新《课程纲要》”）指导下设计的初中信息技术课程中的“人工智能”课程模块，后根据2022义务教育阶段课程标准（新课标）第四学段内容“人工智能与智慧社会”，以培养学生信息素养为总目标，以“信息意识、计算思维、数字化学习与创新、信息社会责任”为学科核心素养，以“机器人、智能家居、语音识别、图像识别”为具体内容，以项目化学习为基本教学方式。

【学习评价体系】

本课题中的“学习评价体系”构建包括评价原则、评价指标、评价内容，尝试对初中人工智能模块的学习过程进行系统梳理，以课程目标为导向，以思维发展指标为基本框架，围绕项目化学习基本特点构建评价内容。

三、研究目标

1.本课题尝试以初中学段信息技术课程人工智能模块教学实践为载体，以线上线下结合的评价实现方式，采取学生自评、生生互评、教师评价三位一体，搭建指向思维发展的学习评价体系。

2.基于初中信息技术课程人工智能模块的教学目标，构建指向思维发展的学习测评指标框架。

3.通过对人工智能教学项目化实施的过程研究，以“提出问题、解决问题、成果呈现”为主线索，从学生思维培养的视角设计评价内容。

四、研究内容

1.开展指向思维发展的评价体系构建的理论研究

本研究借鉴首新等人思维测评研究中的“问题解决、元认知反省、创造性思维、批判性思维、决策思维、自我调节、自我监控、迁移与应用、科学方法”等9项测评指标，参考余明华等构建的项目化学习的过程框架，以问题的提出、问题的解决、成果的呈现为评价时间线,从学生思维培养的视角构建以项目化学习为主线的人工智能学习评价方案。

2. 指向思维发展的学习评价原则和评价指标的研究。

本研究关注核心素养导向下的中小学人工智能教育，基于思维发展指标构建评价内容框架。并尝试将这些指标融合到人工智能课程项目化学习评价方案中去，在学习过程中通过系列化评价方案的引导和推动，让学生通过项目活动产生具身认知、体验项目中问题的解决、在独立自主的学习过程中实现自我调控、在合作与互助中感受批判与决策，以智能思维分析人工智能设计，以智能伦理评价人工智能应用，以智能创新尝试人工智能项目创造等，促进学生发展。

3.指向思维发展的评价具体内容的研究

本课题中研究的人工智能学习评价体系以项目化学习的评价指标体系为基本框架，从“问题的提出、问题的解决、成果的呈现”三个维度设计并实践以项目化教学为主线的具体评价方案。挖掘三个阶段学生的关键学习行为，以学生的思维在不同阶段所外显的行为表现为评价核心，评价内容的设计借鉴美国巴克学院的项目化学习评价量规，与基于中国学生核心素养的表现性评价相结合，融合在整个项目教学过程中。课题组拟通过“基于自主”和“基于协作”两种特征的学习活动设计评价内容。

五、研究方法

文献研究法、调查法、行动研究法。

六、所做的主要研究

1、确立研究路径和研究分工

此次研究以落实实践为主要核心抓手，通过对学习过程梳理、评价支架体系构建、思维发展指标理论研究三条主线开展行动研究，最终实现学习评价体系的初步构建。 (如图所示)

研究分工：

理论研究规划：毛文意、王静、赵柯、彭炎

学习流程设计：赵柯、彭炎、毛文意

评价量表设计：杨芳、童瑜新、李甜

诊断分析评估：王静、周波、李甜

评价平台设计：童瑜新、许晓伟、周波

2、确定评价原则

(1)遵循目标导向

人工智能课程的一个重要目标是发展学生的核心素养，其评价体系应反映学生素养的阶段性培育情况，需突出过程性、表现性、实践性和发展性^[[4]]。

为发挥课程评价对课程实践的导向作用，在人工智能课程的项目化学习中实现阶梯式、全维度的学习绩效评估，要根据学习过程确立评价体系框架，将总目标进行明确分解，把知识技能、方法态度、能力思维等描述成与学习过程相符的多元化指标，根据项目化学习的不同阶段分步目标对评价体系进行精细化梳理，形成既面向全体又兼顾个性的评价机制。

(2)基于学习方式

信息技术的教学评价应注重情境中的评价和整体性评价，评价方式和评价工具应支持学生自主和协作地进行数字化问题解决，促进基于项目的学习。

自主与协作是项目化学习两种重要的学习方式，为支持学生自主完成个性化任务、解决生成性问题，积极引导团队协作、异质同步，构建以过程性为主的评价体系，充分体现其支架作用和伴随功能。以评促学，引导学生自主分析任务情境、自主规划学习过程、自主建构知识体系，加强学生互相合作、充分交流、共享成果、及时反思。

使用各种评价量规表作为评价工具，以评价要素、评价等级、评价标准为三要素对学生的学习进行评价^[[5]]；设计阶段性学习建议书等描述性评价工具，强化评价体系的意义构建作用；评价主体以学生为主，利用生生互评表达学生对学习目标的理解和审视。

(3)契合学习过程

能力和思维难以被直接测量，思维评价需要通过外显行为的表现进行评估。

学生的行为表现与不同学习阶段的关键性任务有关，任务中学生的认知参与决定着思维的过程、质量和结果。评价体系的构建应结合关键学习任务，以过程性评价内容引导学生调控自我学习。

本研究参考余明华等构建的项目化学习的过程框架，以问题的提出、问题的解决、成果的呈现为评价时间线, 以项目情境分析，项目问题凝练，项目问题理解，项目实施过程，项目作品整理，项目展示交流为关键学习设计并实践具体评价体系内容。如图1所示。

图1 伴随学习过程的评价体系

项目化学习过程中，评价指标需多元制定，尊重学生学习表现的个性化和差异化；评价载体应全面囊括，考虑学习生成信息类型的多样性和丰富性；评价方式要多样采用，突出学生学习进阶的过程性和表现性。利用线上线下混合的课程评价体系支持学生自主个性的学习进程，对文本、数据、图表、视频、物化成果、行为表现等开展生生、师生互评，靶向激励学生在互动中不断反省、批判和再创造；结合各种问卷与考核形成总结性评价，对整体教学效果进行评价。

3、评价指标框架的研究：

人工智能教育的教学目标要从“人工智能知识学习和基本应用”转向“人工智能思维培养”。思维具体可表现为能批判性地思考、分析信息，能基于证据提出自己的创新观点，能在解决问题过程中不断的反思和调控自己，能反思评判目标达成绩效，能提出新的想法或问题解决的新方案。

结合首新等人在STEM课程思维测评研究中提出的思维评价框架（表1），我们发现该指标体系对人工智能课程中学生的思维表征开展评价有积极意义但并不完善，尤其缺乏对智能体的思维理解，智能体表现出“学习、感知、推理、决策、交互”等能力，智能时代人机协同的理念要求学生不但要感知更要形成这种思维方式，学生的计算思维应增加新的内涵，即以智能体角度解决问题方案的智能思维。

表1 基于STEM课程的学生思维评价框架

因此，基于人工智能课程目标导向，结合项目化学习的两大特征，本研究在学习各阶段从两大方面、六个维度构建思维指标框架：

第一，针对自主学习，包括四项指标，推理决策问题解决方案，自我监控调节学习过程，主动迁移应用各阶段学习成果，体验感知智能体解决问题的一般思维过程。

第二，针对协作学习，包括两项指标，在互动中批判与审辩不断迭代更新，在交流中促进元认知反省和创新思维的提升。

表2 基于思维指标体系的人工智能学习评价框架

在学习过程中通过系列化评价内容的引导和推动，让学生通过项目活动产生具身认知、体验项目中问题的解决、在独立自主的学习过程中实现自我调控、在合作与互助中感受批判与决策，以智能思维分析人工智能设计，以智能伦理评价人工智能应用，以智能创新尝试人工智能项目创造等，促进学生思维发展。

4、评价内容的研究

课题组在一年的行动研究中，以《智能探测》、《智能控制》、《智能配送》三个项目案例为载体，初步设计人工智能学习评价内容。

（1）在自主学习中，突出“观察、记录、反思”为主的评价

学生的思维在不同阶段所外显的行为表现即为主要评价内容，因此，以观察、记录、反思为主的评价支撑着学生自主学习。在目前正式出版的《人工智能初步》教材中，“项目报告”作为主要评价方式，突显学习支架与学习评价的双重功能^[12]。

以过程性记录为主的评价设计借鉴美国巴克学院的项目化学习评价量规^[13]，与基于中国学生核心素养的表现性评价相结合，融合到学习过程中(表3)。

八、研究中存在的问题及改进措施。

（1）根据2022义务教育阶段课程标准，本课题的核心概念界定中的“人工智能”模块的教学目标和教学内容要进行全新的匹配和梳理。

（2）前期研究的关注重点在于思维指标和框架构建，需要进一步在实践中进行迭代和修正，后期将关注教学实践应用方面的研究。

（3）课题组成员还需进一步凝练成果，形成高质量论文。

九、下一步研究计划。

（1）结合新课标中有关“人工智能与智慧社会”模块的重新界定，针对核心素养导向对目前研究的评价指标进行修正，重点关注人工智能伦理与安全方面，对评价框架进行有效补充。

（2）利用课题组参与我省《人工智能》教学指导课例撰写工作的契机，结合表现性任务及表现性评价量规设计研究，完成一到两个具体单元评价设计实例，为市内外同行提供借鉴。

（3）梳理当前研究成果，形成高质量论文。

[[1]] 张志新,杜慧,高露,高凯.发达地区中小学人工智能课程建设现状、问题与对策——以某“新一线”城市为例探讨[J].中国电化教育,2020(09):40-49.

[[2]] 张闻闻,徐晓雄.高中人工智能课程项目资源包的设计与实现[J].中国教育信息化,2021(02):36-40.

[[3]]卢言宏. 基于STEAM的初中人工智能课程教学设计研究[D].曲阜师范大学,2020.

[[4]]欧运波.突出学生核心素养培育的课程评价变革[J].教学与管理,2021(09):17-20.

[[5]][美]巴克教育研究所.项目学习教师指南:21世纪的中学教学法[M]. 任伟译.北京:教育科学出版社,2008:55-96.