學(xué)生的(de)學(xué)習行為(wèi)投入度一(yī)般是指學(xué)生在學(xué)校中積極的(de)、有利于取得成就的(de)行為(wèi)。目前，學(xué)生課堂學(xué)習行為(wèi)投入度的(de)定義主要有兩類：一(yī)類是從學(xué)生遵守規則的(de)角度進行研究，具體表征為(wèi)學(xué)生上課的(de)出勤率等，如(rú)Finn^[1]認為(wèi)學(xué)習投入度有助于發現學(xué)生逐步疏遠、脫離(lí)學(xué)校的(de)過程，從而可(kě)以通過及時幹預幫助學(xué)生完成學(xué)業；另一(yī)類是從學(xué)生深度參與學(xué)習活動的(de)角度進行研究，如(rú)努力、堅持、集中注意力等^[2]，具體表征為(wèi)學(xué)生是否完成作業和(hé)聽課、回答問題、讨論的(de)行為(wèi)等，如(rú)Henry等^[3]通過測量學(xué)生的(de)行為(wèi)對其學(xué)習結果進行預測。本研究綜合考慮上述兩類學(xué)習行為(wèi)投入度的(de)內(nèi)涵，在考慮學(xué)生出勤情況的(de)基礎上，通過觀察學(xué)生在課堂學(xué)習過程中的(de)行為(wèi)表現，來掌握學(xué)生的(de)課堂行為(wèi)投入情況。

課堂學(xué)習行為(wèi)投入度的(de)測量方式主要有學(xué)生自(zì)我報告與課堂觀察。其中，學(xué)生自(zì)我報告是最常用的(de)方法，這一(yī)方法實用性強、容易管理(lǐ)，并能以相對較低(dī)的(de)成本提供大樣本的(de)數據。然而，學(xué)生自(zì)我報告時易受主觀影響，在某些情況下可(kě)能不會如(rú)實回答，适用于評估認知及情感投入^[4]，并且這一(yī)方法在數據收集與處理(lǐ)的(de)時效性上具有滞後性。而課堂觀察可(kě)基于預先設置的(de)觀察量表，捕捉學(xué)生課堂學(xué)習投入度的(de)行為(wèi)特征，以評估學(xué)生個體在任務上和(hé)任務外的(de)行為(wèi)^[5]。但是，研究人員在課堂上直接觀察并手動編碼的(de)傳統方法，以及目前較為(wèi)通用的(de)基于課堂視(shì)頻進行半自(zì)動數據編碼的(de)方法，均需要研究人員投入較多的(de)人力和(hé)時間，因此不适用于大樣本量的(de)調研，亦無法作為(wèi)常規的(de)過程性評價工具。

計算機視(shì)覺技術的(de)出現，為(wèi)研究人員改良課堂觀察法帶來了新的(de)可(kě)能性：對課堂學(xué)習行為(wèi)的(de)捕捉與識别有望擺脫對人力的(de)依賴，從而大幅提升效率。計算機視(shì)覺技術是一(yī)種計算機模拟人類的(de)視(shì)覺過程、具有感受環境的(de)能力和(hé)人類視(shì)覺功能的(de)技術，是圖像處理(lǐ)、人工智能和(hé)模式識别等技術的(de)綜合^[6]。受益于計算機視(shì)覺技術的(de)長(cháng)足發展，個體行為(wèi)的(de)自(zì)動化識别正走進真實實踐場景，但與課堂教學(xué)實踐相結合的(de)研究還處于起步階段。例如(rú)，賈鹂宇等^[7]在課堂中通過對表情檢測分類，來判斷學(xué)生的(de)聽課狀态；孫衆等^[8]基于OpenPose算法，進行學(xué)生的(de)人體姿态識别。但現有研究也存在一(yī)些局限，主要表現為(wèi)：往往專注于個别行為(wèi)的(de)識别，缺乏完整的(de)課堂學(xué)習行為(wèi)投入度分析指标的(de)支持；行為(wèi)識别的(de)依據局限于人體骨架信息，沒有将學(xué)生周邊物體的(de)信息納為(wèi)行為(wèi)識别的(de)依據，故檢測的(de)準确性有待提升；在應用層面往往止步于行為(wèi)識别、狀态呈現，而缺少教學(xué)維度的(de)關聯分析。

本研究嘗試在計算機視(shì)覺技術的(de)支持下，在數據收集與處理(lǐ)層面對傳統的(de)課堂觀察法加以改良與創新，擴大數據采集的(de)範圍、提升數據收集與處理(lǐ)的(de)效率，同時大幅降低(dī)研究人員在人力方面的(de)開銷，最終實現課堂學(xué)習行為(wèi)投入度的(de)自(zì)動化測量。具體來說，本研究将在文獻梳理(lǐ)的(de)基礎上提煉出一(yī)套有代表性的(de)課堂學(xué)習行為(wèi)投入度測量和(hé)分析指标集，然後引入計算機視(shì)覺技術完成課堂學(xué)習行為(wèi)投入度測量與分析系統的(de)開發，對學(xué)生課堂學(xué)習的(de)出勤情況、行為(wèi)投入度實施自(zì)動觀察、測量和(hé)診斷，為(wèi)教師及時掌握學(xué)生的(de)課堂學(xué)習投入狀态提供數據支撐。

表1  學(xué)生課堂學(xué)習行為(wèi)投入度的(de)相關指标

1 課堂學(xué)習行為(wèi)投入度觀察指标

目前，衆多研究者從投入與脫離(lí)兩個維度，來探讨與學(xué)習行為(wèi)投入度測量相關的(de)指标。其中，投入是正向的(de)學(xué)習行為(wèi)投入，其特征表現為(wèi)努力、注意力和(hé)堅持；而脫離(lí)是負面投入，通常表現為(wèi)被動、缺乏主動性和(hé)放棄。本研究從投入和(hé)脫離(lí)兩個維度，在文獻研讀的(de)基礎上對在校學(xué)生行為(wèi)觀察（Behavior Observation of Student in Schools，BOSS）^[9]、課堂氣氛、教學(xué)/內(nèi)容、管理(lǐ)（Classroom Atmosphere, Instruction/Content, Management，Classroom AIMs）^[10]、教學(xué)結構和(hé)學(xué)生學(xué)業反饋主流編碼（Mainstream Version-Code for Instructional Structure and Student Academic Response，MS-CISSAR）^[11]、教學(xué)實踐清單（Instructional Practices Inventory，IPI）^[12]、課堂觀察編碼（Classroom Observation Code，COC）^[13]、直接觀察表格（Direct Observation Form，DOF）^[14]、Flanders交互分析編目（Flanders Interactive Analysis Categories，FIAC）^[15]、語言交互編目（Verbal Interaction Category System，VICS）^[16]、信息技術交互分析系統（Information Technology-based Interaction Analysis System，ITIAS）^[17]、S-T（Student-Teacher）^[18]等項目中的(de)課堂學(xué)習行為(wèi)指标進行了梳理(lǐ)，得到學(xué)生課堂學(xué)習行為(wèi)投入度的(de)相關指标，如(rú)表1所示。

基于學(xué)生課堂學(xué)習行為(wèi)投入度的(de)相關指标，本研究邀請18名相關專家（包括教育技術領域的(de)學(xué)者和(hé)大學(xué)一(yī)線教師）參加了學(xué)生課堂行為(wèi)投入度觀察指标遴選的(de)問卷調研及訪談。結合問卷數據和(hé)訪談反饋的(de)分析結果，本研究選取“看黑闆（含看老師，下同）、看書、看電腦、舉手答問、側身交流”等五個行為(wèi)作為(wèi)投入行為(wèi)的(de)觀察指标，将“玩手機”作為(wèi)脫離(lí)行為(wèi)的(de)觀察指标，如(rú)表2所示。

表2  學(xué)生課堂行為(wèi)投入度的(de)觀察指标

2 學(xué)生課堂學(xué)習行為(wèi)投入度測量與分析系統的(de)設計

本研究依托學(xué)生課堂學(xué)習行為(wèi)投入度的(de)觀察指标，以計算機視(shì)覺技術為(wèi)支撐，設計了學(xué)生課堂學(xué)習行為(wèi)投入度測量與分析系統。此系統以高(gāo)清網絡攝像頭采集課堂教學(xué)的(de)大場景圖像為(wèi)輸入，通過動作識别處理(lǐ)和(hé)數據管理(lǐ)，實現學(xué)生出勤率和(hé)課堂過程行為(wèi)投入度的(de)自(zì)動記錄與分析，并予以可(kě)視(shì)化呈現。此系統分為(wèi)系統支撐層、圖像識别層、數據分析層，其具體的(de)業務流程如(rú)圖1所示。

圖1  課堂學(xué)習行為(wèi)投入度測量與分析系統的(de)業務流程

（1）系統支撐層

在系統支撐層中，教室網絡高(gāo)清攝像頭對課堂學(xué)習行為(wèi)進行全面的(de)圖像采集，随機抽取采集圖像的(de)十分之一(yī)，經由深度學(xué)習及計算機視(shì)覺等技術處理(lǐ)，完成課堂學(xué)習行為(wèi)數據集的(de)制作和(hé)課堂學(xué)習行為(wèi)模型的(de)訓練，作為(wèi)後續課堂學(xué)習行為(wèi)識别的(de)基礎。其中，課堂學(xué)習行為(wèi)數據集示例如(rú)表3所示。

表3  課堂學(xué)習行為(wèi)數據集示例

（2）圖像識别層

圖像識别層是學(xué)生課堂學(xué)習行為(wèi)投入度測量與分析系統最為(wèi)核心的(de)功能模塊，可(kě)分為(wèi)兩個部分：學(xué)習者識别部分，系統通過攝像頭獲取課堂現場的(de)圖像，完成圖像分割後，通過多任務級聯卷積神經網絡和(hé)面部網絡獲取學(xué)生的(de)人臉圖片，并将圖片提交人臉識别接口。動作識别部分，本研究采用遞進（疊加）的(de)技術手段完成課堂學(xué)習行為(wèi)的(de)判定：首先通過身體姿态對個體動作加以識别，之後結合目标識别與位置判定等，實現“看書”、“玩手機”、“玩電腦”等交互動作識别。其中，四類身體姿态的(de)骨架示意圖如(rú)圖4所示，目标識别樣例如(rú)圖5所示。

表4  四類身體姿态的(de)骨架示意圖

動作骨架圖低(dī)頭側身正坐舉手

表5  目标識别樣例示例圖片手書手機電腦

（3）數據分析層

在數據分析層，本研究運用指标函數和(hé)模糊數學(xué)中的(de)隸屬度函數，對課堂學(xué)習行為(wèi)投入指标進行無量綱處理(lǐ)，如(rú)公式（1）所示。之後，本研究采用層次分析法與熵值賦權法計算課堂學(xué)習行為(wèi)投入指标的(de)綜合權重：邀請5名教育技術領域專家填寫學(xué)習投入及學(xué)習脫離(lí)指标重要性矩陣，計算得出各指标的(de)主觀權重序列Wi；将無量綱化後的(de)各指标數據錄入Matlab，計算得出客觀權重序列Vi；最後，結合主觀權重與客觀權重，計算得出綜合權重，如(rú)公式（2）所示。

用上述指标權重計算方法可(kě)以得到學(xué)習投入及學(xué)習脫離(lí)的(de)權重矩陣，如(rú)表6所示。以此為(wèi)基礎，系統開展了課堂學(xué)習行為(wèi)投入度的(de)計算，随後還對課堂整體行為(wèi)投入度、學(xué)生個人行為(wèi)投入度及其各自(zì)的(de)發展趨勢進行了分析和(hé)評估。

表6  課堂學(xué)習行為(wèi)投入度指标權重表

本研究以某高(gāo)校課程“教育技術學(xué)理(lǐ)論與實踐”中的(de)一(yī)堂課為(wèi)例，對參與此課學(xué)習的(de)26名學(xué)生的(de)學(xué)習行為(wèi)投入度進行了測量與分析。在收集視(shì)頻數據之前，研究者向學(xué)生告知了研究的(de)目的(de)并承諾保密；完成課堂學(xué)生行為(wèi)采集之後，教師可(kě)以通過系統查看課堂數據分析處理(lǐ)結果。

1 數據測量結果

（1）學(xué)習行為(wèi)投入度

課堂整體行為(wèi)投入度。根據系統的(de)測量數據，在采集到的(de)課程投入行為(wèi)和(hé)脫離(lí)行為(wèi)中，學(xué)生的(de)學(xué)習投入行為(wèi)頻率占比為(wèi)95.60%，說明學(xué)生非常專注于課堂學(xué)習；根據表6的(de)權重進行計算，本堂課的(de)學(xué)習行為(wèi)投入度值為(wèi)3.08，這表示學(xué)習投入度為(wèi)中等水平。經分析，造成這一(yī)結果的(de)原因是交互類活動的(de)安排偏少（實際占比僅為(wèi)4.85%）。學(xué)生個人行為(wèi)投入度方面，在納入統計的(de)20名學(xué)生中，有6人的(de)課堂學(xué)習行為(wèi)投入度低(dī)于班級平均水平。其中，個别學(xué)生的(de)課堂學(xué)習投入度較低(dī)，且學(xué)習脫離(lí)度較高(gāo)，教師需要對這些學(xué)生予以有針對性的(de)關注和(hé)提醒。

（2）學(xué)習行為(wèi)投入度變化趨勢

課堂整體行為(wèi)投入度變化。系統以時間為(wèi)線索，開展學(xué)生課堂學(xué)習行為(wèi)投入度的(de)分析。本堂課學(xué)習行為(wèi)投入情況的(de)變化趨勢如(rú)圖2所示，可(kě)以看出：在上課過程中，學(xué)生的(de)行為(wèi)投入情況整體保持平穩，在接近下課時有一(yī)定程度的(de)下降；學(xué)習脫離(lí)情況在上課初期有顯著下降，而在課程臨近結束時呈逐步上升的(de)趨勢。課堂中表征學(xué)習投入和(hé)學(xué)習脫離(lí)的(de)六個行為(wèi)動作随時間變化的(de)頻次動态如(rú)圖3所示，可(kě)以看出：“看黑闆”與“看電腦”是貫穿于整堂課的(de)主要學(xué)習行為(wèi)，由此可(kě)以推斷本堂課中教師主要采取講授的(de)教學(xué)方式；同時，課堂過程中“交流”和(hé)“舉手答問”的(de)行為(wèi)明顯存在幾個波峰，可(kě)見教師在課堂中實施了一(yī)定的(de)交流讨論，并取得了一(yī)定的(de)效果。

注：橫軸為(wèi)時間刻度，單位刻度為(wèi)8分鍾；縱軸分别表示學(xué)習投入及學(xué)習脫離(lí)的(de)得分與行為(wèi)次數。圖中兩條曲線，學(xué)習投入居上，學(xué)習脫離(lí)居下。

   圖2  學(xué)習行為(wèi)投入情況的(de)變化趨勢

注：橫軸為(wèi)時間刻度，單位刻度為(wèi)8分鍾；縱軸表示各類課堂學(xué)習行為(wèi)的(de)次數。在起始階段，自(zì)上而下分别對應看電腦、看黑闆、玩手機、看書與舉手答問。

圖3  單個行為(wèi)動作随時間變化的(de)頻次動态

個體學(xué)習行為(wèi)投入度追蹤。系統對學(xué)生個人的(de)行為(wèi)投入情況也進行了分析，圖4、圖5分别表征本堂課中脫離(lí)度較高(gāo)的(de)某學(xué)生的(de)課堂行為(wèi)和(hé)看手機行為(wèi)分布情況。圖4顯示，此學(xué)生的(de)課堂行為(wèi)投入度僅為(wèi)2.83，其中此學(xué)生看手機的(de)行為(wèi)頻次非常高(gāo)，約占課堂行為(wèi)總數的(de)33.3%。而圖5顯示此學(xué)生在課堂前段用很少的(de)時間在看手機，但後續基本處于看手機的(de)脫離(lí)狀态。

注：橫軸表示行為(wèi)類别，縱軸表示行為(wèi)的(de)總次數。

圖4  某學(xué)生課堂行為(wèi)分布情況

注：橫軸表示時間刻度，單位刻度為(wèi)4秒；縱軸表示學(xué)生是否看手機，刻度1表示看手機，刻度0表示未看手機。

圖5  某學(xué)生看手機行為(wèi)分布情況

2 教學(xué)應用分析

在出勤數據應用方面，有系統中學(xué)生出勤數據的(de)支撐，教師可(kě)以快速、準确地(dì)掌握班級整體和(hé)學(xué)生個體的(de)出勤情況。在本課堂中，有兩位學(xué)生缺課，教師可(kě)對這兩位學(xué)生予以重點關注。在教學(xué)設計和(hé)教學(xué)實施的(de)印證與優化方面，通過查看聽課與交互兩類課堂行為(wèi)計數随時間的(de)變化情況及總數的(de)對比情況，教師可(kě)以了解學(xué)生在教學(xué)實施中的(de)反饋情況，進而完成教學(xué)設計或教學(xué)實施的(de)調整及優化。在本課堂中，教師采用以講授為(wèi)主的(de)授導型教學(xué)模式，中間穿插少量的(de)交流和(hé)問答環節。學(xué)生在課堂學(xué)習過程中整體比較專注，但在35分鍾之後，學(xué)生整體的(de)投入狀态明顯地(dì)下降了。基于此，本研究建議教師結合學(xué)生對教學(xué)內(nèi)容的(de)掌握情況，從調整課程節奏和(hé)難度、增加課程的(de)互動性和(hé)趣味性等方面着手，幫助學(xué)生調整課堂投入狀态。

此外，學(xué)習脫離(lí)行為(wèi)數據的(de)采集為(wèi)面向學(xué)生的(de)學(xué)風督導提供了決策支持。對學(xué)習脫離(lí)行為(wèi)持續時間較長(cháng)、總次數較多的(de)學(xué)生，教師可(kě)給予個别化的(de)關注和(hé)指導。在本堂課中，有6位學(xué)生的(de)脫離(lí)行為(wèi)比較明顯，且有一(yī)名學(xué)生有三分之一(yī)的(de)時間處于學(xué)習脫離(lí)狀态，教師應與這些學(xué)生溝通，了解其脫離(lí)學(xué)習的(de)原因，避免其後續出現學(xué)業預警。

高(gāo)效、準确地(dì)測量并分析學(xué)生課堂學(xué)習行為(wèi)投入度，是推進混合學(xué)習投入度研究與高(gāo)校教學(xué)實踐相結合的(de)關鍵議題。不同個體的(de)課堂行為(wèi)差異，決定了研究者難以憑借傳統的(de)方法對其進行科學(xué)測量。随着技術的(de)創新與發展，依靠計算機視(shì)覺等技術對個體行為(wèi)進行精準識别已成為(wèi)現實，這為(wèi)研究者重新測量與評估課堂學(xué)習行為(wèi)投入度提供了可(kě)能。為(wèi)此，本研究将計算機視(shì)覺技術引入大學(xué)課堂場景，首先提煉出學(xué)生課堂學(xué)習行為(wèi)投入度的(de)觀察指标，在此基礎上對課堂行為(wèi)識别方式進行升級優化，結合身體姿态信息和(hé)物品信息，對學(xué)生6個常見的(de)課堂動作進行識别；随後，在算法模型研究的(de)基礎上，開發了學(xué)生課堂學(xué)習行為(wèi)投入度測量與分析系統，将人臉識别、姿态估計、目标檢測等智能檢測方法應用于課堂學(xué)生行為(wèi)識别。此系統能幫助教師掌握學(xué)生的(de)課堂表現、客觀評估課堂的(de)教學(xué)效果，是教師提升教學(xué)效果的(de)有效支撐手段。受制于設備類型、精度與技術複雜度，本研究設計的(de)學(xué)生課堂學(xué)習行為(wèi)投入度測量與分析系統隻覆蓋了與學(xué)生身體姿勢密切相關的(de)6個課堂動作的(de)識别與分析，學(xué)生的(de)手部及頭部細微動作等更多的(de)個體行為(wèi)信息，乃至發言內(nèi)容、面部表情等與交流互動相關的(de)信息，還有待更精密的(de)設備、更理(lǐ)想的(de)算法模型的(de)支持，還有待進一(yī)步實證。