卓越實證概述 Best Evidence in Brief
有效監測是干預計劃成功的要素

雖然已發現把科技螎入教育是有效幫助學生的工具,但由於執行不力,它可能產生不了影響。Mo及其同事最近進行的一項集群隨機對照實驗研究調查了電腦支援學習(CAL)計劃對英語成績的影響,並比較了不同機構之間實施該計劃的差異。CAL 計劃旨在於電腦課堂期間提供英語補習輔導,並由電腦課老師主理。在中國最貧困的省份之一,研究員把120所小學隨機平均分成三組:由政府機構實施的CAL,由非政府組織(NGO)實施的相同計劃,以及沒有CAL計劃(控制學校)。共有5,253名四年級學生完成了該計劃。

兩個干預小組都採用相同的軟件進行輔導,政府機構和非政府組織都對計劃進行了實施、培訓和監測。該非政府組織是一個以大學為基礎的教育團體,它設計了實施協定,並培訓了指定的電腦教師來安排CAL課節。政府機構則由地方教育官員,如縣級專案管理人員,於承擔其他職責以外執行該計劃。該計劃的有效性由一學年後(2013-14)以標準化英語語言測試分數評估,並控制基線測試分數和學生的特點。結果表明:

  • 非政府組織 CAL 計劃的學生的表現明顯優於對照組的學生(效應值 = +0.16)。
  • 與對照組相比,政府CAL沒有提高學生的英語成績(效應值= -0.07)。

作者進行了機制分析,以探討兩個相同的CAL協定產生不同結果的潛在原因。結果顯示:

  • 在38%的政府CAL學校中,常規英語課程被CAL班所取代,而非政府組織CAL學校中只有18%被CAL班所取代。沒有按協定執行可能會減少常規的英語課時間。
  • 有48% 的政府 CAL 學校指定英語教師來管理 CAL 課程,而不是電腦課教師。而非政府組織只有18% 的學校這樣做。如果不遵守協定,英語教師的工作量可能會增加。
  • 非政府組織工作人員比政府官員更有可能打電話或訪問他們的計劃學校並監測進展情況(差別為50百分點)。
  • 相關分析表明,英語課與CAL課的課時置換與英語考試成績呈小效應值的負相關。
  • 直接監測與學生成績呈正相關。

鑒於違反協定有可能減低計劃效用,有效監測是成功干預的重要因素之一。非政府組織CAL專案的成本效益分析表明,監測費為0.91美元/學生/年。

 

文獻來源:Mo, D., Bai, Y., Shi, Y., Abbey, C., Zhang, L., Rozelle, S., & Loyalka, P. (2020). Institutions, implementation, and program effectiveness: Evidence from a randomized evaluation of computer-assisted learning in rural China. Journal of Development Economics. https://doi.org/10.1016/j.jdeveco.2020.102487Read the rest

努力改善給予教師的回饋

波士頓公立學校 (BPS) 系統中負責評估的行政人員在橫跨 2013-14 至 2014-15 學年的四個學期中其中一個學期接受了共 15 小時的培訓。培訓內容側重於提高給予教師回饋的質量和頻率。 BPS與Kraft和Christian合作,後者最近發表了隨機實地實驗的結果,以檢示培訓的有效性。 研究人員利用隨機區組設計,將校本評估小組分配到四個學期之一的培訓課程。分配到2013-2014學年秋季或春季的學校作為實驗組,而於2014-2015學年秋季或春季接受培訓的學校則為對照組。

參加培訓的評估員於一項問卷調查中給予訓練內容好評,並打算在實施其中內容。但對接受回饋的教師進行調查結果反映,只有約25%的教師認為評估員的回饋對其教學產生了正面影響。來自實驗組和對照組的教師調查的比較顯示:

  • 訓練對回饋質素、觀察次數、會面次數和學生成績沒有影響。
  • 唯一顯著改善是,教師觀察和後續會面之間的時間減少了30天。
  • 然而,對教師課堂管理的自我效能(效應值 = -0.20)及教學策略的自我效能(效應值 = -0.19)產生了顯著的負面影響。

鑒於培訓並無帶來效用甚或有負面影響,研究人員提供了可能的解釋。

  • 超負荷的時間表:評估員每年平均要進行50至60次正式觀察,可能是難以實踐培訓中推廣之技巧的部分原因。
  • 回饋是否有效似乎取決於評估員的特徵:教師對經驗豐富評估員(6-8 年經驗)的回饋評分(效應值 = +0.19),較經驗不足的評估員(0-2 年經驗)高;
  • 教師對與自己種族相同的評估員的回饋評分較高 (效應值 = +0.30 非裔美國人; 效應值 = +0.29 西班牙裔; 效應值 = +0.35 亞洲人)。

這項研究的結果可能有助於為今後在BPS和其他地區如何提高教師效率提供資訊。

 

文獻來源:Kraft, M. A., & Christian, A. (2021). Can teacher evaluation systems produce high-quality feedback? An administrator training field experiment. American Educational Research Journal. https://doi.org/10.3102/00028312211024603Read the rest

對教師的教學指導可有影響學生的學術參與?

Rutgers University的研究人員最近進行的隨機評估檢示了「課堂策略指導模式」(CSC)對教師教導和學生參與的影響。CSC 是教師的指導計劃,旨在增加在教學和課堂管理中使用實證為本的方法。在確定實踐需要後,教練會向教師提供進展性評估和回饋,以支持實施有助於回應其需要的方法。

這項研究涉及美國14所高貧困學校的106名小學教師。教師被隨機分配在12周內接受干預或對照組。作者評估了 CSC 對教師之教學質量和行為管理策略的影響。此摘要不報告教師結果,因為研究人員使用自制的評量工具對教師教學進行評估,這可能產生偏差結果。然而,學生的學術參與度是教師和學生之間良好互動和教學品質的重要指標,並在研究中通過獨立評量《兒童合作學習觀察守則》(CLOCK)所測量。

結果顯示,對學生學術參與(ES = +0.41)有顯著的正面影響,這意味著良好的師生互動和教學品質。

這項研究的結果表明,像CSC這樣的專業發展可以支持教師和提高學生的參與度。

 

文獻來源:Reddy, L. A., Shernoff, E., & Lekwa, A. (2021). A randomized controlled trial of instructional coaching in high-poverty urban schools: Examining teacher practices and student outcomes. Journal of School Psychology, 86, 151–168. https://doi.org/10.1016/j.jsp.2021.04.001Read the rest

SWPBS 的長期影響存在嗎?

過去二十年來,以減少問題行為和支援情緒健康及社交關係為重點的干預計劃在全球越來越普遍。其中一項這樣的計劃,「學校全方位支援正面行為」(SWPBS)有堅實的證據基礎,能夠在短期內改善社交情緒和學業成績。然而,關於這項干預的長期影響之證據仍然缺少。

Borgen及其同事研究了SWPBS對學生學業失敗和邊緣化的長期影響。具體來說,他們使用全挪威的登記數據(N = 964,924)檢視短期考試成績和長期學業成績、高中輟學、學校行為和青年犯罪。所有挪威小學(1-7年級)都包含在研究中(N  = 2,366),其中216所學校(9%)已實施SWPBS。作者使用雙重差異法將就讀過 SWPBS 學校的學生與沒有就讀過 SWPBS 學校的學生進行了比較。他們還檢示了計劃成效是否對面臨學業失敗和行為問題風險的學生更大。

  • 這項研究沒有發現對高危學生或所有學生產生長期效用的證據。
  • 然而,即使是最有效的干預措施,其效用也往往會隨著時間而減少。

SWPBS在這裡缺乏正面的長期效用,這並不能否定過去關於短期正面結果的證據,但指出需要進一步研究,澄清這一發現。

 

文獻來源:Borgen, N. T., Raaum, O., Kirkebøen, L. J., Sørlie, M.-A., Ogden, T., & Frønes, I. (2021). Heterogeneity in short- and long-term impacts of School-Wide Positive Behavior Support (SWPBS) on academic outcomes, behavioral outcomes, and criminal activity. Journal of Research on Educational Effectiveness, 14(2), 379–409. https://doi.org/10.1080/19345747.2020.1862375Read the rest

兒童科學體驗與後期科學成績

雖然不少注意力集中於科學教學對中學及高中成績的影響,但較少的研究關注於小學階段接觸探究式科學對其學術成果的長期影響。因此,University of Toledo的Kaderavek和其同事針對1-3年級學生進行了一項干預縱向調查。NURTURES計劃涵蓋了兒童早期科學體驗的兩方面:(1)基於課堂的科學探究教學和(2)家中的非正式科學實踐。NURTURES教師參加專業發展訓練,以促進基於查詢的科學實踐和與學生的討論。此外,為了吸引家庭參予,NURTURES教師在整個學年中向學生送上四次家庭錦囊。這些錦囊有助學生在家裡實踐科學(如:形成假設、實驗設計和數據收集)。 作為NURTURES干預的最後一部分,家庭被邀請參加六項社區活動,例如有組織地參觀科學中心、農場、公園和動物園,旨在進一步將家庭融入「科學」社區。

在有短期果效的證據支援下,研究人員使用准實驗設計進一步探討了NURTURES計劃的長期影響,將曾參加NURTURES計劃教師與從未選擇參加NURTURES計劃教師之學生進行配對。研究樣本為中西部城市一大型學區內 41所小學組成,當中任何學生於2012-2016年期間在就讀1-3年級,其數據於升上5年級後被收集。樣本包含1,588名學生,其中434曾受教於NURTURES老師,故為實驗組,其他1,154名學生為對照組。研究人員以混合模型分式,結果顯示:

  • 實驗組在五年級科學測試中得分明顯高於對照組(+0.16)。
  • 干預效果大致相當於男孩和女孩之間的成就差距。即是,平均而言,實驗組的女孩得分與對照組的男孩大致相同。
  • 遵循類似的邏輯,干預的影響收窄了白人學生和非白人學生分數之間的差距。

研究其中一個限制是教師可選擇參加或不參加NURTURES,從而引起選擇性偏差。即使有限制,這些發現也顯示了兒童的科學體驗對以後學業成績的重要性,並建議在小學早期應有更多的時間用於科學教學。

 

文獻來源:Kaderavek, J. N., Paprzycki, P., Czerniak, C. M., Hapgood, S., Mentzer, G., Molitor, S., & Mendenhall, R. (2020). Longitudinal impact of early childhood science instruction on 5th grade science achievement. International Journal of Science Education, 42(7), 1124–1143. https://doi.org/10.1080/09500693.2020.1749908Read the rest