卓越實證概述 Best Evidence in Brief

干預措施的效應值多大才算大?

對於教育研究的使用者來說,效應值在理解哪些策略和干預可能對學習過程和學生成績產生最大影響方面起著關鍵作用。在Educational Researcher最近的一篇文章中,Kraft使用大量的效應值數據來重複他之前的分析,為要更實際地反映何謂教育干預的大、中、小效應值。他認為有必要重新調整我們如何解釋效應值基準,以及一般情況下如何衡量教育干預的成功。他分析的重點是要承認許多教育干預未能對學生的成績產生實質性影響,而不是忽視這些結果,它們應該是解釋效應值基準的政策相關性的組成部分,和對何謂有意義的影響設定實際期望之關鍵。

雖然研究設計和背景在多方面存在差異,使比較不同研究的效應值殊不簡單,但在綜合大量數據、在其中尋找分佈模式和進行更廣泛的推論方面,效應值仍然有用。該重複分析包括973項研究和3,426 項效應值,結果顯示效應值的分佈中第30百分位數(percentile)=+0.02、第50百分位數(中位數)=+0.10,和第70百分位數=+0.21。進一步的細分顯示,採用隨機對照試驗標準化測試成績的研究中有36%的效應值小於+0.05。把效應值基準銜接到事實上,即大部分干預不會顯著提高學生成績,這樣有助於更好地理解現實增長。

Kraft的文章強調了對效應值基準細緻入微解釋的必要性,這些基準旨在幫助制定基於實證的政策,並與統計顯著性的信息及理解效應值估計的大小和精確度相結合。然而,只關注效應值有時會使教育界忽視產生漸進式改善的不那麼顯眼的干預措施。總體而言,理解整個教育研究領域的效應值有助於更深入解釋教育干預的影響,促進教育政策和實踐中的基於實證決策。

 

文獻來源:Kraft, M. A. (2023). The Effect-Size Benchmark That Matters Most: Education Interventions Often Fail. Educational Researcher, 52(3), 183–187. https://doi.org/10.3102/0013189X231155154

Leave a Comment

發表評論