卓越實證概述 Best Evidence in Brief

自訂與獨立的測量工具:分別有多大?

Wolf和Harbatkin最近的一項研究檢視了不同類型測量工具所得效應值的差異。在系統性回顧中,採納研究的條件包括:使用隨機或準實驗設計;研究主題為閱讀、STEM或行為;並收集於美國有效教育策略資料中心(What Works Clearinghouse)存儲庫內。此回顧共納入373項研究,1,553項效應值。

作者將每項研究中使用的測量工分為四類:

  1. 獨立廣義:該測量不是由進行該研究或設計該計劃的研究人員/開發者建立的,並且旨在評估學生在某一學科中的成績。
  2. 獨立狹義:與前一項類似,但旨在評估學科中某一具體要素。
  3. 非獨立開發人員:由開發該被評估研究計劃的開發者所建立的測量工具。
  4. 非獨立研究人員,由研究作者所建立的測量工具。

大多數使用的測量是獨立狹義(42%),其次是非獨立研究人員(30%),獨立廣義(22%),其餘(5%)是非獨立開發人員。結果表明,獨立和非獨立測量的效應值之間存在較大差異。廣義測量的平均效應值為+0.10,狹義測量為+0.17,研究人員測量為+0.38,開發人員測量為+0.41。當僅考慮至少一項獨立測量和一項非獨立測量的研究時,效應量的差異也是相似的。

作者指出一個可能的解釋,非獨立測量評估的概念與獨立測量不同,且當中甚少重疊。當研究人員建立一項測量工具以評估一項計劃的效能時會完全對準計劃內容,而標準化測試完全獨立於干預。作者的結論是,為前線教育工作者和政策制定者提供研究的有效性時應使用獨立測量。

 

文獻來源: Wolf, B., & Harbatkin, E. (2022). Making sense of effect sizes: Systematic differences in intervention effect sizes by outcome measure type. Journal of Research on Educational Effectiveness, 0(0), 1–28. https://doi.org/10.1080/19345747.2022.2071364

Leave a Comment

發表評論