「實證為本」是目前流行的概念,它假設識別具有有效正面效果的高質素干預措施將廣泛提高教育成果。資訊交流所(Clearinghouses, CHs)通過設定其選擇的科學標準、評估所需質素的研究、綜合研究結果並提出建議,以此推動這一進程向前發展。為了探究不同CHs中「實證為本」含義的一致性,Cook及團隊最近檢示了12個教育資訊交流所評估的計劃,以(1)比較其有效性標準,(2)估計對同一計劃評估的一致性,以及(3)分析為什麼評估有所不同。
CHs的有效性標準有多大差異?所有CHs都將隨機對照試驗(RCT)視為首選的實驗設計,但它們在測試RCT是否實施良好以獲得最高研究質量排名方面有所不同。相對於RCT,凖實驗設計的評估則因為存在不同類別的單獨標準而更多樣化。此外,不同的CHs在評估標準中對輔助因果因素(如獨立複製和長期干預效果)的重視程度有所不同。
CHs對同一計劃的評級有多一致?在10個CHs分析的1359項計劃中,83%的計劃由單個CH評分。在由一個以上CHs評估的計劃中,只有約30%的計劃實現了類似評級的一致性。對同一計劃的CHs評級存在高度不一致性。
為什麼對同一計劃的CHs有效性評級不同?作者做出四種解釋。首先,CHs有不同的納入標準。其次,他們審核同一計劃的不同版本。第三,他們審核同一計劃的不同結果。第四,他們將不同的證據標準應用於單一研究和/或綜合研究。
作者的結論是,由於CHs在有效性標準、實施和建議方面存在不一致性,應謹慎解讀作為教育實踐指南的計劃有效性評級。目前對「實證為本」干預措施的識別與其說是「可靠的研究實踐」,似乎更像是「一種政策願景」。
文獻來源:Wadhwa, M., Zheng, J., & Cook, T. D. (2023). How consistent are meanings of “Evidence-Based”? A comparative review of 12 Clearinghouses that rate the effectiveness of educational programs. Review of Educational Research, 00346543231152262. https://doi.org/10.3102/00346543231152262… Read the rest