卓越實證概述 Best Evidence in Brief

研究中測試與干預內容的一致性

最近發表在《Social Sciences & Humanities Open》上的一項研究為如何管理成果測試和干預內容之間一致性(對齊)的差距提供了指引。在現實中進行研究時,研究人員嘗試通過解釋研究瑕疵(例如:測量誤差或實施問題)的影響來減少結果偏差。不僅是瑕疵,其他因素也會影響效果的大小。其中一項因素是計劃內容及測試成果之間的內容對齊(一致性)。如果研究人員開發的測試與干預內容過度一致,則使用研究人員開發的測試通常與更大的效應值相關。

考慮到計劃內容與測試過度一致的問題,以此產生了放大效應值的傾向,作者提出了一種量化「差異一致性」的計算方法,該方法不同於其他研究人員的方法,因為它不依賴於評量工具的個別項目層面,而是基於不同干預組別計劃內容和評估來獲取信息。「差異一致性」主要量化了干預組和對照組之間測試一致性的差異。

在說明了實施這種方法的一些挑戰之後,作者建議研究人員詳細說明特定主題的一致性和整體差異一致性值。至少,通過在研究附錄中包含一致性資料和完整版本的成果測試工具,研究綜合者將能夠更好地計算整體差異一致性。通過這種方式可提供回顧標準,增強統合分析調節因素的分析,並可能建立綜合分析的納入標準。事實上,更好的綜合分析將幫助前線工作者和政策制訂者對計劃項目或教學方法的潛力做出更好的決定。

 

文獻來源(開放取用):Taylor, J. A., Polanin, J. R., Kowalski, S. M., Wilson, C. D., & Stuhlsatz, M. A. M. (2022). Addressing test fairness in education research: A process for quantifying the alignment between outcome measures and education interventions. Social Sciences & Humanities Open, 6(1), 100312. https://doi.org/10.1016/j.ssaho.2022.100312

Leave a Comment

發表評論