Categories
計劃評鑑 K-12 教育階段 教育行政及領導

解開「贏家的詛咒」:WWC的挑戰和解決方案

在最近的研究中,有學者關注報告結果中干預效果可能被誇大,這種現象被稱為「贏家的詛咒」。這引發了擔憂,即「有效教學策略資料中心」(What Works Clearinghouse, WWC)是否通過優先複製或資助具有統計意義上顯著結果的研究而無意中加劇了這個問題。具有在WWC擔任調查員經驗的Valentine在最新文章探討了WWC在此背景下面臨的挑戰。

WWC面臨的挑戰性任務是評估與其用戶相關的研究結果之可信度,區分出可信度上的高低。其複雜性源於研究的錯綜複雜性質以及關於進行研究的各方面重要性的有限實證證據。儘管存在這些挑戰,但作者認為,建立評估標準可以作為一種溝通工具,強調研究設計和實施的重要方面,從而使研究界受益。文章討論了WWC釐定「何為有效」的局限性來源於:(I)研究的概率值不應直接解釋為有效性,(II)研究結果取決於特定背景,以及(III)個別研究可能無法代表更廣泛的研究。

為了減輕「贏家的詛咒」的影響,作者為WWC提出了兩種策略。首先,他們應避免以可能導致誤解的方式呈現資訊;這可能涉及使用貝葉斯統計(Bayesian statistics)來解釋效應估計的不確定性。其次,作者建議WWC應將系統綜述作為其主要任務,將注意力從單一研究轉移到可信研究的整體上。

 

文獻來源:Valentine, J. C. (2023). How evidence clearinghouses can avoid the winner’s curse. Journal of Research on Educational Effectiveness, 0(0), 1–5. https://doi.org/10.1080/19345747.2023.2194298

發表評論

Discover more from 卓越實證概述 Best Evidence in Brief

Subscribe now to keep reading and get access to the full archive.

Continue reading