卓越實證概述 Best Evidence in Brief

「開放科學」來到統合分析

近年學界對透明度(transparency)及重現性(reproducibility)漸增的關注,令研究員和期刊更願意接受「開放科學」的轉變。這轉變亦受到在社會科學及醫學研究上的可複製性危機所推動,雖然在統合分析的進展上仍然較慢。

在一項最近的元回顧中,Polanin及其同事隨機地選取了150項來自《Psychological Bulletin 》的研究,根據他們對複製結果的準則進行編碼。作者們表示,數據及方法學的高透明度相當重要,背後有三個根本的原因:以支援審查時同儕檢視作者的分析或自行進行額外的分析、以方便進一步的統合分析複製或就新研究結果或統計方法更新回顧結果、及以另一個角度檢視結果(例如:按不同級別把結果進行分拆)。Polanin及其同事提出了一系例的指導原則以令統合分析能更透明:

  1. 在開始回顧前公開指明研究假設、目標、及計劃的方法。
  2. 為各階段的結果及決定作出清楚及可複製的報告。
  3. 承認協定與已發表的回顧之間的各種差異。這些原則的應用大部分都已被定義。

他們發現:

  • 就Polanin 及其同事認為對複製結果重要的準則,統合分析平均而言報告了55%。
  • 另一方面,作者發現數據及方法論的透明度隨著時間穩定地上升。
  • 於1995年,統合計分析只包含49% 的元素;而到2015年時,研究平均包含63%的有關元素。

由於統合分析建基於一手研究的透明度,統合分析在報告的透明度上應發揮領導作用。作者們指出,統合分析最低限度應報告所計算的效應值及方差、按條件的樣本數目、平均值、標準差、檢定統計量、設計的種類、及相關觀測的所有相關性。他們希望統合分析可以在報告上變得更開放,分享數據及統計學上編碼成為標準的程序。

文獻來源:Polanin, J. R., Hennessy, E. A., & Tsuji, S. (2020). Transparency and reproducibility of meta-analyses in psychology: A meta-review. Perspectives on Psychological Science, 15(4), 1026–1041.

Leave a Comment

發表評論