綜合性研究把一個特定主題的量化研究結果統整分析,得出一項整體的結果或效應值。「發表偏差」(publication bias)指雖然研究的質素相若,但匯報較大效應值的大型研究,相比於匯報較小、或沒有效應的小型研究更常被發表出版的情況。「發表偏差」的危險就是會令綜合性的研究並不能準確地代表某主題的所有研究,而只偏重於較極端的結果。
維珍尼亞聯邦大學的Jason Chow 及 Erik Eckholm在《Educational Psychology Review》,發表了一篇文章檢視教育學及特殊教育學期刊中,現存的「發表偏差」情況。他們分析了統合分析(其中一種綜合性研究)所包涵的研究中,已發表及未發表研究平均效應值的差別、這些研究在對比已發表及未發表研究上是否有共通模式、以及這些統合分析對發表偏差進行了的測試數目。
從20本期刊中,他們辯識了222項乎合篩選準則的統合分析,並從其中29項能提供充分資訊的統合分析計算效應值,兩位研究人員發現:
- 就1,752項包涵在統合分析中的研究,已發表的研究比未發表的研究之效應值顯著為高(效應值 = +0.64)。效應值較大的研究比起效應值較小的研究有更大機會出版。
- 百分之五十八(128項)的統合分析並沒有就發表偏差進行測試。
作者討論了這些發現的啟示,建議未來的統合分析分別報告已發表研究、以及未發表研究的效應值。