波士頓公立學校 （BPS） 系統中負責評估的行政人員在橫跨 2013-14 至 2014-15 學年的四個學期中其中一個學期接受了共 15 小時的培訓。培訓內容側重於提高給予教師回饋的質量和頻率。 BPS與Kraft和Christian合作，後者最近發表了隨機實地實驗的結果，以檢示培訓的有效性。 研究人員利用隨機區組設計，將校本評估小組分配到四個學期之一的培訓課程。分配到2013-2014學年秋季或春季的學校作為實驗組，而於2014-2015學年秋季或春季接受培訓的學校則為對照組。
參加培訓的評估員於一項問卷調查中給予訓練內容好評，並打算在實施其中內容。但對接受回饋的教師進行調查結果反映，只有約25%的教師認為評估員的回饋對其教學產生了正面影響。來自實驗組和對照組的教師調查的比較顯示：
- 訓練對回饋質素、觀察次數、會面次數和學生成績沒有影響。
- 唯一顯著改善是，教師觀察和後續會面之間的時間減少了30天。
- 然而，對教師課堂管理的自我效能（效應值 = -0.20）及教學策略的自我效能（效應值 = -0.19）產生了顯著的負面影響。
鑒於培訓並無帶來效用甚或有負面影響，研究人員提供了可能的解釋。
- 超負荷的時間表：評估員每年平均要進行50至60次正式觀察，可能是難以實踐培訓中推廣之技巧的部分原因。
- 回饋是否有效似乎取決於評估員的特徵：教師對經驗豐富評估員（6-8 年經驗）的回饋評分（效應值 = +0.19），較經驗不足的評估員（0-2 年經驗）高；
- 教師對與自己種族相同的評估員的回饋評分較高 （效應值 = +0.30 非裔美國人; 效應值 = +0.29 西班牙裔; 效應值 = +0.35 亞洲人）。
這項研究的結果可能有助於為今後在BPS和其他地區如何提高教師效率提供資訊。
文獻來源：Kraft, M. A., & Christian, A. (2021). Can teacher evaluation systems produce high-quality feedback? An administrator training field experiment. American Educational Research Journal. https://doi.org/10.3102/00028312211024603