自動寫作評估 （AWE）工具協助教育人員評估學生的寫作，但經常以準確性和清晰度作為代價，並且設置過程需要大量的精力和資源。相比之下，像 ChatGPT的生成式 AI 提供及時、有針對性和適應性的反饋，可以提高學生的寫作能力。最近的一項研究比較了ChatGPT 和人類評分者的反饋質量，以及對基於過程的寫作評估的潛在影響。
該研究涉及來自南加州兩個學區隨機抽樣的200 名 6-12 年級學生。在兩節50分鐘的課堂上，學生的任務是回答兩個寫作要求的其中一個。每項寫作都要求他們閱讀四個一手資料和二手資料，並使用證據、理由和所需的寫作技巧來建構一個分析歷史解釋的論證。研究招募並培訓了來自不同學科16 名經驗豐富的中學教育工作者，以提供形成性反饋。然後將這些反饋與 ChatGPT的反饋進行比較，後者被提示使用與教育工作者相同的情境。研究人員對反饋進行編碼、分析和比較。
研究發現顯示，訓練有素、受薪且時間相對充裕的人類評分員在五個關鍵領域的四個領域提供了更高品質的反饋：改進方向的清晰度、準確性、基本特徵的優先順序以及支援語氣的使用（第五個領域：基於標準的反饋）。然而，ChatGPT的寫作反饋在質量上與人類反饋非常接近，不需要額外培訓，而且考慮到整體質量和時間節省，ChatGPT 和人類反饋之間的質量差異不大。研究人員得出結論，生成式 AI 在特定情況下是一個有用的工具，尤其是對於形成性草稿或缺乏訓練有素的教育人員的情境下。
文獻來源（開放取用）：Steiss, J., Tate, T., Graham, S., Cruz, J., Hebert, M., Wang, J., Moon, Y., Tseng, W., Warschauer, M., & Olson, C. B. (2024). Comparing the quality of human and ChatGPT feedback of students’ writing. Learning and Instruction, 91, 101894. https://doi.org/10.1016/j.learninstruc.2024.101894