隨著許多學校加速採用生成式AI,審視這些工具所提供的真實學習成效(或其不足之處)便很重要。 Pardos和Bhandari在2023年發表的一項研究中,探討了AI生成提示作為代數課程中支架機制的效果。
研究招募的77名參與者(通過亞馬遜的MTURK系統篩擇高中畢業生)被分配到對照組(提供人類產生的提示)或實驗組(提供AI生成的提示)。研究人員的目的是了解AI生成的「低質量」提示的比率,以及與對照組相比,這些提示是否提升了學習成果。課程中的問題被逐字輸入到ChatGPT來生成AI提示。並通過人工檢查以確保所有提示都是正確並顯示正確的步驟。相比之下,對照組的提示是由大學本科生助教產生的。研究採用前測及後測來對比兩組之間的學習成效。
結果表明,ChatGPT生成的提示中有70%被認為是高質素的,並且對照組的學習增益具有統計學意義上的顯著。該研究的一個主要限制是研究人員並沒有要求AI採用任何支架策略。因此,各組之間的提示質量不僅因人類或AI生成而異,在教學理論方面也有所不同。人類導師可能更有可能使用維果斯基(Vygotsky)式的支架,而 ChatGPT更可能直接提供答案。未來的研究可改進本研究中使用的提示,並創建一種多層次的方法,先揭示影響較小的提示,逐步引導學生學習。
文獻來源(開放取用):Pardos, Z. A., & Bhandari, S. (2023). Learning gain differences between ChatGPT and human tutor generated algebra hints (No. arXiv:2302.06871). https://doi.org/10.48550/arXiv.2302.06871

