當前位置:編程學習大全網 - 源碼下載 - [材料]計算機化自適應測驗(CAT)的相關研究(持續補充)

[材料]計算機化自適應測驗(CAT)的相關研究(持續補充)

錄制時間:2021-6-8

在傳統的紙筆考試中,所有的被試無論能力如何都要回答同壹批問題,所以紙筆考試的題目難度分布很廣,壹般覆蓋整個能力範圍。大部分題目對於高能力的被試來說比較容易,對於低能力的被試來說比較難,不利於對被試能力的準確估計。

計算機化自適應測驗(CAT)的基本思想是讓計算機自動模仿智能主測驗,每次都呈現最適合被試回答的問題。因此,與紙筆測驗相比,CAT可以用更少的題型達到同樣的能力估計精度,大大提高了測驗效率。

CAT還有很多其他的優勢,比如:(1)隨著計算機硬件的不斷升級,越來越復雜的計算可以在短時間內完成;(2)與多媒體技術的結合,可以提供包括音頻、視頻在內的新穎題目類型(如短時記憶題、空間記憶題)。如果有語音合成器,還可以進行聽力和口語測試;(3)新技能類型(如知識狀態)可以結合認知診斷進行測量;(4)結合多層次項目反應理論(PIRT)可以提供基於表現的題目類型(如開放式問題);(5)結合IRT(多維IRT,MIRT)可以提供多維度的被試詳細信息;(6)如果主考官有興趣,還可以記錄被試對每個題目的回答,作為評價被試能力的輔助指標(王,2012);(7)在題庫維護良好的情況下,可以全年提供測試,受試者可以選擇壹個方便的時間進行測試(程,2008)。以上優勢使得國內外很多大型選拔性、資格性考試都引入了CAT版考試。

——陳平,計算機化自適應考試的兩種在線校準新方法。

錄制時間:2021-6-10

(壹)發展進程

CAT的主要開發環節有:

(1)判斷被試能力的初值:壹般給被試提供4-5道題後,就可以根據被試的回答來判斷。

(2)確定選題策略:不僅要選擇與被試能力相匹配的試題,還要考慮考試各部分的平衡和試題曝光度的控制。

(3)判斷被試的能力:目前主要采用最大似然估計、貝葉斯後驗期望估計等參數估計的方法。

(4)設定測驗結束條件:壹般設定能力值的標準誤差滿足壹定精度或采用定長法。兩者相比,似乎前者在理論上更合理。但在實際操作中,國家K-12教育評價更傾向於後者,因為定長法與傳統紙筆考試的銜接性更強。

(二)題庫建設

CAT的實現可能需要幾個星期,這就導致了壹個問題:試題泄露。為了解決這個問題,有必要開發多個具有並行功能的題庫。

另外,根據每個題庫所包含的題量,研究者建議,如果考試采用定長法(比如30題),那麽題庫的題量應該是考試長度的12倍(即360題為宜)。如果測試長度是動態的,那麽題庫中的試題數量是平均測試長度的12倍。

(3)試題的準備

1.難度分布

對於國家教育評估中的紙筆測試,大部分試題都是中等難度,其正確回答率要達到60%-70%。極難和容易的試題壹般不會出現在試卷中。

而貓則不同。為了滿足不同能力水平科目的需要,題庫中題目的難度必須覆蓋面廣。此外,在閱讀測試中,兩種試題難度的編制也有很大差異。比如紙筆考試中,每篇閱讀文章往往會附帶幾道難度從易到難的試題,而CAT中每篇閱讀文章附帶的試題難度是壹致的,這樣才能保證文章既能適應較高水平的科目,也能適應較低水平的科目。

2.質量管理

CAT和紙筆考試在質量控制的很多方面是相同的,關鍵的區別在於形成試卷的最後壹步。在紙筆測試中,試卷原型制作完成後,要請壹名學科專家對試卷進行最後的檢查,以保證試卷中試題的質量符合測試要求。然而,在CAT中,每個題庫包含300到400個問題。考前要求學科專家對所有題目進行復檢顯然是不現實的,所以CAT只能通過優化以下選題策略來保證試卷質量:

首先,為題庫中的每道題設置盡可能詳細的字段信息,確保選出最合適的題;其次,選題策略要有控制選擇相似試題的功能,保證試題中考查的內容不重疊;再次,在考試前夕,可以通過計算機模擬生成難、中、易三張具有代表性的試卷,由學科專家進行評審,以便找出自己的不足。這種方法雖然有效,但是使得生成試卷的過程更加復雜,無法體現CAT的優勢。因此,CAT研究人員傾向於逐步總結學科專家在試卷中發現的不足,並將其轉化為可操作的規則和算法,最終體現在CAT的選題策略中。

3.生命周期

在美國,CAT是由專業的教育測量公司開發的,在題庫建設過程中必須執行嚴格的入庫流程和標準,導致每道題的平均分很貴。所以教育測量公司總是希望延長試題的生命周期。但在實踐中,隨著試題的不斷曝光,社會和技術的不斷進步,題庫中的試題需要不斷更新,但更新的程度並不相同,這與具體的學科、年級、地域等因素密切相關。

影響試題生命周期的另壹個因素是:國家教育評估後,試卷是否會公開?壹般紙筆考試完成後,州教育機構傾向於公開試卷內容,接受公眾評判。而CAT公開所有試卷,就意味著題庫系統的曝光,這對於教育測量公司來說,顯然是難以承受的壓力。折中的辦法是選擇三種試卷,分別是難、中、易,滿足大眾的部分需求。

——路宏、高佳佳、胡,計算機自適應測試在美國K-12教育評估中的實踐與探索。

我是芬格。我關註心理學,兒童教育,人類數字化存在。我喜歡寫作和旅行。如果妳對我的文章感興趣,請留言和我交流。

  • 上一篇:春天來了,壹群麻雀在枝頭嘰嘰喳喳材料作文
  • 下一篇:mono海報是什麽軟件?海報是用什麽軟件做的?
  • copyright 2024編程學習大全網