假設data從公式8產生的,所以-1以上的Probability和Rasch相似;-1以下,出現random guessing的效果。文章探討如何去掉guessing的影響,把guessing最小化,使得item location能較準確回復。假設人的能力與題目的相對位置會有不同猜測的程度,且只考慮random guessing。低能力的人,對於難度相對高的題目,很可能有猜測行為!
優點:
去除了c參數估計的困難性。
設法去除guessing response提高item location估計值的準確性。
如果data fit Rasch model
1. 不用假設person distribution(CML)
2. 簡單性、不用加權分數
方法的邏輯:
從CAT的角度出發,適性選擇適合能力的item,其它則為missing value。所以把極難和極易的去除,再把低能力人在難度高的題目反應當作missing value。但這些低能力人的位置,是基於第一次分析的結果,再進行tailored analysis的。所以cut point的選擇很重要。在simulation時,從figure 2可知,選擇-1為cut point是合適的,所以table 3的結果上,item loacation回覆的不錯。但在real data,cut point設定在哪,paper中是採用較conservative的點(-1)!
受試者必須從6~8個選項中選適當的答案,但Rasch model只有0、1的response,thresholds的概念似乎不存在?
限制:
Rasch model擁有statistically invariant parameter estimates,用Andersen』s theorem才恰當。當加discrimination parameter到Rasch model,此paper提出的方法之效果可能會混淆。
疑問:
在實際情況下,通常全部的作答反應都要考慮,再估計受試者的能力。但在tailored analysis之後,低能力的人會不爽你刪他答對的題目,而降低他的能力估計值。也會不爽高能力的人,他們的能力估計值變得更高了。尤其在high-stake testing!
何不用修改過的3PLM來fit有guessing的data?(尋找公式8的y值)。說不定比tailored method更fit?不過這不是本文篇的重點。此外paper有提到,人的能力估計要先解決,才能考慮在移除guessing後或沒移除前,model-data fit的問題。
此外,是否能夠每一題有獨立的y值,但資料不足可能不容易估計。
Andersen's theorem的asymptotic特性到多少總樣本、子樣本比例,算可接受?
實驗設計中,Person number是多少?
在table 1,real data的分析中,有些題目難度估計值很高,但還是判定為non-guessing item(SE都偏大);有些難度估計值低的(小於-1),卻被判定為guessing item(SE很小)。但大致上tailored之下item的難度都較anchor之下的大,符合預期的pattern。
延伸:
Anchor item就是找乾淨題,也許DIF的purification methods可以應用,怎麼應用還要想想。
CDM的DINA model也有guessing參數。也許可用來分析Distinguish partial and no knowledge guessing的區分!也許DINA中有些題目不需要guessing。但問題是沒有theta的概念,如何將本篇的方法應用到CDM中?