01 Rasch Guessing(Present by Jacob)

振維's gains & Q

振維's gains & Q

by LIU CHEN WEI -
Number of replies: 1

假設data從公式8產生的,所以-1以上的Probability和Rasch相似;-1以下,出現random guessing的效果。文章探討如何去掉guessing的影響,把guessing最小化,使得item location能較準確回復。假設人的能力與題目的相對位置會有不同猜測的程度,且只考慮random guessing。低能力的人,對於難度相對高的題目,很可能有猜測行為!

優點:

去除了c參數估計的困難性。

設法去除guessing response提高item location估計值的準確性。

如果data fit Rasch model

1. 不用假設person distributionCML

2. 簡單性、不用加權分數

方法的邏輯:

CAT的角度出發,適性選擇適合能力的item,其它則為missing value。所以把極難和極易的去除,再把低能力人在難度高的題目反應當作missing value。但這些低能力人的位置,是基於第一次分析的結果,再進行tailored analysis的。所以cut point的選擇很重要。在simulation時,從figure 2可知,選擇-1cut point是合適的,所以table 3的結果上,item loacation回覆的不錯。但在real datacut point設定在哪,paper中是採用較conservative的點(-1)!

受試者必須從6~8個選項中選適當的答案,但Rasch model只有01responsethresholds的概念似乎不存在?

限制:

Rasch model擁有statistically invariant parameter estimates,用Andersens theorem才恰當。當加discrimination parameter到Rasch model,此paper提出的方法之效果可能會混淆。

疑問:

在實際情況下,通常全部的作答反應都要考慮,再估計受試者的能力。但在tailored analysis之後,低能力的人會不爽你刪他答對的題目,而降低他的能力估計值。也會不爽高能力的人,他們的能力估計值變得更高了。尤其在high-stake testing

何不用修改過的3PLMfitguessingdata?(尋找公式8y值)。說不定比tailored methodfit?不過這不是本文篇的重點。此外paper有提到,人的能力估計要先解決,才能考慮在移除guessing後或沒移除前,model-data fit的問題。

此外,是否能夠每一題有獨立的y值,但資料不足可能不容易估計。

Andersen's theoremasymptotic特性到多少總樣本、子樣本比例,算可接受?

實驗設計中,Person number是多少?

table 1real data的分析中,有些題目難度估計值很高,但還是判定為non-guessing itemSE都偏大);有些難度估計值低的(小於-1),卻被判定為guessing itemSE很小)。但大致上tailored之下item的難度都較anchor之下的大,符合預期的pattern

延伸:

Anchor item就是找乾淨題,也許DIFpurification methods可以應用,怎麼應用還要想想。

CDMDINA model也有guessing參數。也許可用來分析Distinguish partial and no knowledge guessing的區分!也許DINA中有些題目不需要guessing。但問題是沒有theta的概念,如何將本篇的方法應用到CDM中?

In reply to LIU CHEN WEI

Re: 振維's gains & Q

by LI XIAOMIN -

in CDM, item characteristic is descirbed by guessing parameter and slipping parameter, so CDM has already taken the guess effect into account. Tailored's method concentrates on controlling the guessing effect, maybe it doesn't need to apply to CDM.

For guessing in DINA, it means, if one person do not master any one attribute defined in the Q-matrix, then she/he could only correctly response to the item rely on guessing. So guessing in CDM is not the same as that in IRT.If a person is diagnosed as "guessing", 1) he is really random guessing; or 2) he is using some other attibutes not defined in the Q-matrix.