データ解析をしてみる（分析編1）|M-1の信頼性は？

企画

さて、今日からは本題に入っていきたいと思います。
一般化可能性理論に基づいた信頼性の評価です。


今回はフリーパッケージの「R」を用いて分析したいと思います。
（Rについてはココなどをもとにダウンロードしてみてください。）


利用するデータはコレm1_2010.dat 直です。
半帖庵さん記載の審査員×演者の2元データを構成しなおしています。


審査員（judge）は7人（J1-J7）、演者（subject）は9人（S1-S9）です。
valueには100点満点の得点が入っています。


このデータをもとにまずは分散の推定を行い、その後信頼性を計算します。
今回のプログラムは「無料統計ソフトR(CRAN)で心理学」さんのプログラムに手を加えて作成しました。


まずは今回推定に利用するパッケージを読み込みます。
（事前にCRANなどからインストールが必要です。）

##パッケージの読込
library(lme4)


その後、データを読み込みます。
（事前にディレクトリを指定くださいね。）

##データの読み込み
dat <- read.table("m1_2010.dat", header=T)
dat


さて、ここから分散成分の推定に入るわけですが、今回は以下を想定します。

  • 演者は沢山いる演者の母集団から抽出された標本である
  • 審査員は沢山いる審査員の母集団から抽出された標本である

こういう考え方を変量モデルといいます。


この変量モデルのもとで分散成分を推定します。
（なお、演者と審査員の交互作用は測定の反復がないため考えません。）
推定プログラムは以下の通りです。

##2因子変量モデルの分散成分
mod1 <- lmer(value ~ 1 + (1|judge) + (1|subj), data=dat)
mod1

##分散成分の抽出（Ｇ研究）
varcomp <- VarCorr(mod1)

output <- rep(NA, length(varcomp)+1)
for(i in 1:length(varcomp)){
output[i] <- varcomp [ [ i ] ][,1]
}
names(output) <- c(names(varcomp), "Residual")
output <- sort(output, na.last=T, decreasing=T)
output["Residual"] <- attr(varcomp, "sc")1^2


上記を実行したあとに、

>output

を実行すると分散成分が出力されます。
これで分散成分が推定されました。


ここからはＤ研究（信頼性の計算）です。


ここまでの段階では、

得点の分散＝演者の分散＋審査員の分散＋誤差分散

となります。


しかし、Ｍ−１の場合、「全ての演者の漫才に同一の審査員が点数を評価」します。
この場合、審査員は変量ではなく母数として扱うため、

得点の分散＝演者の分散＋誤差分散

となります。


これを元に信頼性係数を構成すると

信頼性係数＝演者の分散/(演者の分散＋(誤差分散/審査員の人数））

となります。
誤差分散を審査員の人数で割るのは、審査員の人数の平均値の分散を用いるためです。


これをRで実行すると、

##信頼性の推定（Ｄ研究）
var.a <- output[ ["subj"] ]
var.e <- output[ ["Residual"] ]

reliability1 <- function(b){
denom <- var.a + var.e / (b)
alpha1 <- var.a / denom
return(alpha1)
}
reliability1(b=7)

となります。


この結果、返される値が

0.9327869

です。

これが信頼性係数です。
分散成分を推定したときの水準数（審査員の数）とD研究のときの水準数が同一のときを「クロンバックのα係数」といいます。


昨日のエントリーで述べた学力テスト（だいたい0.85~0.90）とほぼ同様の信頼性係数ということです。


Ｍ−１の評価は思っていた以上に、（今回の検討の枠組みでは）信頼性がある、といえるのではないでしょうか？


今日はここまで。