BIOINFORMATICS WITH PARK-KLEIS

Biostat 논문을 작성하면서 한 환자에 대한 두 전문가의 의견에 대한 일치도를 통계적으로 검정해야할 일이 있다. 

즉, KAPPA 통계량은 chance에 의한 Agreement와 observed agreement를 비교한다.

Kappa 통계량을 구하는 식은 다음과 같다.

K = (Proportion of observed agreement - Proportion of agreement by chance) / (1 - Proportion of agreement by chance)

Kappa 통계량의 예시를 구하기 위해서 다음과 같은 예시를 들고 왔다.

(출처: Biostatistics and Epidemiology)

환자는 medical therapy(이하 Med) 혹은 침습 치료(이하 Sur)를 받을 수 있고,

둘 중 어떤 것이 더 각 환자에게 적절한지 두 전문가가 치료법을 선택하고자 한다.

그럼 아래와 같은 표를 얻을 수 있다.

📍총 661 명의 환자가 있었고, 두 전문가가 아래와 같은 판단을 내렸다.

그럼 두 전문가의 의견이 일치한 cell은 a 셀 및 d 셀,

두 전문가의 의견이 일치하지 않은 cell은 b 셀 c 셀 이다.

📝 a 셀과 d 셀의 expected number by chance를 구해보자.

❗위 2X2 테이블의 카테고리가 독립이라 했을 때,

환자가 expert1에서 medical일 확률 P(Expert1∩Med)=P(Expert1)*P(Med) 이므로,

expert1에서 medical일 n수는 (=Expected frequency를 구하는 식은) 다음과 같다.

 $$ N \times P(Med) \times P(Sur) = N \times [ \frac{a+c}{N} \times  \frac{a+b}{N}  ] $$

1. a 셀의 expected number by chance를 a'라고 표기한다면,

a'=(a+c)(a+b)/N

2. d 셀의 expected number by chance를 d'라고 표기한다면,

d'=(c+d)(b+d)/N

따라서 a'와 d'는 각각 다음과 같다.

$$ a' : \frac{494 \times 488}{661}=365 $$

$$ d' : \frac{167 \times 173}{661}=44 $$

이에 따라, the proportion of agreement expected by chance alone[=P(exp)]은

$$  \frac{365+44}{661}=0.619 $$

📝이번에는 Proportion of observed agreement를 구해봅시다.

이는 쉽게 구할 수 있는데, a셀과 d셀이 의견 일치 셀이므로, 

Proportion of observed agreement를 P(obs) 라고 표기한다면

$$ P(obs)= \frac{397+76}{661}=0.716 $$

📖 위에서 구한 수치를 Kappa 통계량 식에 대입해봅시다.

K = (Proportion of observed agreement - Proportion of agreement by chance) / (1 - Proportion of agreement by chance)

여기에서 Proportion of observed agreement는 0.716이고,

Proportion of agreement by chance는 0.619이므로,

$$ Kappa= \frac{0.716-0.619}{1-0.619}= \frac{0.097}{0.381}=0.25  $$

❓결론: Kappa 통계량은 0.25이다.

두 전문가의 의견이 완전 일치할 때에 Kappa는 1이 나오고, 불일치할 때에는 0이 나온다.

따라서, 0.25는 높은 일치도가 아니라고 할 수 있다.