Rentang nilai pada Cohen s Kappa berasal dari penelitian dan literatur akademik yang telah menetapkan standar interpretasi untuk tingkat kesepakatan antar-annotator. Salah satu referensi utama adalah Landis & Koch (1977), yang mengusulkan kategori interpretasi berikut:
|
Nilai Kappa |
Tingkat Kesepakatan |
|
< 0.00 |
Poor (Sangat Buruk) |
|
0.00 - 0.20 |
Slight (Sangat Rendah) |
|
0.21 - 0.40 |
Fair (Rendah) |
|
0.41 - 0.60 |
Moderate (Sedang) |
|
0.61 - 0.80 |
Substantial (Baik) |
|
0.81 - 1.00 |
Almost Perfect (Sangat Baik) |
Referensi Akademik
- Landis, J. R., & Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159-174.
- Fleiss, J. L. (1981). Statistical Methods for Rates and Proportions.
- McHugh, M. L. (2012). Interrater reliability: The kappa statistic. Biochemia Medica, 22(3), 276-282.
Ada beberapa variasi rentang interpretasi yang digunakan dalam penelitian lain, seperti dari Fleiss (1981) dan Cicchetti (1994), tetapi rentang Landis & Koch adalah yang paling umum digunakan dalam NLP dan analisis sentimen.