Annotator Independen dan Cohen’s Kappa

1. Apa Itu Annotator Independen?

Annotator independen adalah individu yang melakukan pelabelan data secara terpisah tanpa dipengaruhi satu sama lain. Dalam analisis sentimen atau tugas pemrosesan bahasa alami lainnya, annotator independen digunakan untuk:

• Mengurangi bias subjektif dalam pelabelan data.
• Memastikan bahwa keputusan label tidak bergantung hanya pada satu individu.
• Meningkatkan validitas dan reliabilitas data yang digunakan dalam penelitian atau model machine learning.

Contoh: Jika ada sebuah dataset berisi 100 komentar YouTube tentang kendaraan listrik, tiga annotator independen bisa diberi tugas untuk menilai apakah setiap komentar memiliki sentimen positif, negatif, atau netral. Setelah semua annotator selesai memberi label, kesepakatan antar-annotator dapat diukur menggunakan metrik seperti Cohen's Kappa.

 

2. Menghitung Cohen's Kappa untuk Mengukur Kesepakatan Antar-Annotator

Cohen's Kappa adalah metrik statistik yang digunakan untuk mengukur tingkat kesepakatan antara dua annotator independen dengan mempertimbangkan kemungkinan kesepakatan yang terjadi secara acak. Nilai Cohen's Kappa berkisar antara:

• 1 → Kesepakatan sempurna antara annotator.
• 0 → Kesepakatan setara dengan tebakan acak.
• Negatif → Kesepakatan lebih buruk dari tebakan acak (menunjukkan ketidaksepakatan).

 

Rumus Cohen's Kappa : k = (p_o  - p_e) / (1 - p_e)

p_o : Proporsi kesepakatan aktual antara annotator

p_e : Proporsi kesepakatan yang diharapkan berdasarkan probabilitas acak.

 

3. Implementasi Cohen's Kappa dalam Python

Contoh perhitungan Cohen's Kappa menggunakan sklearn:

from sklearn.metrics import cohen_kappa_score

 

# Contoh data dari dua annotator (0 = Negatif, 1 = Positif)

annotator_1 = [1, 0, 1, 1, 0, 1, 0, 1, 0, 1]

annotator_2 = [1, 0, 1, 0, 0, 1, 0, 1, 1, 1]

 

# Menghitung Cohen's Kappa

kappa_score = cohen_kappa_score(annotator_1, annotator_2)

print(f"Cohen's Kappa Score: {kappa_score:.2f}")

 

4. Interpretasi Nilai Cohen's Kappa

Nilai Kappa	Tingkat Kesepakatan
0.81 - 1.00	Kesepakatan sangat baik
0.61 - 0.80	Kesepakatan baik
0.41 - 0.60	Kesepakatan sedang
0.21 - 0.40	Kesepakatan rendah
0.00 - 0.20	Kesepakatan sangat rendah (hampir acak)

 

Dengan menggunakan Cohen's Kappa, kita bisa menilai seberapa tinggi tingkat kesepakatan antara annotator dalam pelabelan data. Jika nilainya rendah, maka diperlukan pelatihan lebih lanjut bagi annotator atau revisi pada pedoman pelabelan agar lebih konsisten.