Survei oh Survei: Antara Denny JA Dan Litbang Kompas

Tanggapan saya ke Denny terkait pernyataannya bahwa Kompas kurang terbuka informasi dalam metodologi dan salah penarikan kesimpulan.

Soal metodologi terkait survei menggunakan simulasi kertas suara atau tidak?; tidak ada keterangan response rate; dan tidak jelas soal kontrol kualitas. Khususnya mengecek jawaban responden.

Terkait ini Denny mengajari Litbang Kompas, "Tanpa cek dan recheck secara cukup dan random, peneliti yang berpengalaman bisa saja hanya mendatangi responden sebagian. Sisa responden, ia isi sendiri di bawah pohon atau di bawah warung." Sebuah kecurigaan tendensius.

Soal salah menarik kesimpulan, 1) Kompas salah menyatakan adanya tren Jokowi turun karena hanya menampilkan dua survei, harusnya lebih.  2) Salah Litbang Kompas dalam menarik kesimpulan dari turunnya elektabilitas Jokowi dari 52,6 persen ke 49,2 persen. Dengan MoE 2,2 persen maka rentang margin adalah 4,4 persen. Turunnya Jokowi, kata Denny, masih dalam rentang MoE, yakni 3,4 persen. Itu bukan suatu penurunan. 3) Kesimpulan Kompas salah dengan menyatakan Prabowo cukup dengan menambah elektabilitas 6 persen bisa jadi pemenang.

Selain soal metodologi dan kesimpulan yang kacau, Litbang Kompas juga menurut Denny terpengaruh kedekatan Pemrednya Ninuk Pambudi dengan Prabowo. Selain itu Denny menuduh juga Kompas sedang "Repositioning". Meski menuduh, Denny mengatakan ini hanya bumbu saja.

Kritik Denny terhadap Kompas sebenarnya menarik. Namun, ketika dia menggunakan Margin of Error (MoE) untuk menganalisa tidak ada penurunan elektabilitas Jokowi, saya jadi ragu kemampuan Denny soal survei kuantitatif ini.

Sebelumnya, juga saya suka melihat Denny rancu antara pengetahuan dia soal Quick Count vs. Survei Opini. Kalau ada pihak yang mempertanyakan kesalahan prediksi dia dalam survei di Jakarta (dukung AHY), yang gagal, lalu salah prediksi dengan selisih besar di Jabar dan Jateng, Denny malah membanggakan keberhasilan dia dalam quick count. Padahal survei opini itu bukan hal eksakt seperti quick count.

Penggunaan MoE jangan disalah artikan. MoE itu adalah tingkat kesalahan yang terjadi dalam rentang tertentu pada tingkat keyakinan ( confidential level) tertentu. Artinya lebih lanjut, misalnya, jika kita tentukan MoE 2,2 persen pada confidential level 95 persen artinya, dari 100 kali kita mensurvei maka kita meyakini 95 kalinya, benar hasil survei berada pada rentang: hasil (+/-) 2,2 persen.

Karena kita bukan mensensus maka "sampling error" sebuah  keniscayaan. Keniscayaan itu dibatasi dalam MoE. Dan MoE itu terlait dengan "confidential level". Bagaimana menentukan MoE, jumlah sample dan confidential level?_  Semua itu ada teori yang baku dan dapat diakses di internet, misalnya calculator sample di www. raosoft.com.

Menggunakan rentang MoE seperti Denny jika dilakukan, maka range yang ada juga bukan 4,4 persen. Denny tidak mengalikan dengan confidential level. Seharusnya, 4,4 persen x 0,95 = 0,418.  Perubahan elektabilitas Jokowi sendiri 3,4 persen ada pada dua survei. Bukan antara survei dengan faktual.

Jika pada survei yang berbeda, posisi angka elektabilitas Jokowi di survei sebelumnya dapat saja lebih besar jika di tambah MoE x Confidential Level. Sehingga sulit membandingkan dengan faktor MoE sebagaimana dilakukan Denny.

Kembali pada penggunaan MoE, seperti yang dilakukan Denny, tidak dilakukan pada evaluasi lembaga survei di Amerika.

Dalam evaluasi atas kegagalan prediksi pilpres Amerika, padahal selisih kemenangan Hillary pada popular vote 1 persen, antara 3 persen vs. fakta 2 persen, Pew Research dalam ”An Evaluation of 2016 Election Polls in the U.S” tidak mengatakan bahwa angka 1 persen itu masih dalam rentang MoE. Melainkan mereka menyatakan ada selisih dan mencari sebab-sebab selisih itu.

Keraguan saya terhadap kemampuan Denny JA dalam metodologi survei kuantitatif, bukan berarti kritik Denny terhadap Kompas tidak perlu dilakukan. (catatan: Saya juga bingung kenapa Kompas memunculkan prediksi ekstrapolatif via Arithmatics Mean?.Kurang lazim jika Kompas sudah yakin tentang surveinya).

Namun, apakah kritik Denny terhadap Kompas seperti sebuah refleksi diri bagi Denny? Mengapa?

1) Kecurigaan Denny bahwa survei dapat diisi sendiri di bawah pohon oleh pensurvei, bagaimana membuktikannya? Apakah semua peneliti lembaga survei perlu diwajibkan menggunakan GPS untuk mengetahui kordinat mereka dan responden? 2) Apakah perlu membuktikan autentik keberlangsungan survei?

Jika Denny JA meragukan Litbang Kompas, bagaimana masyarakat mempercayai lembaga-lembaga survei lainnya?

3) Berhakkah Denny menghakimi Litbang Kompas karena tidak menggunakan alat peraga dalam survei? Bagaimana kalau survei dengan mode tanpa tatap muka seperti di Amerika? (via phone, internet, dan lain sebagainya)

4) Berhakkah Denny menghakimi Kompas yang terlihat Denny ke tengah atau repositioning? Sehingga Kompas sudah tidak netral?

Dari pertanyaan di atas terlihat bahwa persoalan survei, hasil survei dan lembaga-lembaga survei ini menjadi sumber ketidakpastian bagi masyarakat dalam melihat situasi yang nyata. Sehingga, Komisi Pemilihan Umum (KPU) maupun kalangan akademis perlu ikut berembug bagaimana menselaraskan kehadiran lembaga-lembaga survei ini bagi kepentingan demokrasi, bukan sekedar alat propagandis.

Penutup

Situasi ketidakpastian yang diciptakan lembaga survei selama ini tampak nyata. Semakin kacau karena "Bapak" lembaga survei Denny JA malah menyerang Litbang Kompas, sesama lembaga survei. Padahal Litbang Kompas selama ini mempunyai kredibilitas yang cukup disegani.

Semoga serangan Denny ke Kompas dapat menghasilkan sebuah kesepakatan baru bagaimana lembaga survei berperan di masyarakat.


Direktur Sabang Merauke Circle