How To Lie With Statistics

Banyak orang-orang gelisah kemarin karena beberapa TV menyajikan QC (quick count) dengan hasil yang ditampilkan menonjol di tengah layar, dengan huruf besar Jokowi 54 persen: Prabowo 44 persen, sedikit di atasnya data masuk sudah 70 persen.

Para ahli survei lalu dengan segala argumen menjelaskan bahwa dengan QC ini, maka sudah jelas Jokowi akan presiden lagi.

Saya harus menjelaskan pada masyarakat di FB saya bahwa itu QC hanya 2.000 sample TPS dari 810.000 TPS. Dalam dunia Big Data dan Internet of Things, apalagi Jokowi bilang sudah 4G di mana-mana,  ya sabar sedikit.

Jika sebuah partai seperti PKS yang militan dan punya saksi di daerah-daerah dalam satu jam pasti bos mereka di Jakarta sudah punya data. Jadi QC sudah nggak penting. Kecuali QC dilakukan oleh Bawaslu yang netral.

Survei Vs Sensus

Kasian rakyat kebanyakan yang nggak paham apa itu survei dan apa itu sensus. Survei adalah meneliti pada representasi populasi. Representasi itu disebut sampel. Sedangkan sensus, meneliti semua populasi. Istilah saya kemarin “real count".

QC adalah survei. Berapa jumlah sample? Untuk zaman now sudah ada kalkulator survei yang menghitung jumlah sample otomatis terkait dengan margin of error dan confidential level atau tingkat kepercayaan.

Untuk populasi besar, di atas 100.000, sampel minimal 400 atau 440. QC rata-rata sampelnya 2.000. Di Amerika, untuk survei, rata-rata sampel mereka 600 saja.

Mengapa Survei Bisa Salah?

Kesalahan terbesar perusahan-perusahaan survei raksasa,  seperti Pew Research,  adalah ketika memprediksi pilpres Amerika. Saya sudah menulis nya dalam "survei abal-abal”. Baca: Survei Abal-Abal

Berbagai lembaga survei besar bersama 7 universitas ternama USA plus Kanada mengevaluasi diri, mengapa mereka bisa salah?

Tapi yang paling mendasar bagi awam untuk dimengerti, ilmu matematika itu beda dengan ilmu statistik. Kalau mau pasti, itu ilmunya matematik. Dua tambah dua pasti empat.

Sedang ilmu statistik adalah ilmu perkiraan. Ilmu probability. Meski kita yakin 95 persen hasilnya pada margin of error, misalnya 2,5 persen, maka 5 persen di luar keyakinan kita, bisa menyimpang.

Untuk sebuah negara, setiap periode 10 tahun, umumnya mereka melakukan sensus penduduk. Di antara waktu itu bisa juga, misalnya, sensus pertanian. Karena mahal, di antara sensus ini dilakukan survei. Dengan sensus data yang ada pasti benar.

Bagaimana Menipu Dengan Statistik

Buku How to Lie With Statistics karangan Hurrell Druff tahun 1954 alias 65 tahun lalu bercerita tentang penggunaan statistik untuk mengelabui masyarakat.

Misalnya, angka kemenangan Jokowi vs Prabowo dalam porsentase dan dipampang besar di TV, itu bisa menghipnotis. Padahal itu hanya dari sample yang kecil saja, yang mungkin kurang dipahami rakyat.

Buku itu juga memuat teknik-teknik penggunaan grafik dan chart yang bisa memanipulasi mata, karena visualisasi seringkali menyembunyikan detail.

Buat yang sekolahnya tidak pernah berhubungan dengan survei, saya perlu memberitahu bahwa penipuan yang terbesar adalah memasukkan data yang tidak pernah diukur.

Karena sekolah saya dulu di ITB adalah teknik pengukuran bumi (Geodesy dan Geomatika), saya dan teman-teman yang bandel suka malas ngukur pake Theodolit kalau sudah panas matahari.

Kalau sudah 70 persen data dari seribuan titik ketinggian kami ukur, maka 30 persen lagi saya utak atik aja pake kalkulator (PB-100). Itu disebut ektrapolasi/intrapolasi. Kelakuan-kelakuan salah seperti ini dapat berefek buruk pada sengketa hak-hak tanah. Lebih ngeri lagi,  pernah masyarakat transmigrasi di Lampung, pas sampai Lampung plot tanah yang diberikan di tengah sungai.

Zaman komputer canggih saat ini, manipulasi data dapat dilakukan lebih sophisticated lagi.

Setelah saya sekolah doktor ilmu sosial, bagaimana menipu hasil survei sosial?

Dalam ilmu non sosial, penipuan survei bisa dilakukan pada berbagai hal, seperti tadi di atas, menyisipkan data yang tidak di survei. Maupun teknik penyajian data dengan penonjolan (visualisasi) hal-hal tertentu.

Sedangkan dalam ilmu sosial berbagai hal dapat dilakukan sebagai berikut:

Pertama, Konsep. Survei sosial sangat terkait dengan konsep. Apa arti orang miskin? Apa arti pengangguran? Apa arti pemimpin yang saleh?

Jika motif politik dikesampingkan, konsep pengangguran, kemiskinan, dan pemimpin Sholeh bisa didefinisikan secara netral. Tapi kalau sudah motif politik, definisi dapat diubah agar sesuai dengan hasil survei yang diinginkan.

Kedua, cipta kondisi. Kalau kita mau tahu rakyat puas dengan harga-harga murah, misalnya terong, di suatu wilayah tertentu, maka sebelum survei kita bisa men-drop terong dalam jumlah besar sehingga harga jatuh. Kemudian kita lakukan survei dengan pertanyaan: “menurut bapak apakah harga terong cukup terjangkau saat ini?"

Ketiga, menggiring pertanyaan. Kita juga bisa menggiring pertanyaan dengan berbagai pertanyaan sebelumnya. Jika pilpres dilakukan hari ini,  bapak akan memilih X atau Y? Sebelum pertanyaan ini kita bisa men-setting pertanyaan negative/positive tentang X atau Y.

Misalnya, apakah anda puas dengan harga terong saat ini? Berikutnya, seberapa puas anda dengan harga harga terong selama presiden X?

Keempat, sampling.  Survei kuantitatif bagian dari methodology penelitian kuantitatif. Bicara metodologi kuantitatif intinya membicarakan pembuktian hipotesis.

Sedang survei kuantitatif adalah metode mendapatkan data dengan metode pengambilan sampel secara random. Kalau survei kualitatif,  datanya tidak perlu random, bisa secara purposive, yakni berhenti ketika "jenuh".

Nah,  dalam penarikan sample ini kita bisa melakukan manipulasi. Kita bisa menciptakan "distribusi tidak normal" pada sampel. Dari awal proporsi sampel sudah kita desain untuk lebih banyak yang menghasilkan sesuai survei atau QC kita.

Banyak lagi cara cara menipu dalam survei. Kalau tidak ada niat menipu, maka ukuran akurasi itu ada pada validity and reliability.

Kalau anda mengukur darah di apotek check gula darah, hasilnya 300, padahal belum ada gejala sebelumnya, maka kemungkinan alat ukur bermasalah, harus dikalibrasi ulang. Anda bisa mencari apotik lain.

Saya sudah ajarkan cara cara menipu dalam survei kuantitatif. Apakah anda mau melakukannya? Terserah. Yang pasti seorang direktur lembaga survei besar atau terbesar ketika makan sate dengan berbagai wartawan beberapa waktu lalu, ketika ditanya wartawan-wartawan itu soal survei, dia bilang: "survei yang benar dan benar-benar survei tanyanya jangan ke saya, tapi ke Bang Ganda".

Ini dulu saya berbagi ilmu. Semoga bermanfaat. Salam.

Penulis adalah Direktur Eksekutif Sabang Merauke Circle