Unit 9: Pendalaman untuk S2 dan S3

Unit ini tidak wajib untuk status Dikuasai. Isinya adalah hal-hal yang biasanya ditanyakan penguji tesis dan disertasi, atau penelaah jurnal: apakah sampelnya cukup, apakah galat bakunya dapat dipercaya, apakah satu responden mengubah kesimpulan, dan apakah klaimnya sesuai dengan desain.

Kita memakai dua data dari unit sebelumnya: data kedai kopi (150 responden) dan data kedai kopi kedua, yang sengaja dibuat melanggar asumsi (Unit 6).

Kekuatan uji (power) adalah peluang uji menolak H₀ bila efek yang dicari memang ada. Patokan yang umum adalah 0,80. Ukuran sampel ditentukan sebelum data dikumpulkan, dari empat hal: besar efek yang diharapkan (f², dari penelitian sebelumnya atau batas efek terkecil yang masih bermakna), α, kekuatan uji yang diinginkan, dan banyaknya variabel bebas.

Untuk tiga variabel bebas, α = 0,05, dan kekuatan uji 0,80 (dihitung seperti G*Power):

Aturan praktis Green (1991), yang sering dikutip, adalah n ≥ 50 + 8k untuk menguji model (74 untuk k = 3) dan n ≥ 104 + k untuk menguji setiap koefisien (107); bila keduanya diuji, pakai yang lebih besar. Aturan ini hanya pendekatan kasar dengan anggapan efek sedang. Bila efek yang diharapkan kecil, sampel yang diperlukan jauh lebih besar, seperti baris terakhir tabel.

Pelajaran untuk data kedai kopi: dengan n = 150, kekuatan uji untuk mendeteksi satu koefisien dengan f² = 0,02 hanya 0,41. Efek lokasi di sampel ini lebih kecil lagi (f² = 0,012, Unit 5). Jadi hasil lokasi yang tidak signifikan tidak dapat dibaca sebagai bukti bahwa lokasi tidak berperan: penelitian ini memang tidak dirancang untuk mendeteksi efek sekecil itu.

Dua kekeliruan yang perlu dihindari:

• Rumus Slovin bukan analisis kekuatan uji. Slovin menentukan ukuran sampel untuk memperkirakan sebuah proporsi dengan batas galat tertentu; rumus itu tidak memperhitungkan besar efek, α, kekuatan uji, maupun banyaknya variabel bebas.
• Kekuatan uji "teramati" (post hoc) tidak informatif. Menghitung kekuatan uji dari efek yang diperoleh di sampel, setelah hasilnya tidak signifikan, hanya mengulang nilai p dalam bentuk lain. Analisis kekuatan uji dilakukan sebelum pengumpulan data; setelah itu, laporkan interval kepercayaan.

Unit 6 menunjukkan bahwa heteroskedastisitas membuat galat baku biasa keliru, walaupun koefisien B tetap tidak bias. Galat baku robust (heteroskedasticity-consistent) memperkirakan galat baku dari residual setiap responden sendiri, sehingga tidak mengandaikan varians residual yang sama. Dari beberapa versinya, HC3 dianjurkan untuk sampel kecil sampai sedang, sekitar n < 250 (Long & Ervin, 2000).

Pada data kedua, Breusch-Pagan χ²(3) = 17,23, p < 0,001. Bandingkan hasil dengan galat baku biasa dan HC3:

Perhatikan tiga hal:

• B tidak berubah. HC3 hanya menghitung ulang galat baku, lalu t, p, dan interval kepercayaan.
• Di data ini semua galat baku HC3 lebih besar, sehingga t mengecil. Galat baku biasa terlalu optimis. (Di data lain, HC3 bisa juga lebih kecil; arahnya bergantung pada pola sebaran residual.)
• Kesimpulan untuk kualitas layanan dan harga tidak berubah. Untuk lokasi, IK 95% HC3 [−0,272; 0,017] masih memuat nol.

HC3 tidak memperbaiki masalah lain: residual tidak menjadi normal, hubungan yang lengkung tidak menjadi lurus, dan outlier tetap berpengaruh. Laporkan bahwa heteroskedastisitas terdeteksi dan bahwa galat baku HC3 dipakai.

Outlier adalah responden dengan residual besar. Responden berpengaruh adalah responden yang, bila dikeluarkan, mengubah koefisien secara berarti. Keduanya tidak selalu sama: pengaruh bergantung pada besar residual sekaligus seberapa jauh nilai variabel bebasnya dari rata-rata (leverage). Cook's distance (Cook, 1977) menggabungkan keduanya menjadi satu angka per responden.

Pada data kedua, Cook's distance terbesar dimiliki responden ke-93 (D = 0,266), jauh di atas responden berikutnya (0,078). Ini responden yang dibahas di Unit 6: kualitas layanan 5,00 dan harga 4,67, tetapi kepuasan 1,00, dengan residual terstudentisasi −4,94.

Patokan yang sering dipakai, D > 1 atau D > 4/n (di sini 0,027), hanyalah pegangan kasar. Tidak ada responden dengan D > 1, sedangkan 10 responden melewati 4/n, sebagian karena heteroskedastisitas. Yang lebih berguna adalah melihat responden yang menonjol dibandingkan yang lain, lalu melakukan analisis sensitivitas: jalankan model dengan dan tanpa responden itu.

Satu responden menentukan apakah lokasi "signifikan" atau tidak. Itu sendiri adalah temuan: kesimpulan tentang lokasi tidak kokoh. Yang tepat adalah memeriksa apakah data responden itu salah ketik atau jawaban asal-asalan, menuliskan alasan bila ia dikeluarkan, dan melaporkan kedua hasil. Memilih versi yang "signifikan" tanpa alasan substantif adalah bentuk p-hacking.

Judul skripsi di Indonesia sering memakai kata "pengaruh". Regresi pada data survei satu waktu dapat menunjukkan bahwa harga berhubungan dengan kepuasan setelah kualitas layanan dan lokasi diperhitungkan, tetapi tidak dapat membuktikan bahwa harga menyebabkan kepuasan. Beberapa alasannya:

• Variabel pengganggu yang tidak diukur. Memasukkan variabel ke model hanya mengendalikan variabel yang diukur, dan hanya sejauh pengukurannya akurat. Misalnya, pelanggan yang berpenghasilan lebih tinggi mungkin menilai harga lebih pantas sekaligus lebih mudah puas.
• Arah sebab yang terbalik. Pelanggan yang sudah puas mungkin menilai layanan dan harga lebih baik (efek halo).
• Bias metode yang sama. Variabel bebas dan terikat diukur dengan kuesioner yang sama, pada waktu yang sama, dari orang yang sama, sehingga sebagian korelasinya dapat berasal dari cara menjawab.
• Seleksi sampel. Responden adalah pelanggan yang datang; orang yang tidak puas mungkin sudah tidak datang lagi.

Klaim sebab-akibat memerlukan desain yang mendukung, misalnya eksperimen dengan penugasan acak, data panel, atau pendekatan kuasi-eksperimen, beserta asumsinya yang dinyatakan terbuka. Bila judul memakai kata "pengaruh", tulis di bagian keterbatasan bahwa desainnya korelasional.

Standar pelaporan penelitian kuantitatif APA (JARS-Quant; Appelbaum dkk., 2018) meminta penulis melaporkan cukup informasi agar pembaca dapat menilai dan mengulang analisisnya. Untuk regresi berganda, ini berarti:

• Ukuran sampel dan alasannya: analisis kekuatan uji, termasuk besar efek yang diasumsikan dan sumbernya.
• Data hilang: berapa banyak, pada variabel apa, dan cara menanganinya (misalnya penghapusan listwise).
• Diagnostik: uji asumsi yang dilakukan, hasilnya, pelanggaran yang ditemukan, dan tindakannya (misalnya HC3).
• Outlier dan responden berpengaruh: kriteria, berapa yang dikeluarkan (bila ada), dan hasil dengan serta tanpa mereka.
• Hasil lengkap: B, galat baku, β, t, nilai p yang pasti (bukan hanya "p < 0,05"), interval kepercayaan 95%, R², R² terkoreksi, uji F, dan besar efek.
• Perangkat lunak dan versinya, serta jenis galat baku yang dipakai.
• Penyimpangan dari rencana analisis, bila ada.

Contoh kalimat untuk data kedua: "Uji Breusch-Pagan menunjukkan heteroskedastisitas, χ²(3) = 17,23, p < 0,001, sehingga inferensi memakai galat baku robust HC3 (Long & Ervin, 2000). Harga berhubungan positif dengan kepuasan, B = 0,381, SE = 0,089, t(146) = 4,27, p < 0,001."

• Tentukan ukuran sampel dengan analisis kekuatan uji sebelum mengumpulkan data; Slovin dan kekuatan uji post hoc bukan penggantinya.
• Bila ada heteroskedastisitas, pakai galat baku HC3: B tidak berubah, galat baku, t, p, dan IK dihitung ulang.
• Cook's distance menunjukkan responden yang paling memengaruhi koefisien; lakukan dan laporkan analisis dengan dan tanpa responden itu, bukan menghapusnya diam-diam.
• Regresi pada data survei satu waktu menunjukkan hubungan, bukan sebab-akibat.
• Laporkan menurut JARS-Quant: alasan ukuran sampel, data hilang, diagnostik dan tindakannya, hasil lengkap dengan interval kepercayaan dan besar efek.