Unit 2: Garis terbaik

Regresi berganda adalah perluasan dari gagasan yang sederhana: menarik garis lurus yang paling dekat dengan titik-titik data. Unit ini membahas gagasan itu dengan satu variabel bebas, agar semuanya dapat dilihat di bidang datar. Dengan beberapa variabel bebas, gagasannya sama.

Kita memakai data latihan kedai kopi: kepuasan pelanggan (Y) dan kualitas layanan (X1) dari 150 responden, keduanya skor rata-rata item Likert 1–5.

Garis regresi ditulis

Ŷ = a + bX

dengan a sebagai konstanta (nilai Ŷ ketika X = 0) dan b sebagai kemiringan (perubahan Ŷ untuk setiap kenaikan X sebesar 1). Tanda topi pada Ŷ menandai nilai prediksi, bukan nilai yang diamati.

Pada data latihan, regresi kepuasan pada kualitas layanan saja menghasilkan:

Ŷ = 1,750 + 0,470 × X1

Untuk pelanggan dengan skor kualitas layanan 4, prediksinya 1,750 + 0,470 × 4 = 3,630.

Prediksi ini adalah perkiraan rata-rata kepuasan pelanggan dengan X1 = 4, bukan kepastian untuk setiap orang. Di data latihan ada 11 pelanggan dengan skor kualitas layanan tepat 4, dan kepuasan mereka berkisar dari 1,50 sampai 4,50.

Pakailah garis hanya di dalam rentang data. Skor kualitas layanan di data latihan berkisar 1,25–5; hubungan yang tampak lurus di rentang ini belum tentu tetap lurus di luar rentang itu. Memakai garis jauh di luar rentang data disebut ekstrapolasi, dan hasilnya tidak dapat dipercaya.

Residual adalah selisih antara nilai yang diamati dan nilai prediksi:

e = Y − Ŷ

Salah satu responden di data latihan memiliki X1 = 4 dan kepuasan Y = 4,5. Residualnya 4,5 − 3,630 = 0,870: ia lebih puas 0,870 poin daripada yang diperkirakan garis. Titik di atas garis memiliki residual positif, titik di bawah garis residual negatif.

Residual diukur tegak, searah sumbu Y, bukan tegak lurus ke garis. Alasannya, yang ingin kita prediksi adalah Y.

Garis mana yang "terbaik"? Gagasan pertama yang muncul biasanya: garis yang jumlah residualnya paling kecil. Masalahnya, residual positif dan negatif saling menghapus. Setiap garis yang melewati titik (rata-rata X, rata-rata Y) memiliki jumlah residual nol, sekalipun garisnya miring ke arah yang salah.

Karena itu residual dikuadratkan dulu, lalu dijumlahkan. Garis yang jumlah kuadrat residualnya paling kecil disebut garis kuadrat terkecil, atau garis OLS (ordinary least squares). Untuk satu variabel bebas, rumusnya:

b = Σ(X − X̄)(Y − Ȳ) / Σ(X − X̄)², dan a = Ȳ − bX̄

Akibat rumus kedua, garis OLS selalu melewati titik (X̄, Ȳ). Pada data latihan, X̄ = 3,435 dan Ȳ = 3,365.

Pengkuadratan membuat residual besar sangat "mahal": residual 2 menyumbang 4, residual 3 menyumbang 9. Akibatnya, satu titik yang jauh dari pola (outlier) dapat menarik garis OLS cukup jauh. Karena itu, lihat selalu diagram pencar sebelum menafsirkan garis. Outlier tidak boleh dihapus hanya karena mengganggu hasil; cara menanganinya dibahas di Unit 6 dan Unit 9.

Geser konstanta dan kemiringan untuk mencari garis dengan jumlah kuadrat residual sekecil mungkin. Garis putus-putus adalah garis OLS. Setelah itu, tambahkan satu outlier dan perhatikan garis OLS-nya.

Seberapa pun kamu mencoba, jumlah kuadrat residual garismu tidak akan lebih kecil daripada garis OLS. Perhatikan juga betapa jauh satu outlier menggeser garis OLS.

Korelasi kualitas layanan dengan kepuasan di data latihan r = 0,483, sedangkan kemiringannya b = 0,470. Angkanya mirip, tetapi artinya berbeda:

Keduanya terhubung oleh b = r × (s_Y / s_X), dengan s simpangan baku. Pada data latihan, s_Y = 0,785 dan s_X = 0,807, sehingga b = 0,483 × 0,785 / 0,807 = 0,470. Angka r dan b mirip di sini hanya karena simpangan baku kedua variabel hampir sama.

Kuadrat korelasi, r² = 0,233, adalah proporsi variasi kepuasan yang dijelaskan garis ini (R², Unit 5). Jadi r = 0,483 tidak berarti 48,3% variasi kepuasan dijelaskan.

Baik r maupun b menggambarkan hubungan. Keduanya tidak membuktikan bahwa kualitas layanan menyebabkan kepuasan.

• Garis regresi Ŷ = a + bX memberi prediksi rata-rata Y untuk nilai X tertentu, dan hanya layak dipakai di dalam rentang data.
• Residual e = Y − Ŷ diukur tegak, searah sumbu Y.
• Garis OLS adalah garis dengan jumlah kuadrat residual terkecil; garis ini selalu melewati (X̄, Ȳ).
• Karena residual dikuadratkan, satu outlier dapat menarik garis OLS jauh dari pola data lainnya.
• Kemiringan b bersatuan dan menjawab "berapa perubahannya"; korelasi r tanpa satuan dan menjawab "seberapa erat".