Halaman website 404 (not found), harus bagaimana?

Banyak praktisi SEO beranggapan bahwa halaman 404 (not found) merupakan sebuah momok yang menakutkan. Ya memang..

404 akan jadi masalah kalau ternyata halaman tersebut menopang traffic yang cukup besar. Sudah pasti jadi momok beneran buat praktisi SEO.

Sebagian praktisi juga punya jurus yang ‘sak-klek’ saat menghadapi masalah 404.

ada yang bilang “404 itu harus dihilangin dari search console, jadi segera redirect 301 ke homepage aja”

atau “halaman 404 itu error, ngomong ke developernya supaya segera diperbaiki”

Tapi apakah tindakan tersebut sudah tepat? bagaimana seharusnya kita menyikapi masalah halaman 404 ini?

Apa itu 404 (not found)?

Sebelum pertanyaan itu dijawab saya mau sedikit menjelaskan apa itu halaman 404 (not found).

Kalau kita buka wikipedia, disana dijelaskan halaman tidak ditemukan, atau page not found, atau not found adalah sebuah kode standar dari HTTP dalam komunikasi jaringan komputer, yang menandakan bahwa browser dapat mengakses server, akan tetapi server tidak menemukan halaman yang dicari.

sehingga munculah halaman seperti ini :

404 not found google
tampilan not found Google

404 not found localhost
tampilan not found standar localhost

halaman 404 custom detik
tampilan not found custom milik detikcom

404 not found standar
tampilan not found standar

Kenapa bisa ada halaman 404?

Seperti yang sudah dijelaskan sebelumnya, pada dasarnya halaman 404 ini terjadi dikarenakan halaman tersebut tidak ditemukan oleh server.

Namun perlu kita ketahui bahwa ada dua hal yang menyebabkan tidak ditemukannya halaman tersebut, pertama bisa karena URL yang diinput salah, atau kedua halaman yang dimaksud hilang dari database.

Nah hilangnya halaman itu sendiri bisa karena memang sengaja dihapus atau tidak sengaja kehapus, baik itu tidak sengaja karena kesalahan sistem maupun human error (salah nge-klik misalnya).

Bagaimana Google menemukan halaman yang 404?

Ok.. kita sudah mengetahui apa itu 404 dan bagaimana 404 bisa terjadi.. Pertanyaan selanjutnya adalah bagaimana Googlebot menemukan halaman yang 404?

Sebelum mengetahui proses ditemukannya halaman, kita harus paham cara Googlebot menjelajahi (crawling) halaman website.

Singkatnya, Googlebot menjelajahi halaman kita melalui dua cara ; yang pertama melalui sitemap, yang kedua melalui link, baik itu internal maupun external.

Dari sini bisa kita ambil kesimpulan bahwa Googlebot menemukan halaman 404 bisa dari sitemap, atau dari link yang terpasang di halaman website kita (internal) atau website luar (external)

Informasi apa saja yang harus dipastikan sebelum mengambil tindakan?

Sebelum mengambil tindakan tentunya kita harus mengetahui akar masalahnya terlebih dahulu. Karena setiap akar masalah halaman 404 membutuhkan treatment yang berbeda-beda. Bahkan terkadang satu masalah membutuhkan proses yang cukup panjang.

Berikut ini informasi yang harus kita ketahui :

  1. Sumber ditemukannya halaman tersebut. Apakah dari sitemap, internal link atau external link. Jika berasal dari link, dokumentasikan halaman yang mengandung link tersebut.
  2. Kenapa halaman tersebut tidak ditemukan. Apakah sengaja dihapus, tidak sengaja terhapus, kesalahan penulisan URL atau kesalahan sistem

Jika kita sudah mendapatkan data dan faktanya, baru kita bisa menentukan action plannya.

Saya berharap kita semua paham dengan poin-poin ini. Karena pengetahuan ini jadi hal yang paling fundamental dalam pengambilan keputusan.

Tindakan saat menemukan halaman 404

Berdasarkan data informasi yang sudah kita kumpulkan, sekarang kita sudah dihadapkan dengan berbagai macam kombinasi keadaan, mungkin salah satunya menjadi masalah yang kita hadapi saat ini.

Selanjutnya kita tentukan action plan yang tepat untuk masing-masing kondisi.

Action plan untuk 404 yang bersumber dari sitemap :

  1. sitemap mengandung URL yang mengarah ke halaman yang sengaja dihapus :
    • hapus URL dari sitemap,
    • jika sengaja dihapus karena ada update terbaru, pastikan URL halaman baru sudah ada di sitemap lalu redirect 301 halaman lama ke halaman baru,
    • jika halaman sengaja dihapus karena sudah discontinued (tidak relevan dengan kondisi terkini), biarkan tetap 404, namun pastikan tidak ada URL halaman tersebut di sitemap.
  2. sitemap mengandung URL yang mengarah ke halaman yang tidak sengaja terhapus
    • segera aktifkan kembali halaman yang terhapus
  3. sitemap mengandung URL yang mengarah ke halaman yang salah karena kesalahan penulisan URL
    • pastikan halaman yang benar dalam kondisi aktif (code : 200)
    • segera perbaiki penulisan URL di sitemap yang salah
    • terapkan redirect 301 untuk halaman yang salah ke halaman yang benar (jika dianggap perlu untuk mempercepat proses indexing)
  4. sitemap mengandung URL yang mengarah ke halaman yang salah karena kesalahan sistem
    • segera perbaiki kesalahan tersebut (butuh bantuan web developer)
    • pastikan URL yang ada di sitemap sudah benar / aktif. Bisa di test menggunakan tools Screamingfrog, SEMrush, Ahrefs
    • biarkan Googlebot me-recrawl seluruh URL yang ada di sitemap (tidak perlu request indexing satu per-satu)

Catatan :

  • Pastikan seluruh tag <lastmod> di sitemap sudah up-to-date (waktu saat terakhir diupdate)
  • lakukan request indexing untuk setiap URL yang baru saja diaktifkan kembali melalui URL inspection. (kecuali poin 4)

Action plan untuk 404 yang bersumber dari internal atau external link

  1. link yang mengarah ke halaman yang sengaja dihapus
    • jika sengaja dihapus karena ada update terbaru :
      1. pastikan URL halaman baru sudah aktif,
      2. ganti URL lama pada link tersebut menjadi URL yang baru,
      3. redirect 301 halaman lama ke halaman baru,
    • jika halaman sengaja dihapus karena sudah discontinued (tidak relevan dengan kondisi terkini), hapus link tersebut dari halaman yang mereferensikan. atau jika link tersebut berasal dari website external dan tidak bisa dihapus atau diganti, terapkan redirect 301 ke halaman lainnya (umumnya ke homepage).
  2. link yang mengarah ke halaman yang tidak sengaja terhapus
    • segera aktifkan kembali halaman yang terhapus
  3. link yang mengarah ke halaman yang salah karena kesalahan penulisan URL
    • pastikan halaman yang benar dalam kondisi aktif (code : 200)
    • perbaiki penulisan URL yang salah menjadi benar.
    • Jika link berasal dari website external, hubungi pemilik / admin website tersebut untuk memperbaiki URLnya
    • redirect 301 halaman yang salah ke halaman yang benar (jika dianggap perlu untuk mempercepat proses indexing)
  4. link yang mengarah ke halaman yang hilang karena kesalahan sistem
    • segera minta perbaikan pada sistem (butuh bantuan web developer). Jika link berasal dari website external, hubungi pemilik / admin website tersebut untuk melakukan perbaikan.
    • pastikan seluruh link sudah mengarah ke halaman yang benar. Untuk internal link bisa di test menggunakan tools Screamingfrog, SEMrush, Ahrefs. Jika berasal dari external link bisa ditest satu persatu secara manual.
    • biarkan Googlebot me-recrawl seluruh halaman website secara natural. (tidak perlu request indexing satu per-satu)

Kesimpulan

Kita tidak bisa membantah kalau data 404 (page not found) merupakan hal yang perlu jadi perhatian khusus para praktisi SEO. Kita juga tidak bisa mengabaikan masalah ini hanya karena munculnya di bagian “excluded” pada data coverage GSC.

Yang pasti, tidak semua masalah 404 bisa di treatment dengan cara yang sama. Ada kondisi dimana kita harus mengetahui akar permasalahannya sebelum menentukan action plan.