Crawling adalah salah satu proses penting dalam SEO. Tanpa adanya proses ini, kontenmu gak mungkin bisa terindeks dan muncul di SERP.
Tapi, tiap website punya batasan atau “jatah” crawlingnya sendiri-sendiri. Hal ini bisa kita sebut dengan istilah crawl budget.
Nah, seberapa penting hal ini bagi SEO?
Daripada penasaran, yuk langsung saja kita bahas tuntas tentang crawl budget!
Belajar Apa Kita Hari Ini?
Apa Itu Crawl Budget?
Crawl budget adalah anggaran atau jumlah halaman yang Googlebot crawl dan index dalam jangka waktu tertentu pada sebuah website.
Nah, setiap website punya budget atau jatahnya sendiri-sendiri untuk memperoleh proses crawl dari Googlebot.
Jatah yang sebuah website miliki tergantung beberapa faktor – otoritas dan skala website.
Crawl Budget bagi SEO, Apakah Penting?
Sebetulnya, crawl budget bukanlah faktor penentu ranking website di SERP. Tapi, perannya penting banget dalam performa SEO secara keseluruhan.
Kenapa?
Nah, coba ingat-ingat lagi gimana cara kerja search engine Google – crawling, indexing, dan ranking.
Kalau proses crawlingnya saja gak bener, proses indexing dan ranking juga gak mungkin bisa berjalan secara optimal.
Kalau sudah begitu, akan susah banget untuk website bisa muncul di SERP dan dapat traffic yang memuaskan.
Crawl budget yang efektif tentu akan ngebantu Google saat crawling di websitemu – sehingga kontenmu bisa terindeks secara optimal.
Itulah alasan kenapa crawling budget itu penting banget.
Cara Kerja Crawl Budget
Sekarang, kita flashback sebentar tentang proses crawling.
Crawling bertujuan untuk mengenali pages yang ada di suatu website sebelum diindex oleh Google. Proses ini dilakukan oleh crawler.
Selain mengenali pages baru, proses crawling juga mengunjungi pages lama yang sudah pernah crawler datangi sebelumnya. Tujuannya untuk mengecek apakah ada update atau tidak.
Nah, selama proses crawling ini, crawler ngelakuin prioritas – pages apa yang seharusnya dicrawl dan kapan proses itu berjalan.
Google memiliki dua formula untuk menentukan prioritas crawl budget – crawl demand dan crawl rate limit. Apa itu?
- Crawl Demand – jumlah permintaan untuk melakukan indexing ke halaman yang punya traffic tinggi (popularitas website).
- Crawl Rate Limit – jumlah permintaan akses data maksimal pada website dalam waktu tertentu. Limit ini bertujuan agar websitemu gak lemot.
Tapi, Google sendiri bilang kalau kamu gak perlu pusingin crawl budget ini – kalau websitemu masih kecil dan proses crawling bisa berjalan cepat.
Nah, kamu perlu pikirin crawl budget kalau.
- Ukuran situs besar (lebih dari satu juta pages) dengan konten yang sering berubah (tiap minggu).
- Ukuran situs sedang (lebih dari 10 ribu pages) dengan perubahan konten yang sangat sering (tiap hari).
- Banyak pages yang terlapor sebagai Discovered – currently not indexed di Google Search Console.
Cara Cek Proses Crawling Website
Kamu bisa cek aktivitas crawling yang terjadi di websitemu di Google Search Console. Selain itu, kamu juga bisa cek masalah yang sedang terjadi saat crawling.
Berikut adalah tahapan untuk cek proses crawl website di Google Search Console, yaitu:
- Buka Google Search Console, klik “Settings”.

- Setelah itu, klik “Crawl stats”.

- Nah, setelah itu kamu bisa lihat total crawl request, ukuran download, dan rata-rata waktu responnya.

- Selain itu, kamu juga bisa tahu respon, jenis file, tujuan crawling, dan tipe Googlebot yang crawling ke websitemu.

Faktor yang Mempengaruhi Crawl Budget
Ada beberapa faktor yang mempengaruhi crawl budget suatu website secara keseluruhan. Apa saja?
1. Session Identifiers
Session identifiers mengacu ke beberapa URL yang mengarah ke halaman yang sama. Biasanya, URL ini banyak terdapat di e-commerce.
Misalnya, ada orang jualan hoodie dengan 5 jenis warna – hitam, putih, kuning, krem, dan hijau.
Nah, masing-masing warna itu punya URLnya sendiri-sendiri, meskipun cuma beda di warna saja. Konsep ini bisa kita sebut sebagai URL kanonis dan URL duplikat.
Contoh URLnya akan seperti ini:
- www.jualfashionberkualitas.com/hoodie-merk-A (canonical).
- www.jualfashionberkualitas.com/hoodie-merk-A?id=1 (duplikat).
- www.jualfashionberkualitas.com/hoodie-merk-A?id=2 (duplikat).
- www.jualfashionberkualitas.com/hoodie-merk-A?id=3 (duplikat).
- www.jualfashionberkualitas.com/hoodie-merk-A?id=4 (duplikat).
URL yang banyak ini akan membuat crawl budget jadi gak efektif.
Alasannya, karena crawler akan pakai banyak waktu dan sumber daya untuk ngecrawl semua halaman. Apalagi, isi dari semua pages itu sebenarnya sama saja.
Faceted navigation adalah fitur yang juga sering kamu temukan di e-commerce.
Kalau kamu pernah lihat fitur filter yang ada di sebelah page, nah itu adalah faceted navigation.
Setiap kombinasi filter tersebut akan menghasilkan URL yang berbeda-beda. Makin banyak kombinasi filternya, makin banyak URLnya. Nah, hal ini bikin ada banyak konten duplikat.
Selain itu, hal ini juga bisa menyebabkan adanya kemungkinan keyword cannibalization.
3. Website yang Kena Hack
Website yang kena hack (retas) bisa merusak arsitektur website. Tentu hal ini bisa membuat crawl budget gak efektif.
4. Soft Error
Halaman yang mengalami soft error (soft 404) bisa bikin alokasi crawl di website jadi gak efektif.
Soft 404 terjadi saat server website ngasi respon 200 (OK) terhadap page yang aslinya gak ada.
Nah, respon yang salah ini bisa bikin crawler mengalokasikan sumber dayanya ke page soft 404 ini. Itulah yang membuat alokasi crawl jadi gak efektif.
5. Infinity Spaces
Infinity spaces adalah istilah yang merujuk pada tautan dalam jumlah besar, tapi jumlah kontennya sedikit.
URL dalam jumlah banyak tentu perlu banyak sumber daya juga untuk crawlingnya. Nah, kalau URL banyak tapi konten dikit, tentu crawl budget jadi gak efektif.
Pagination dalam SEO: Pengertian, Manfaat, dan Tips Penerapannya
Cara Optimasi Crawl Budget
Kamu memang gak perlu terlalu mikirin crawl budget kalau websitemu masih skala kecil.
Tapi, kalau sudah besar, kamu harus tahu cara optimasinya agar proses crawling bisa optimal. Gimana caranya optimasi crawl budget?
1. Pastikan Kecepatan Website Stabil
Cara optimasi pertama adalah dengan memastikan kecepatan website stabil. Situs yang cepat bisa ningkatin pengalaman audiens dan crawl rate.
Kamu bisa melakukan optimasi ukuran gambar, video, animasi, dan ngurangin plugin yang berlebihan untuk naikin kecepatan website.
2. Internal Link
Internal link juga bisa membuat proses crawling lebih efektif. Adanya internal link ini bisa ngarahin crawler untuk mengakses URL yang kamu cantumkan.
Pastikan untuk menggunakan URL yang relevan dan valuable sebagai internal link.
3. Update Sitemap secara Rutin
Sitemap adalah peta yang memuat informasi URL apa saja yang ada di dalam website.
Nah, sitemap ini bisa membantu crawler untuk memahami isi dari websitemu secara keseluruhan. Jadi, update sitemap secara berkala agar penggunaan crawl budget jadi lebih efektif.
Selain itu, hindari juga untuk masukin pages yang kamu gak mau index.
4. Kurangi Redirects
Redirects adalah usaha pengalihan halaman website, baik untuk sementara ataupun permanen.
Misalnya, kalau kamu punya halaman yang sedang dalam proses perbaikan atau perubahan besar-besaran, kamu bisa menggunakan pengalihan sementara (302 redirect).
Tapi, kalau kamu punya halaman yang dihapus, maka kamu bisa memerintahkan pengalihan permanen (301 redirect).
Redirects ini memang bagus untuk pengalaman audiens dan SEO karena mencegah adanya halaman 404 atau broken links.
Tapi, salah satu dampak dari redirects yaitu bertambahnya sumber daya yang crawler perlukan untuk crawling di situsmu.
Apalagi kalau ada banyak banget URL yang redirect, tentu ini membuat crawl budget jadi gak efektif.
Kamu harus menggunakan peritah redirects ini dengan bijak. Gunakan jika kamu benar-benar perlu.
Selain itu, mempelajari status HTTP juga bisa membantumu dalam meningkatkan performa SEO, termasuk crawl budget ini.
5. Kurangi Broken Links
Selain itu, broken links yang dibiarkan juga bisa bikin alokasi crawling terbuang sia-sia. Sudah gak efektif, berdampak negatif untuk audiens dan SEO pula.
Broken links ini berasal dari migrasi website, halaman yang ganti URL, ataupun konten yang sudah dihapus.
Cara agar gak banyak broken links di website yaitu dengan mempertimbangkan apa tujuan dari pembuatan page tersebut.
Kamu harus tahu tujuan pembuatan page tersebut agar kontennya valuable dan bermafaat bagi audiens.
Simpelnya, jangan buat page yang “nyampah”.
6. Pakai Robots.txt
Cara keenam yang bisa kamu lakukan untuk optimasi crawl budget adalah dengan memakai robots.txt.
Dalam sebuah website, ada beberapa halaman yang sebaiknya gak perlu dicrawl – halaman admin, halaman login, atau halaman terima kasih.
Kamu bisa memerintahkan robots.txt untuk memblokir atau disallow crawler untuk crawling di halaman tersebut.
Berikut adalah contoh disallow dari robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /login/
Disallow: /thankyou-page/
7. Pantau Google Search Console
Memantau Google Search Console secara rutin adalah cara terakhir untuk optimasi crawl budget.
Melalui GSC, kamu bisa tahu perkembangan jumlah halaman yang sudah terindeks dan belum terindeks.
Selain itu, kamu juga akan tahu alasan kenapa ada halaman yang belum terindeks. Nah, dari alasan itulah kamu bisa melakukan perbaikan.
Optimasi Crawl Budget untuk SEO yang Optimal!
Crawling adalah tahap pertama dalam kerja search engine. Tahap ini bertujuan untuk mengenal isi konten dari setiap page di dalam website.
Namun, search engine juga punya keterbatasan dalam melakukan crawling. Gak semua pages bisa dicrawl dalam sekejap.
Maka dari itu, search engine menerapkan “jatah” atau alokasi dalam proses crawling. Nah, jatah ini bisa kita sebut crawl budget.
Crawl budget ini harus kita perhatikan agar page yang valuable dan penting saja yang masuk ke proses crawling.
Kalau gak kita perhatikan, maka proses crawling jadi gak efektif dan justru page yang kurang berkualitas yang dicrawl oleh mesin pencari. Tentu, hal ini nantinya akan ngaruh ke optimasi SEO.
Yuk, lakukan optimasi crawl budget biar alokasinya gak terbuang sia-sia!
Kamu ada saran, kritik, atau ide pembahasan? Yuk, tulis saja di kolom komentar!
Sampai jumpa di artikel berikutnya!
Referensi
https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget
https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot
https://backlinko.com/hub/seo/crawl-budget
https://www.semrush.com/blog/crawl-budget/
https://badr.co.id/crawl-budget-adalah/
https://www.dailyseo.id/on-page/technical/apa-itu-crawl-budget-pentingkah-bagi-seo/