penantian adalah penderitaan.. hehe.. :)…

penantian adalah penderitaan.. hehe..

Daftar bot yg rajin sidak.. kapan naik SERP nya.. penantian adalah penderitaan.. hehe..


Source

4 comments

  1. bayangin aja kalo misal kita pake nya AWS, Azure, GCP, yg dimana biaya bandwidth nya dihitung per GB. bisa bayangin aja kalo banyak bot yg masuk ke web kita brp total yg kita bayar ke provider cloud gara” bot 🤣

  2. Saya biasanya memanfaatkan robots.txt untuk nge-block bot2 yang tak diinginkan. Jika membandel, saya batasi aksesnya dari webserver via rate limiting di Nginx. Kadang dikombinasikan dengan connection limiting. Kalau masih membandel, sekalian bandwidth limiting.

    Soalnya bot2 jahat (non “resmi”) yang reputasinya tidak jelas itu lazimnya mengabaikan aturan yang sudah kita buat di robots.txt. Ya gimana lagi, robots.txt itu kan “fitranya” lebih ke rekomendasi, bukan sebuah fitur filter/block akses.

    Namun begitu, bot2 resmi pun juga tidak selalu bermanfaat. Bot2 “resmi” sematjam bot-nya para SEO tracker/Analytics kayak Moz, Semrush, Ahrefs, MJ, dll. itu sebenarnya tidak berguna bila kondisinya kita tidak memanfaatkan SEO insights dari mereka.

    Dengan mengeblok bot2 dari SEO tracker itu juga membuat web2 kita setidaknya lebih invis di mata para kompetitor atau datanya rawan misleading. Bukan bermaksud bilang kompetitor selalu jahat, bukan begitu. Hanya saja kalau enggak diintip2in itu lebih nyaman.

    Jangankan bot2 resmi/kredibel, bot dari dari Google pun tidak ada salahnya juga dikasih sedikit limit bila memang bikin boros bandwidth. Untuk web yang kontennya sudah ribuan atau puluhan ribu, crawl budget dari Google biasanya sangat2 agresif.

  3. Gak paham langsung mas² lagi bicara soal apaan ya ? Ada tutor gak mas atau blog Dasar soal ini ? Pengen nambah ilmu hehehe

Leave a comment

Your email address will not be published.