Pasti banyak orang yang salah kaprah tentang url yang dicekal. Banyak orang mungkin berpikir ketika melihat status url yang dicekal di halaman Alat Webmaster - URL yang Dicekal ternyata banyak sekali jumlahnya, sehingga pikirannya jadi tidak tenang dan selalu ingin mencari tahu kenapa url di blognya dicekal oleh robot google. Dan yang ada di pikirannya adalah artikel mana yang dicekal padahal sebenarnya yang dicekal itu bukan url postingan.
Apa yang dimaksud dengan url yang dicekal ? jawabannya url yang dicekal adalah url yang tidak boleh diakses oleh file robots.txt sehingga konten tadi tidak akan diakses oleh Google atau mesin telusur lainnya.
Secara default settingan file robots.txt google adalah seperti gambar di bawah ini :
Dari settingan di atas bisa kita baca :
/
Garis miring di atas bisa kita anggap sebagai url homepage shizenku.blogspot.com
Tetapi jika tanpa garis miring seperti di bawah ini berarti ditujukan untuk semua url termasuk url homepage shizenku.blogspot.com :
Disallow:
Allow:
Jadi jika ada kode setelah kode / seperti di bawah ini :
Disallow: /search
Artinya : tidak memperbolehkan merayapi url blog yang diikuti dengan search
contoh :
http://shizenku.blogspot.com/search/label/Tutorial
http://shizenku.blogspot.com/search/label/Games
http://shizenku.blogspot.com/search/label/Seo
dan lain-lain.
Fungsi kode Disallow: /search yang ada di settingan robots.txt yaitu untuk mencegah robot google merayapi url label dan archieve karena biasanya url label dan archive diawali dengan /search. Maka dari itu kalian jangan pernah mengutak-atik settingan robots.txt jika kalian belum paham bagaimana cara membaca settingan tobots.txt, saran dari saya yaitu biarkanlah settingan robots.txt berada di settingan default saja. Dan jangan pernah menghilangkan kode search dan merubahnya menjadi Disallow: jika kalian melakukan hal ini maka yang baru saja kalian lakukan adalah kesalahan fatal, kalau tidak percaya silahkan tunggu sebulan dan silahkan cek di Tampilan penelusuran > Penyempurnaan HTML maka akan ada banyak sekali duplikat karena label dan archieve terindex. Silahkan cek di URL yang Dicekal jika ada jumlahnya itu malah bagus, lain halnya jika jumlahnya nol berarti semua url terindex termasuk url label dan archieve. Dan hasilnya banyak duplikat. Google sangat sensitif dengan yang namanya duplikat.
Intinya adalah url yang dicekal hanyalah menunjukkan jumlah url yang dicekal di situs kita, jadi tidak terlalu membahayakan situs kita. Apakah kalian sudah paham atau malah masih bingung ? jika sahabat blogger merasa belum paham dan masih bingung, silahkan mengirim komentar melalui kolom komentar di bawah sendiri.
Salah kaprah tentang URL yang dicekal
Pasti banyak orang yang salah kaprah tentang url yang dicekal. Banyak orang mungkin berpikir ketika melihat status url yang dicekal di halam...
Apa yang dimaksud dengan url yang dicekal ? jawabannya url yang dicekal adalah url yang tidak boleh diakses oleh file robots.txt sehingga konten tadi tidak akan diakses oleh Google atau mesin telusur lainnya.
Secara default settingan file robots.txt google adalah seperti gambar di bawah ini :
Dari settingan di atas bisa kita baca :
/
Garis miring di atas bisa kita anggap sebagai url homepage shizenku.blogspot.com
Tetapi jika tanpa garis miring seperti di bawah ini berarti ditujukan untuk semua url termasuk url homepage shizenku.blogspot.com :
Disallow:
Allow:
Jadi jika ada kode setelah kode / seperti di bawah ini :
Disallow: /search
Artinya : tidak memperbolehkan merayapi url blog yang diikuti dengan search
contoh :
http://shizenku.blogspot.com/search/label/Tutorial
http://shizenku.blogspot.com/search/label/Games
http://shizenku.blogspot.com/search/label/Seo
dan lain-lain.
Fungsi kode Disallow: /search yang ada di settingan robots.txt yaitu untuk mencegah robot google merayapi url label dan archieve karena biasanya url label dan archive diawali dengan /search. Maka dari itu kalian jangan pernah mengutak-atik settingan robots.txt jika kalian belum paham bagaimana cara membaca settingan tobots.txt, saran dari saya yaitu biarkanlah settingan robots.txt berada di settingan default saja. Dan jangan pernah menghilangkan kode search dan merubahnya menjadi Disallow: jika kalian melakukan hal ini maka yang baru saja kalian lakukan adalah kesalahan fatal, kalau tidak percaya silahkan tunggu sebulan dan silahkan cek di Tampilan penelusuran > Penyempurnaan HTML maka akan ada banyak sekali duplikat karena label dan archieve terindex. Silahkan cek di URL yang Dicekal jika ada jumlahnya itu malah bagus, lain halnya jika jumlahnya nol berarti semua url terindex termasuk url label dan archieve. Dan hasilnya banyak duplikat. Google sangat sensitif dengan yang namanya duplikat.
Intinya adalah url yang dicekal hanyalah menunjukkan jumlah url yang dicekal di situs kita, jadi tidak terlalu membahayakan situs kita. Apakah kalian sudah paham atau malah masih bingung ? jika sahabat blogger merasa belum paham dan masih bingung, silahkan mengirim komentar melalui kolom komentar di bawah sendiri.
Pasti banyak orang yang salah kaprah tentang url yang dicekal. Banyak orang mungkin berpikir ketika melihat status url yang dicekal di halam...
