Memastikan Situs Web Dapat Diakses Google | SEO #1

Bagaimana cara optimisasi SEO untuk pemula? Pertanyaan ini seringkali muncul ketika kita pertama kali membuat situs web. Untuk itu, penulis akan membuatkan tutorial berseri untuk membahas cara optimasi yang aman atau whitehat. Mindset dalam optimisasi SEO sebaiknya untuk membuat situs web dapat berfungsi dengan baik, dapat diakses, dan memberikan informasi yang bernilai. Saat ini, optimisasi mesin pencari atau Search Engine Optimization (SEO) adalah hal yang wajib untuk dilakukan apabila seseorang memiliki bisnis online. Untuk itu, bagian pertama dari tutorial SEO ini akan mengulas bagaimana kita memastikan situs web dapat ditelusuri Google, maupun crawler mesin pencari lain; entah itu Yahoo, Bing, atau yang lain.

Daftar isi

Tutorial SEO ini membahas hal-hal teknis yang untuk memastikan situs web dapat ditelusuri Google dengan baik, yaitu: (1) elemen meta robot; (2) peta situs (sitemap.xml); (3) protokol eksklusi robot (robots.txt); (4) perangkat webmaster; dan (5) kesimpulan dan saran.

optimisasi-mesin-pencari-seo
Ilustrasi optimisasi mesin pencari (SEO) | Photo by Alexis Wilke ac is licensed under CC-BY-SA-3.0

Apa itu Elemen Meta Robot (meta name="robots")?

Label atau tag meta adalah label yang menyediakan metadata (informasi tentang data) dokumen HTML. Metadata ini tidak ditampilkan pada halaman yang ditampilkan browser, akan tetapi ada pada source code halaman situs web. Coba klik kanan halaman situs web dan lihat source code-nya, seharusnya akan memiliki format dasar sebagai berikut:

<!DOCTYPE html>
<html>
  <head>
	<title>Tutorial Optimisasi SEO</title>
    <meta name="robots" content="noodp"> <!-- <== periksalah isi content pada meta robots ini -->
  </head>
  <body>
  </body>
</html>

Perhatikan bahwa metadata ada pada bagian kepala dari kode HTML. Meta robots ini ada setelah kode judul (title). Kode ini berfungsi untuk mengendalikan robot/mesin telusur/crawler dari mesin pencari. Secara pengaturan awal, nilai yang diberikan adalah "index, follow" dan tidak perlu dituliskan. Berikut ini adalah beberapa nilai yang dikenali oleh mesin pencari: [1]

  • noindex: halaman ini tidak akan diindeks oleh Google.
  • nofollow: link-link pada halaman ini tidak akan ditelusuri (diikuti) oleh Googlebot.
  • noodp: mencegah Google menampilkan deskripsi situs web alternatif dari ODP/DMOZ.
  • noarchive: mencegah Google menampilkan halaman yang tersimpan dalam cache.

Nah, untuk tahap pertama, kita harus memastikan meta robots situs web tidak memiliki nilai "noindex" dan/atau "nofollow." (kecuali seseorang memang sengaja tidak ingin mengindeks bagian tertentu dari situsnya).

Apa itu Peta Situs (sitemap.xml)?

Peta situs atau sitemap adalah cara yang mudah untuk menginformasikan kepada mesin pencari tentang halaman situs web (URL) yang dapat diakses. Meskipun biasanya mesin telusur telah dapat menelusuri situs web dengan baik, akan tetapi dengan adanya peta situs ini, Googlebot maupun mesin telusur lain dapat mengetahui struktur situs web, prioritas URL, serta mengetahui ketika terjadi pembaruan (update).

Karena Bing, Yahoo, Ask, dan Google menggunakan protokol yang sama, sitemap menjadi hal yang memiliki dampak besar bagi SEO. Menggunakan sitemap berarti memberikan informasi halaman situs web pada empat perusahaan mesin pencari terbesar tersebut. Meskipun demikian, sitemap tidak menjamin situs web akan diindex, tetapi paling tidak merupakan tambahan informasi yang sangat berguna. [2] Berikut ini adalah contoh sitemap pada portal KuBisnis:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
	<url>
		<loc>https://www.kubisnis.com/portal/1/kacamatashop-toko-frame-dan-lensa-kacamata-online</loc>
		<priority>0.15</priority>
	</url>
	<url>
		<loc>https://www.kubisnis.com/portal/tag/bandung</loc>
		<priority>0.4</priority>
	</url>
	<url>
		<loc>https://www.kubisnis.com/portal/kategori</loc>
		<priority>0.5</priority>
	</url>
	<url>
		<loc>https://www.kubisnis.com/portal/</loc>
		<priority>0.75</priority>
	</url>
</urlset>

Untuk membuat peta situs web, kita cukup mengganti isi "loc" dengan URL anda, serta mengganti nilai prioritasnya. Atau kita juga bisa menggunakan sitemap generator untuk membuatkan file xml tersebut.

Apa itu Protokol Eksklusi Robot (robots.txt)?

Protokol Eksklusi Robot atau Robots Exclusion Protocol secara singkat biasa disebut dengan robots.txt. File teks ini akan dikunjungi oleh mesin telusur pertama kali sebelum menelusuri halaman-halaman situs web seseorang. Robots.txt berguna untuk memerintahkan mesin telusur untuk tidak mengakses bagian tertentu dari situs web tersebut. [3] Contohnya pada robots.txt KuBisnis:

User-agent: *
Disallow:

Sitemap: https://www.kubisnis.com/post-sitemap.xml
Sitemap: https://www.kubisnis.com/page-sitemap.xml
Sitemap: https://www.kubisnis.com/portal/sitemap.xml

Snippet kode di atas memberitahukan pada semua mesin pencari (*) untuk mengakses seluruh bagian situs ini. Perhatikan "Disallow:" dapat diisi dengan bagian yang hendak dibatasi; biarkan kosong apabila kita ingin membebaskan mesin telusur. Pada robots.txt anda juga dapat memberikan alamat peta situs pada mesin telusur. Cukup copy-paste kode di atas, ganti dengan URL yang dikehendaki, lalu beri nama dengan robots.txt untuk melengkapi situs web tersebut.

Apa itu Perangkat Webmaster (Webmasters Tools)?

Perangkat Webmaster atau Webmasters Tools adalah perangkat yang wajib digunakan apabila ingin memastikan semua elemen yang sudah dijelaskan di atas dapat berfungsi dengan baik. Berbagai perusahaan mesin pencari besar saat ini telah menyediakan fitur ini dengan gratis. Namun saat ini penulis akan lebih fokus pada Google Search Console (GSC) karena Google memiliki market share mesin pencari terbesar.

Google Search Console memiliki fitur-fitur:

  • Telusuri sebagai Google - Googlebot akan menelusuri situs seseorang dan dapat melakukan rendering. Hal ini membuat ia dapat mengetahui apakah penampilan situs web sesuai antara pengguna dan Googlebot.
  • Unggah URL sitemap.xml - Seseorang dapat mengunggah URL peta situsnya ataupun memeriksa apakah terdapat kesalahan pada peta situsnya.
  • robots.txt Tester - Seseorang dapat menguji apakah robots.txt berfungsi seperti apa yang ia kehendaki.

Kesimpulan dan Saran

Hal-hal di atas terkadang dilupakan oleh para pengelola situs web yang terlalu fokus pada hal-hal yang sulit, padahal hal-hal sederhana di atas sangat berdampak pada peringkat mesin pencari. Bahkan, salah mengaturnya akan membuat situs web tidak dapat diindeks sama sekali.

Untuk anda yang ingin mengamankan sebagian alamat situs web anda karena konten yang sensitif, misalnya pada direktori admin anda, robots.txt bukanlah hal yang tepat digunakan untuk hal seperti ini. Menempatkan bagian sensitif pada robots.txt hanya membuat bagian tersebut tidak diakses oleh mesin telusur "baik," tetapi malah mengundang mesin telusur "buruk." Lebih baik gunakan meta "noindex," sehingga anda hanya memberitahu mesin telusur untuk tidak mengindeks tanpa memberitahu lokasi direktori sensitif anda.

matt-cutts-robots-txt
www.youtube.com/watch?v=KBdEwpRQRD0 | Video by Google Webmasters is licensed under Standard YouTube License

Terlebih lagi robots.txt tidak menjamin URL situs web seseorang tidak diindex oleh google. URL situs webnya masih dapat diindeks oleh google tanpa terlebih dahulu ditelusuri, karena Google dapat menarik data dari ODP/MOZ. Biasanya halaman yang diindeks tanpa diperbolehkan robots.txt akan menampilkan "A description for this result is not available because of this site's robots.txt – learn more." Jadi, gunakanlah meta "noindex" untuk kasus seperti ini. [4]

Referensi
  1. “Tag meta yang dipahami oleh Google,” Google, https://support.google.com/webmasters/answer/79812?hl=id&ref_topic=4617741 (accessed February 2, 2016).
  2. Wikipedia contributors, “Site map,” Wikipedia, The Free Encyclopedia, https://en.wikipedia.org/w/index.php?title=Site_map&oldid=702033046 (accessed February 2, 2016).
  3. “About /robots.txt,” robotstxt.org, http://www.robotstxt.org/robotstxt.html (accessed February 2, 2016).
  4. Schmitz, T., 2013, “Have You Considered Privacy Issues When Using Robots.txt & The Robots Meta Tag?,” Search Engine Land, http://searchengineland.com/have-you-considered-privacy-issues-when-using-robots-txt-the-robots-meta-tag-149732 (accessed February 2, 2016).

Kutip artikel ini:
Kontributor KuBisnis, 2016, https://www.kubisnis.com/memastikan-situs-web-dapat-diakses-google-seo-1/ (diakses pada 10 Dec 2023).

Artikel ini bukan yang Anda butuhkan?
Anda bisa mengirimkan saran pada KuBisnis di akun fb/twitter/google kami di @KuBisnis.
Topik dengan voting komentar terbanyak akan mendapatkan prioritas dibuatkan artikel.

Avatar photo
KuBisnis

Penerbit KuBisnis adalah penerbit artikel bisnis dan kewirausahaan berkualitas. KuBisnis percaya bahwa setelah proyek artikel ini selesai, Indonesia akan menjadi negara yang memiliki banyak entrepreneur! Semua konten tulisan, gambar, dan video pada situs ini adalah hak cipta KuBisnis, kecuali dinyatakan khusus secara tertulis. Hak cipta dilindungi oleh DMCA dan hukum yang berlaku di Indonesia.

Articles: 91