【Google検索に掲載されやすく】robots.txt 書き方見方設定方法 SEO ガイド

2022年4月19日
2022年3月24日
seo
google, SEO, SEO対策, コンテンツ作成, web制作, 初心者向け

robots.txtはGoogleなど検索エンジンの巡回（クロール）を制御する役割を持ちます。このrobots.txt（ロボッツ・テキスト）の書き方、設定方法を解説します。特定ページへのクロールを制御するrobots.txtというファイルを知っておくと、SEO対策にも好影響をもたらすことが可能です。

robots.txtで、検索エンジンのクローラーの巡回を制御して、ホームページにアップロードして、ページごとのクロール頻度をコントロールしましょう。

robots.txtで、重要ではないコンテンツのクロールを制御することで、本来アクセスしてほしい、コンテンツへの適切なクロールを強化しましょう。この行為をクロールを最適化するといいますが、このクロールの最適化は、SEOで、プラスになります。

SEOでの集客を強化したいWebマーケッター、web広告代理店、web制作会社、デジタルメディアの担当者は、robots.txtの書き方、設定方法を理解しておくと便利ですよ。

今回は、robots.txtについて、まとめて、robots.txtの書き方、設定方法の理解を少しでもしてもらえるといいな！と思っています。

1 robots.txt とは
- 1.1 そもそもクローラーとは
2 robots.txt 設定するとできること
3 robots.txt SEO 効果
4 robots.txt 書き方解説動画
5 robots.txt noindex 違い
6 robots.txt 書き方サンプル
7 robots.txt 確認方法
8 robots.txt 設定方法設置場所
9 まとめ robots.txt 書き方見方設定方法把握でより効率的な SEO 集客を！
10 おすすめ SEO対策関連記事

robots.txt とは

Google 検索セントラル robots.txt の概要
 https://developers.google.com/search/docs/advanced/robots/intro?hl=ja

robots.txtとは、検索エンジンに掲載してほしくない、あまり、情報として収集されたくないコンテンツをクロールされないように制御するファイルです。

robots.txt ファイルを記載して、自社サイト、自社ブログにアップロードすることで、Googleなどの検索エンジンのクローラーを、重要なコンテンツに対して、クロールさせることが可能になります。

概念上、robots.txtは、Googleなど検索エンジンに対しての宣言になるもので、robots.txtがあることで、見て欲しくないコンテンツ、ファイルはこれ！と告知して、逆に、見て欲しいコンテンツ、ファイルを浮き彫りにさせるかんじです。

従来からあるもので、robots.txt 自体は、昔から、設定しておいた方がいいよ～といわれてきたものの、放置しているweb担当者も多いのが現実です。

しかし、robots.txt は、近年では、その価値がどんどん高まっています。

それは、サイトとページの結びつきがより密接になってきているからです。

ホームページ全体が、スマホについて語っている場合、そのサイトで、りんごについての解説記事を書いても、コンテンツとしては、価値が薄くなります。検索エンジン側も、権威性を重視して、こういう点を評価するようになってきているからです。

そもそもクローラーとは

クローラーとは、Googleなど、システム・ロボットによって、情報を収集している検索エンジンが、インターネットで、各htmlやphp、画像などファイルを収集するためのプログラムです。

このロボットの収集した情報を元に、目次が作られて、検索ランキングができあがります。要するに、検索エンジンのデータベースの情報を集めてくるシステムです。

このロジックがすごいのもありますが、収集する情報を的確に精査して、その情報を適切に表現する方法がSEO対策の1つですね。

robots.txt 設定するとできること

robots.txtを設定すると、

ページのクロールをブロック
ディレクトリ配下のクロールをブロック

どちらもできるようになります。

これによって、重要度の低いページ、コンテンツ、どちらに対しても、検索エンジンからのクロールをブロックすることが可能です。

robots.txt SEO 効果

robots.txtのSEO効果を、端的に記載すると、自社ホームページ、自社ブログで、重要なコンテンツへのクロールを促進します。これによって、ユーザー、消費者にとって、価値あるコンテンツへの検索ロボットのアクセスが増え、コンテンツの更新や、情報の伝達スピードがアップします。その結果、重要なコンテンツにおける、SEOでの改善が進むようになるわけです。

前述したように、robots.txtは、重要でないコンテンツへのクロールを制御するので、そうではないコンテンツ、制御されていないコンテンツへのクロール頻度が増える！という点が、SEOへの好影響になるのです。

この点をしっかりと把握しておくと、更新のないコンテンツは、robots.txtで、クロール制御しなくなりますが、更新がなくても、検索ユーザーにとって、ニーズのあるコンテンツは、robots.txtで制御すると、もったいないので、そこはご注意ください。

robots.txt 書き方解説動画

robots.txt 書き方について、解説している動画をご紹介します。robots.txtの書き方は、ある意味では、わかりにくいものだと思います。なぜなら、構文的な話が多く、抽象的だからです。

そこで、音声やイメージ図で、robots.txtの書き方などを理解してもらった方がわかりやすいのでは？と感じて、robots.txtの書き方を紹介するYoutube動画をご紹介します。

さらっと、Youtubeでロボッツテキストの紹介をされていますね！

この動画では、robots.txtの書き方を紹介しつつ、robots.txtとは、こういうものなんだな！というイメージを解説してくれています。robots.txtは、目に見えて、コンテンツのように文字化されるものではないので、全体像、概要の把握が大事です。robots.txtの書き方について、参考までに視聴してみてくださいね。

robots.txt noindex 違い

robots.txtとnoindexの設定は、似ていますが、実は違うので、解説します。

noindexは、特定ページが検索エンジンのクローラーにインデックスされないように指示を送るメタタグで、クロールはしてください！といっているのです。

そのため、noindexはクロールされるため、サイトの規模によってはクロールバジェット（1つのサイトに対してクロールできる上限数）を無駄に消費してしまいます。

それゆえ、noindexよりも、robots.txtでの制御が重要になるのです。

robots.txtを設定している場合は、クローラーの巡回を制御していて、クローラー自体が来ないようになっています。そのため、webページは公開されていますし、検索結果にも表示される可能性はあります。

しかし、noindexタグの設定されているページは検索エンジンから評価されないので、検索結果に表示されなくなります。

noindexタグは、<head>内のメタタグで、noindexタグを記述して設置が可能です。

ただ、クロールバジェットは、大量なページ数がない場合は、そこまで気にする必要はないのだそうですが、はたして。

robots.txt 書き方サンプル

robots.txtの書き方をまとめていきます。

robots.txtのサンプルです

User-agent: *
Disallow: /sss
Allow: /sss/index.php
Sitemap: https://xxxx.com/sitemap.xml

robot.txt 見方として、各項目をまとめていきます！

User-Agent ユーザーエージェント

User-Agentは、クローラーを指定する項目で、

すべてのクローラーを対象とする「＊（半角アスタリスク）」を入れてください。

以下例ですが、個別の場合は、

PC用スマホ用 Googlebot：Googlebot

AdSense クローラー：Mediapartners-Google

画像用 Googlebot：Googlebot-Image

といった感じでの指定になります。

robot.txt Disallow

Disallowは、英語の言葉の意味通り、許さないので、クロールを制御するページやディレクトリを指定する項目になっています。

robot.txt Allow

Allowは、逆に許すので、クロールしていいよ！というファイルや、フォルダを指定します。ただし、基本的には、Disallowで指定しているディレクトリ配下のディレクトリや特定ページへのクロールを許可しますよ！という使い方で利用します。

いわゆる、例外処理の立ち位置が、Allowです。

robot.txt Sitemap

Sitemapは、robots.txtファイルの対象となるWebサイトの場所を明示するためのもので、基本的には、サーチコンソールから、送るためにも設置しておいた方がいいファイルですね。

このSitemapで指示することで、クローラーが早くサイトを巡回してくれる可能性が高まりますので、ぜひ、robots.txtでは、入れておきたい項目です。

なお、robots.txtで、Sitemapは省略可能です。書かなくてもいい項目ではあります。

robots.txt 確認方法

robots.txtは、サーチコンソール？で、確認する方法があります。昔は、サーチコンソールのメニューにツールへの導線があったのですが、2022年3月1日時点では、なくなってしまっているようです。

参考）サーチコンソールヘルプ
 robots.txt テスターで robots.txt をテストする
 https://support.google.com/webmasters/answer/6062598?hl=ja

さっそく、このrobots.txt 確認方法となる、robots.txt テスターについての活用手順です。

Google Search Consoleへアクセス
robots.txt テスター
 https://www.google.com/webmasters/tools/robots-testing-tool
プロパティを選択
robots.txtを入力

というかんじで、robots.txt を確認できます。

昔のツールなので、UIは、ちょっと懐かしい感じしますね。

robots.txt 設定方法設置場所

robots.txtの設定方法を解説します。

robots.txtは、作成後、対象ドメインの最上位にファイルを置くようにしましょう。

robots.txtはルートドメインにアップしないと動きません。

http://XXX.com/robots.txt

というかんじで設定してください。

なお、robots.txtは、その内容が反映されるまでに1～2週間くらい時間がかかるので、思いついた時には、やっておいた方がいいものになります。

まとめ robots.txt 書き方見方設定方法把握でより効率的な SEO 集客を！

robots.txtについて解説しつつ、robots.txtの書き方、見方、設定方法について、解説してきました。robots.txtを活用することで、SEO対策による、webサイトへの集客を強化していきましょう！やはり、Googleなどの検索エンジンからの自然流入は、CVにもつながりやすいので、検索インデックス数を増やして、検索結果からのアクセス数を伸ばしていくことは大事です。

robots.txt 確認方法についても解説してみました！

当然ですが、自社サイトのコンテンツもアップデート、改善が重要です。キーワードの選定から、検索意図を考え、コンテンツを作っていきましょう。

コンテンツ公開後の検索エンジンへのインデックスは、ここで、紹介した、robots.txtなどで制御していくといいと思います。

検索エンジンの動向を分析しつつ、コンテンツマーケティングをしっかりと行えるように、SEOの理解を深めておくことが大事ですね。

robots.txt 有効活用していきましょう。

【簡単】Google広告コンバージョンタグ GTM タグマネージャー設定方法

【Google検索に掲載されやすく】robots.txt 書き方見方設定方法 SEO ガイド