robots.txtとは、検索エンジンのクローラー(自動でウェブページを読んで収集するシステムです)がそのサイトの情報を収集する際に様々な指定を読み込むための設定ファイルです。上記の名称で、ウェブサイトのトップディレクトリに置いておくと、GoogleやYahoo,Bingなどの検索エンジンが読み込み、あなたのウェブサイトの情報を指定通りに収集してくれます。
今回は、SEO上有利になるように基本的なrobots.txtの記載方法を解説いたします。
検索エンジンが無駄な情報を読むのをrobots.txtで抑制しよう
検索エンジンは、そのサイトに迷惑が掛からないように高速でページを収集することを避けます。このため、一日にクロールする容量を制限している場合が多く、無駄なページがクロールされていると新しい記事を書いたり、過去の記事を修正したりしてもなかなかその部分をクロールしてくれないという事態になります。このため、下記のようにrobots.txtに記載して無駄なページを読まないようにしましょう。
下記のようにrobots.txtに記載します。
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /xmlrpc.php Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /trackback/ Disallow: */trackback Disallow: /comments Disallow: */comments
最初の行は、すべての検索エンジンを許可するという意味です。その後に続く行がクロールしなくてもよいフォルダや、ファイルを指定しています。
コメントを検索エンジンが読むようにしたい場合は、最後の2行は必要ありません。
より厳しく設定したい場合には？
タグページやRSSフィードも読み込ませたくない場合は下記も追記します。
Disallow: /tag/ Disallow: */tag Disallow: /feed/ Disallow: */feed
サイトマップの位置を指定しよう
次にウェブサイトのサイトマップを生成し(プラグインで作成可能です)そのURLを記載しておくと、クローラーがより効率的にサイトの情報を収集してくれます。
下記のように追記します
Sitemap: http://example.com/sitemap.xml
http://example.com/sitemap.xmlの部分はあなたのウェブサイトのサイトマップの場所に書き換えてくださいまし。複数ある場合はいくつでも行を増やして記載してもかまいません。
WordPress(ワードプレス)のカスタマイズや保守のご依頼、SEOに関する改造などのご相談はWPドクターまでお気軽にどうぞ
