WordPress用のrobots.txtファイルの書き方

robots.txtファイルの設定により、インデックスされたくなくファイルを検索エンジンのクローラーからブロックまた許可することができます。

robots.txtファイル３つの設定項目
・User-agent:ロボット名
・Disallow:ブロックURL
・Allow:許可URL

robots.txtの書き方
１．User-agentには、対象となるロボット名を書きます。
ロボット名を特定して書くことも出来ます。
*（ワイルドカード）で全てを対象にした指定もできます。
例：User-agent: Googlebot
例：User-agent: *
ロボットは沢山ありますので、ロボットデータベースサイトで調べられます。

２．Disallowには、ブロックするURLを書きます。
最初に/を書き、続いてブロックしたいURL（robots.txtからの相対アドレス）を書きます。

●指定方法
・ディレクトリ：最初に/を書き次にディレクトリ名を書いて最後に/を書きます。
例（ディレクトリ）：Disallow: /wp-admin/
・ファイル：最初に/を書き次にファイル名を書きます。
例（ページ）：Disallow: /wp-login.php
・特定のファイル形式をブロックするパターンマッチも出来ます。
例としてphpファイルをブロックしたい場合は、/*.php$と書きます。

３．Allowには、許可するURLを書きます。
書き方は、Disallowと同じです。

４．その他の設定
・サイトマップを追加したい場合は、以下のようになります。
例：sitemap: http://○○○.com/sitemap.xml

robots.txtの配置
robots.txtはサイトのサイトを展開しているドメイン直下に配置します。

WordPressのrobots.txtの記述例
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*.php$
Disallow: /*.js$

User-agent: Mediapartners-Google
Allow: /

sitemap: http://○○○.com/sitemap.xml

※記述例では、PHPファイルとJavaScriptファイルへのアクセスをブロックしたい場合もいれた記述例です。
※記述例にある下記の記述はアドセンスを利用している場合の例なので利用していない場合いらないです。
User-agent: Mediapartners-Google
Allow: /

参考ページ：robots.txt ファイルを使用してページをブロックまたは削除する
参考ページ：Robots.txt Specifications