WordPressでrobots.txtを扱うには、プラグインを使う方がよい 【WP Robots Txt,仮想robots.txt】

仮想robots.txtについて

Wordpressは「仮想robots.txt」という感じで、実際のrobots.txtというファイルがないんですね。実際に、robots.txtファイルを置くとそちらが優先されるのですが、それだとプラグインなどが「仮想robots.txt」に出力している内容が変更されても反映されないのでちょっと不便だと思います。

WP Robots Txtプラグイン

WP Robots Txt
http://wordpress.org/plugins/wp-robots-txt/

このプラグインを導入すると追記などが簡単になります。


プラグインを導入して有効化すると、「設定」-＞「表示設定」のところで「Robots.txt Content」という入力項目が現れます。ここに追記などをすると、仮想robots.txtに反映されます。

その他

・WordPressの仮想robots.txtの仕組み | 情報科学屋さんを目指す人のメモ
・WordPressで自動生成されるrobots.txt | Gatespace's Blog

add_action('do_robots', create_function('', 'echo "追記したい内容";'));
wordpress の仮想robots.txt に対して追記を行う | Codetter（こーどったー）β

テーマのfunctions.phpに上記のようなコードを書いて追加することも可能

robots.txtの確認方法

ブラウザからURLをたたくだけで表示されます。
当ブログなら、以下のような感じ
https://blog2.k05.biz/robots.txt

※Windows8.1のIE11/Chrome/FireFoxで確認しました。