robot.txt

robots.txtファイルの設定により、インデックスされたくなくファイルを検索エンジンのクローラーからブロックまた許可することができます。robots.txtファイル３つの設定項目・User-agent:ロボット名・Disallow:ブロ...