robot.txt

robots.txtファイルの設定により、インデックスされたくなくファイルを検索エンジンのクローラーからブロックまた許可することができます。 robots.txtファイル３つの設定項目 ・User-agent:ロボット名 ・Disallow...