本エラーが記録されること自体は異常ではありませんので、通常は気にしていただく必要は

ございません。 

 

robots.txtはロボット型の検索エンジンに対し、ホームページ内のデータを収集するルールを指示するファイルです。 一定の書式に従って記述したテキストファイル（robots.txt）をサーバーに置くと、 robots.txtに対応している検索エンジンは、そこに書かれているルールに従ってデータを収集します。

 

ただし、すべての検索エンジンがrobots.txtには対応していません。robots.txtへの対応状況は、検索エンジンのお問い合わせ窓口にご確認ください。