robots.txt生成
検索エンジンクローラーの動作を制御するrobots.txtファイルを生成。プリセット付き。
プリセット
User-agent
Allow（許可するパス）
1行に1つのパスを入力
Disallow（拒否するパス）
1行に1つのパスを入力
Crawl-delay（秒）
クローラーのリクエスト間隔（秒）。空欄で無効。
検索エンジンクローラーの動作を制御するrobots.txtファイルを生成。プリセット付き。
1行に1つのパスを入力
1行に1つのパスを入力
クローラーのリクエスト間隔（秒）。空欄で無効。