这款在线robots.txt生成器提供多种常见的设置选项供站长选择使用,可根据具体需要生成符合robots协议的robots文件,是一款非常实用的SEO工具 默认 - 所有机器人是: 允许 拒绝 检索间隔: 不限 5 秒 10 秒 20 秒 60 秒 120 秒 Sitemap: (留空为无) 普通搜索机器人: Google 默认 允许 拒绝 googlebot Baidu 默认 允许 拒绝 baiduspider MSN Search 默认 允许 拒绝 msnbot Yahoo 默认 允许 拒绝 yahoo-slurp Ask/Teoma 默认 允许 拒绝 teoma Cuil 默认 允许 拒绝 twiceler GigaBlast 默认 允许 拒绝 gigabot Scrub The Web 默认 允许 拒绝 scrubby DMOZ Checker 默认 允许 拒绝 robozilla Nutch 默认 允许 拒绝 nutch Alexa/Wayback 默认 允许 拒绝 ia_archiver Naver 默认 允许 拒绝 naverbot, yeti 特殊搜索机器人: Google Image 默认 允许 拒绝 googlebot-image Google Mobile 默认 允许 拒绝 googlebot-mobile Yahoo MM 默认 允许 拒绝 yahoo-mmcrawler MSN PicSearch 默认 允许 拒绝 psbot SingingFish 默认 允许 拒绝 asterias Yahoo Blogs 默认 允许 拒绝 yahoo-blogs/v3.9 限制目录: 路径是相对的,但每个路径之前都要包含:"/" 现在,你创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去。把“robots.txt”放在你网站的根目录,并确保他能让访问者(如搜索引擎)访问到。