主页工具站长工具 robots.txt文件在线生成

robots.txt文件在线生成

在线robots.txt生成器提供多种常见的设置选项供站长选择使用，可根据具体需要生成符合robots协议的robots文件，是一款非常实用的SEO工具

　这款在线robots.txt生成器提供多种常见的设置选项供站长选择使用，可根据具体需要生成符合robots协议的robots文件，是一款非常实用的SEO工具

默认 - 所有机器人是:
检索间隔:
Sitemap: (留空为无)

普通搜索机器人:	Google	googlebot
	Baidu	baiduspider
	MSN Search	msnbot
	Yahoo	yahoo-slurp
	Ask/Teoma	teoma
	Cuil	twiceler
	GigaBlast	gigabot
	Scrub The Web	scrubby
	DMOZ Checker	robozilla
	Nutch	nutch
	Alexa/Wayback	ia_archiver
	Naver	naverbot, yeti

特殊搜索机器人:	Google Image	googlebot-image
	Google Mobile	googlebot-mobile
	Yahoo MM	yahoo-mmcrawler
	MSN PicSearch	psbot
	SingingFish	asterias
	Yahoo Blogs	yahoo-blogs/v3.9

限制目录:	路径是相对的，但每个路径之前都要包含："/"

现在，你创建一个空白的文本文件，命名为：“robots.txt”，然后把上面的内容，复制并粘贴到“robots.txt”中去。把“robots.txt”放在你网站的根目录，并确保他能让访问者（如搜索引擎）访问到。

#开发站长 #robots #SEO工具

点赞 (120)

相关工具

发表评论