一个有温度的分类目录网站
指定允许搜索引擎爬虫访问的目录，留空表示允许访问所有内容
指定禁止搜索引擎爬虫访问的目录，如管理后台、私密内容等
网站地图（Sitemap）的URL地址，帮助搜索引擎更好地索引您的网站
添加其他自定义robots规则，如特定爬虫的设置等