默认情况robots.txt文件内容如下,
# robots.txt generated by www.diyi01.com User-agent: * Disallow: Disallow: /Application/ Disallow: /Cert/ Disallow: /Core/ Disallow: /Data/ Disallow: /Mobtheme/ Disallow: /Public/ Disallow: /Runtime/ Disallow: /Template/ Disallow: /uNick/ Disallow: /config.inc.php Disallow: /toolapi.php Disallow: /admin.php Disallow: /install.php
如果后台名称更改过,那么修改内容中的admin.php为更改后的文件名称。
注:为什么要使用robots.txt禁止搜索引擎收录,主要是因为例如安装目录、后台管理目录如果被收录,那么一些不怀好意的人虽然猜不到您后台的管理地址,但是开源通过搜索引擎搜索到,这样以来也存在一定的风险,所以我们禁止搜索引擎收录一些危险的文件或者目录,起到从入口上防止被搜索到而造成风险。