网站优化中有些时候，站长并不希望某些页面URL被抓取和收录，如付费内容、测试阶段的页面、复制内容页面等。网站上不出现链接，或者使用JavaScript、Flash链接，使用nofollow等方法都不能保证页面一定不会被收录。站长自己虽然没有链接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录。

网站优化中网站URL禁止收录机制的配置(robot.txt的编写)

要确保页面不被收录，需要使用robots文件或Meta Robots标签。做如下书写配置：

User-agent: *
Disallow: /tx/
Disallow: /wp-ad/
Disallow: /wp-log/
Disallow: /wp-includes/
Sitemap: https://www.liedun.cc/sitemap.xml

红色部分的tx、wp-ad、wp-log、wp-includes文件夹为禁止收录和爬取！