404;Not Found,是标准的http状态,表示该网页不存在,或者已经被管理员删除(永久被删除)和301永久重定向一样,在网站优化过程中非常重要的设置。设置错误和设置不当都有可能会被搜索引擎降权。
设置404页面
蜘蛛爬虫在抓取已经被删除的网页或目录。服务器返回404状态后,蜘蛛会停止对该url的抓取,并在百度索引中删除已经抓取的内容。避免因用户打开已经被删除的网页而造成百度用户流失。网站内容被删除要正确给搜索引擎返回404状态码,否则蜘蛛会频繁抓取该网站,导致网站被降权或K站,影响到网站排名。
如不设置404页面,浏览器在接收到404状态码时会进入默认页面,HTTP ERROR 404 降低了用户体验,浏览者也无法进入到该站点导致用户流失。而设置404页面后,浏览器在接收到404状态后会进入404页面。还可以通过404进入到首页对内容进行查找。
设置404页面作用
1.避免出现死循环
2.提高用户体验
3.避免被惩罚
如何设置http 404
404状态的设置,分为以下两种:
1.windows2003.win2008.win2010 下的iis中设置404页面,
2.在Linux系统和Apache服务器通过.htaccess 文件进行设置。
另外idc空间上基本上都提供了自定义404页面的功能,上传代码即可设置自己需要的404页面
IIS下设置
打开IIS管理器-->点击要设置自定义404的网站的属性-->点击自定义错误选项-->选中404页-->选中并打开编辑属性-->设置成URL--> URL 里填写“/404.html”(如果配置了.html的伪静态需要使用404.htm。否则404.html会无法运行)-->按确定退出再把做好的404.html 页面上传到网站根目录下。此处在“消息类型”中一定要选择“文件”或“默认值”,而不要选择“URL”,不然,将导致返回“200”状态码。
IIS/asp.net程序
首先,修改应用程序根目录的设置,打开web.config文件编辑,在其中加入如下内容:
以下为引用的内容:
注:上文例中error.aspx为系统默认的404页面,notfound.aspx为自定义的404页面,使用时请修改相应文件名。然后,在自定义的404页面notfound.aspx中加入以下为引用的内容:
<% response.status="404" not="" found="">
这样,便可以保证IIS能够正确地返回404状态码
Apache服务器
为Apache Server设置 404错误页面的方法很简单,只需:
(1)在.htaccess文件中加入如下内容:ErrorDocument 404 notfound.php,将.htaccess文件上传到网站根目录。
(2)制作一个404页面,随便您设计,命名为notfound.php,同样上传到网站根目录。
404页面注意事项:
(1).切记不要将404错误转向到网站主页,否则可能会出现主页在搜索引擎中消失的情况。
(2).切记不要使用绝对URL,如果使用绝对URL会返回302+200的状态码。
(3).设置好一定要检查下,返回错误一个月内搜索引擎不会在抓取该网页。
404和302的区别
删除过的网页一定要返回404,搜索引擎也就不会再次抓取,同时会删除索引,如果是404页面又跳转到了首页很有可能是302状态。302状态是网页暂时性专业,蜘蛛还会再次抓取该网页,直到成功抓取位置,如果多数的内容都是302状态,蜘蛛的频繁来访给服务器造成压力,同时也会导致被k站。
由于更换程序,所以有不少的url;都返回404页面。但是从最近的网站日志分析工具上可以看出百度,google等搜索引擎依然会访问原来被删除程序的url。从以往的网站日志中也可以看出网页在删除以后,只要有搜索引擎留有的入口,依然会被搜索引擎二次访问。