|
地址：长春市亚泰大街与自由大路交汇五环国际大厦1408、1409室
联系人：于先生
全国咨询热线：400-853-5969
邮箱：xgnic@xgnic.com
手机：13624467185 13844844006
网址：http://www.xgsite.com
|
|
|
| 资讯中心 >> robots.txt文件放在哪里? |
robots.txt文件放在哪里? |
| 点击率：1418 发布人：管理员 发布日期：2013/9/13 【去百度看看】
|
| robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhttp://www.w3.org/http://www.w3.org/robots.txthttp://www.w3.org:80/http://www.w3.org:80/robots.txthttp://www.w3.org:1234/http://www.w3.org:1234/robots.txthttp://w3.org/http://w3.org/robots.txt |
| 【打印本页】 【关闭本页】 |
|
|
|
|
|
