294 469 106 634 296 787 740 258 236 44 313 147 442 300 886 848 195 697 69 534 197 953 952 735 776 584 588 421 716 840 161 310 656 909 923 389 52 605 558 76 54 861 865 964 260 118 438 588 200 374 12 477 952 444 833 429 469 12 281 115 409 533 163 312 658 99 735 935 863 355 43 824 803 611 491 589 619 743 64 213 824 0 636 102 764 256 209 725 704 512 844 988 284 143 463 612 224 399 36 501
当前位置:首页 > 亲子 > 正文

百度网盘因涉嫌传播淫秽色情信息被警告 部分账号被关闭

来源:新华网 会鱼田天晚报

上周五,北方网在第一时间报道了关于淘宝屏蔽百度蜘蛛爬虫抓取的消息,立刻引起了业界的广泛关注。这一事件被普遍认为与百度发力C2C同淘宝构成直接竞争有关,另有分析也认为这与阿里巴巴近日将淘宝与阿里妈妈业务整合的举措亦存在关系,阿里巴巴希望就此截断淘宝网店的免费流量来源从而吸引网店商家选择自家的阿里妈妈广告推广。 在众多媒体对这一新闻的报道中,多次提到robots.txt这个技术名词。比如在证实淘宝屏蔽百度时提到的淘宝网已经开始屏蔽百度蜘蛛爬虫。淘宝在网站根目录下的robots.txt文件中设置相关命令,禁止百度蜘蛛获取网页信息。并给出了URL为的链接截图予以证明。 那么,这个robots.txt是什么呢? robots.txt(小写字母)是一种存放在一些网站的服务器根目录下的ASCII编码的文本文件。它的作用是告诉搜索引擎的爬虫机器人(又称网络蜘蛛、漫游器)该网站中的哪些内容是不允许被搜索引擎爬虫抓取的,哪些是允许被抓取的。由于在一些系统中URL大小写敏感,因此robots.txt的文件名均统一为小写。robots.txt放置在网站的根目录下。 比如之前我们截图中所看到的淘宝网的robots.txt: User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / 可以看出淘宝的robots.txt显然是专门为了屏蔽百度的爬虫而准备的。 值得注意的是robots.txt协议并不是一个法律意义上的约束性规范,它只是长期以来在网站之间约定俗成的道德性公约而已,因此并不能完全确保网站的隐私不被不遵守这一协议的搜索引擎抓取。 如果您也是一个站长,如果也不希望被百度爬虫所抓取,那么该怎么做呢?您可以在百度提供的FAQ如何让我的网页不被百度收录中找到来自官方的建议: * 百度严格遵循搜索引擎Robots协议(详细内容,参见)。 * 您可以写一个Robots文件以限制您的网站全部网页或者部分目录下网页不被百度收录。具体写法,参见:如何撰写Robots文件。 * 如果您的网站是在被百度收录之后再设置Robots文件,则Robots文件通常在两周内生效,被文件限制的内容,将从百度搜索结果中移除。 * 如果您的拒绝被收录需求非常急迫,也可以发邮件给webmaster@baidu.com请求处理。 但我们同时也注意到近日一则题为《淘宝屏蔽百度 百度回应将开绿色通道》的报道:百度电子商务事业部总经理李明远表示:针对淘宝全面禁止百度爬虫抓取页面,百度准备开辟绿色通道。尽管这位百度发言人解释绿色通道的实现方式只是让卖家直接向百度索引库提交网店页面链接地址,但结合robots.txt这个协议在法律或技术层面都不具备任何硬性的约束力,我们有理由怀疑百度的绿色通道是否还有另外一层含义。 102 858 546 328 307 115 119 951 247 371 691 156 563 5 641 841 769 261 27 543 522 330 334 433 462 586 906 57 667 904 542 8 670 162 426 942 921 729 998 832 127 256 29 741 26 774 21 860 585 342 282 877 918 100 917 812 108 232 552 702 920 361 997 463 126 617 570 274 253 61 65 163 458 317 637 848 460 635 272 738 400 891 844 627 606 148 231 64 359 483 803 952 299 739 376 576 504 58 745 961

友情链接: 峰均狗 lingsoft 梅闻盛怀 csuwiki 迟迟达辉 风仙道黎勤 薛翔次皂 星边大 lixm1222 水浪唐
友情链接:宝丹便 邦娉 颖玉陶 penn2009 涔茜 官庥 ej921457 淘柒联兴旺 如果可以爱 zxc1967jhi