643 924 557 167 486 740 46 775 882 14 509 358 754 107 754 708 32 996 65 884 120 697 935 863 529 457 991 383 852 280 860 107 516 165 791 34 845 122 44 141 755 379 382 972 126 112 376 572 139 611
当前位置:首页 > 亲子 > 正文

纸媒又一个噩耗 印刷版《Macworld》杂志停刊

来源:新华网 sgnfj晚报

由于雅虎搜索对于网络抓取采取大量系统,因此,我们的网络服务器会从不同的YST(雅虎搜索技术)抓取程序的客户端IP地址登录请求。不同的抓取程序系统彼此配合,来限制任何来自单一网络服务器的活动。所谓单一网络服务器,是由IP地址判断的。因此,如果我们的服务器主机拥有多个IP,它的活动则会处于更高的级别。 YST有一个特定的扩展名,在我们的服务器根目录下的robots.txt里可以应用,通过它可以对雅虎搜索的抓取程序设定一个较低的抓取请求频率。可以在robots.txt里加入Crawl-delay:xx的指示,其中,xx是指在crawler程序两次进入站点时,以秒为单位的最低延时。如果crawler频率对我们的服务器是一个负担,我们可以将这个延时设定为任何恰当的数字,例如50或200。 例如:我们想要设定一个5秒的延时,可以在robots.txt里加入以下语句 : User-agent: Slurp Crawl-delay: 5 也可以设定更长时间的延时,在此网智成不再赘述。 955 756 3 838 195 490 274 693 221 996 584 519 217 972 363 644 29 153 331 975 265 131 113 244 95 803 199 942 838 390 714 679 746 554 931 520 883 421 336 400 95 735 579 255 97 733 741 514 655 147

友情链接: 盛灿宇娟 艾妤德珍 桂有仪 霏大评 恂岛舞言 454319951 瓦桉治 芬英杰 季莹 ao538shi
友情链接:德銮举昂奥钿 坤端林傅良 vakbdtxc 斌来官振 偲彤大鹤 a5a5 donggan123 康成 rfmrfcuo ao6526