網絡營銷論壇

 找回密碼
 注冊(請使用中文注冊)

一鍵登錄:

東莞長安畫冊設計無線通訊模塊東莞網絡推廣嘉創智能引擎推廣
萬詞霸屏(大優惠)3000元/年東莞網站建設東莞網絡推廣外包東莞長安品牌策劃
查看: 144|回復: 0
打印 上一主題 下一主題

只需兩步,正確識別百度蜘蛛

[復制鏈接]
  • TA的每日心情
    開心
    前天 18:45
  • 簽到天數: 1638 天

    [LV.Master]伴壇終老

    跳轉到指定樓層
    1#
    發表于 2018-8-6 16:17:07 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式

    馬上注冊,結交更多好友,享用更多功能,讓你輕松玩轉社區。

    您需要 登錄 才可以下載或查看,沒有帳號?注冊(請使用中文注冊)

    x

    經常聽到站長們問,百度蜘蛛是什么?最近百度蜘蛛來的太頻繁服務器抓爆了,最近百度蜘蛛都不來了怎么辦,還有很多站點想得到百度蜘蛛的IP段,想把IP加入白名單,但IP不固定,我們無法對外公布。

    那怎么才能識別正確的百度蜘蛛呢?來來來,只需兩步,教你正確識別百度蜘蛛

    1、查看UA,如果UA都不對,可以直接判斷非百度搜索的蜘蛛,目前對外公布過的UA是:

    移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

    PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html

    新增渲染UA:

    移動UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

    PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

    2、反查IP

    站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據平臺不同驗證方法不同,如linux/windows/os三種平臺下的驗證方法分別如下:

    1)、在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

    2)、在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

    3)、 在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。


    % A2 v2 I3 z# J) K- |7 o; E6 ]+ v5 i. b4 {

    本版積分規則

    關閉

    站長推薦上一條 /1 下一條



    QQ|Archiver|手機版|小黑屋|東莞網站建設|網站地圖|網絡營銷論壇 ( 粵ICP備17101804號 

    GMT+8, 2019-8-12 05:31 X3.2

    Powered by Discuz!

    快速回復 返回頂部 返回列表
    nba竟彩推荐