• 老干部同志,你是否愿意让别人骑在你头上拉丝拉尿?[哈哈] 2019-07-13
  • 回复@大雨582:你还是不能区分自然人和社会人的自由有什么不同! 2019-07-10
  • 铜梁:鲜花让山乡的“颜值”更美丽 2019-07-02
  • 读书、看展成潮流 山城端午文化热 2019-06-13
  • 一张图告诉你:冬季取暖设备别“惹火” 注意这些安全隐患 2019-05-30
  • 迈迈与易起投战略合作签约仪式在京举行 2019-05-25
  • 6月15日有回复:陕西省教育厅等单位回复22条网友留言 2019-05-18
  • 南京新房、二手房5月继续跌 ——凤凰网房产南京 2019-05-18
  • 四季不离茶,受益一辈子 2019-05-14
  • 十二届全国人大常委会第七次会议 2019-05-14
  • 西安地铁9号线首台下穿灞河盾构今天始发 预计2020年底全线通车 2019-05-13
  • 中船重工集团总经理孙波涉嫌严重违纪违法被查 2019-04-23
  • 凯恩率“三狮军团”艰难战胜突尼斯 2019-04-23
  • 独家专访演员孙淳 谈《琅琊榜之风起长林》幕后的故事 2019-04-17
  • 6月15日起天津全面进入汛期 各级防汛部门严阵以待 2019-04-16
  • 2017年最新百度谷歌360等搜索引擎蜘蛛名称及搜索引擎蜘蛛真假判断
    搜收录网整理 发布日期:2016/12/31 10:21:46
    1、百度蜘蛛:Baiduspider
    网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等,这些名称都不是太准确。网页抓取百度蜘蛛最新名称为Baiduspider,是用百度来抓取网页的蜘蛛。图片抓取百度蜘蛛准确名称为Baiduspider-image,是用来抓取图片的蜘蛛。
    常见的百度蜘蛛还有移动网页抓取蜘蛛Baiduspider-mobile(抓取wap)、百度视频抓取蜘蛛Baiduspider-video(抓取视频)、百度新闻抓取蜘蛛Baiduspider-news(抓取新闻)。
    如何判断百度蜘蛛真假
    使用DNS反查方式可以确定抓取来源的ip是否属于百度,根据平台不同验证方法也有所不同:
        
    在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
    $ host 123.125.66.120 
    120.66.125.123.in-addr.arpa domain name pointer 
    baiduspider-123-125-66-120.crawl.baidu.com.
     
    host 119.63.195.254
    254.195.63.119.in-addr.arpa domain name pointer 
    BaiduMobaider-119-63-195-254.crawl.baidu.jp.
     
    在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
     
    在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
     
    2、谷歌蜘蛛:Googlebot
    谷歌网页抓取蜘蛛最新名称为“compatible; Googlebot/2.1;”。谷歌移动网页抓取蜘蛛名称为Googlebot-Mobile,看名字是抓取wap内容的。
     
    3、360蜘蛛:
    360搜索网页抓取蜘蛛最新名称为360Spider或HaosouSpider。
     
    4、搜狗蜘蛛:Sogou+web+spider/4.0
    搜狗网页抓取蜘蛛最新名称为Sogou+web+spider/4.0,搜狗蜘蛛还包括如下这些:Sogou+inst+spider、Sogou+spider2、Sogou+blog、Sogou+News+Spider、Sogou+Orion+spider,
     
    搜狗最常见蜘蛛为"Sogou+web+spider/4.0" ;"Sogou+News+Spider/4.0" ;"Sogou+inst+spider/4.0"。
     
    5、必应蜘蛛:bingbot 
    必应网页抓取蜘蛛最新名称为(compatible; bingbot/2.0;)
     
    6、一搜蜘蛛:YisouSpider
    一搜网页抓取蜘蛛最新名称为YisouSpider,同时Yisouspider也是神马搜索的网页爬虫,同时也在为CNZZ云推荐提供服务。
     
    7、神马蜘蛛:YisouSpider
    神马网页抓取蜘蛛最新名称为YisouSpider

    信息网址://www.w3zj.net/ziyuan/view15945.htm
    相关信息
  • 老干部同志,你是否愿意让别人骑在你头上拉丝拉尿?[哈哈] 2019-07-13
  • 回复@大雨582:你还是不能区分自然人和社会人的自由有什么不同! 2019-07-10
  • 铜梁:鲜花让山乡的“颜值”更美丽 2019-07-02
  • 读书、看展成潮流 山城端午文化热 2019-06-13
  • 一张图告诉你:冬季取暖设备别“惹火” 注意这些安全隐患 2019-05-30
  • 迈迈与易起投战略合作签约仪式在京举行 2019-05-25
  • 6月15日有回复:陕西省教育厅等单位回复22条网友留言 2019-05-18
  • 南京新房、二手房5月继续跌 ——凤凰网房产南京 2019-05-18
  • 四季不离茶,受益一辈子 2019-05-14
  • 十二届全国人大常委会第七次会议 2019-05-14
  • 西安地铁9号线首台下穿灞河盾构今天始发 预计2020年底全线通车 2019-05-13
  • 中船重工集团总经理孙波涉嫌严重违纪违法被查 2019-04-23
  • 凯恩率“三狮军团”艰难战胜突尼斯 2019-04-23
  • 独家专访演员孙淳 谈《琅琊榜之风起长林》幕后的故事 2019-04-17
  • 6月15日起天津全面进入汛期 各级防汛部门严阵以待 2019-04-16
  • 北京赛车pk10机器人 ac米兰和乌迪内斯 和平精英游戏 性感宝贝客服 中国福利彩票3d试机号八卦图 陕西11选5开奖号码 英魂之刃战斗女神图片 英魂之刃口袋版腾讯版 中国福利彩票15选5 真人游戏大厅 国际米兰吧贝尔猴 pp电子游 拳皇命运 伴娘我最大免费试玩 拳皇命运84万战力 勇士vs步行者