cdn非80端口(非标端口cdn)

慈云数据 2023-03-29 网络资讯 709 24

  随着各家CDN遍地开花,什么网站都挂上CDN,高效的找源站也就成为了麻烦事,Zgrab算是解决这一问题的利器了。本来Zgrab叫banner-grab,是Zmap的一个组件,后来独立出来:

  Zgrab的Github:

  https://github.com/zmap/zgrab

  安装 zmap:

  yuminstall zmap git wget

  安装go:

  wget https://storage.googleapis.com/golang/go1.8.1.linux-amd64.tar.gztar -C /usr/ local-xzf go1.8.1.linux-amd64.tar.gz exportPATH= $PATH:/usr/ local/go/bin exportGOPATH=/usr/ local/go/bin/

  安装Zgrab:

  goget github.com/zmap/zgrabcd $GOPATH/src/github.com/zmap/zgrabgo build

cdn非80端口(非标端口cdn)

Zgrab配和Zmap在200M带宽的机器上扫遍国区所有80端口大概是4小时以内(I7+16G+240G SSD RAID 0),网速和硬盘性能比较影响最终速度。至于扫全球的请准备好1T以上的SSD。需要注意的是一般的VPS都不会允许你扫,还有某个德国的运营商每次一扫就会投诉。

  以抓取www.abc.com为例子:

  cd$GOPATH/src/github.com/zmap/zgrab

  修改http请求头:

  vihttp-req

  格式一般为:

GET / HTTP/1.1

  Host: www.abc.com

  (空行)

  可以参考RFC 2616:

  https://tools.ietf.org/html/rfc2616

  如果要抓取具体页面,比如

  www.abc.com/abc/

  GET /abc/ HTTP/1.1

  Host: www.abc.com

  (空行)

  下载目标地区的IP地址列表:(国区为例)

  wget http:/ /www.ipdeny.com/ipblocks/data/countries/cn.zone

  Zmap扫描开放的80口:

  zmap-wcn.zone-p80 -B200 M-ocn.80

  (-i 指定interface -B 速度)

  扫全球的话:

  wgethttp://www.ipdeny.com/ipblocks/data/countries/all-zones.tar.gztar zxvf all-zones.tar.gzcat *.zone| zmap -p 80-B 200M-o world. 80

  扫完的80端口保留在-o的输出文件中,然后我们用Zgrab批量抓:

  catcn. 80| ./zgrab --port 80-http-user-agent= "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36"-timeout= 30-senders= 2000-data= "./http-req"--output-file=cnresult.txt

cdn非80端口(非标端口cdn)

一般200M的网速sender可以在2K-3K 供参考,实际速度取决于网络质量、硬盘I/O 。

  对于443的https:(当然zmap要抓443)

  catcn. 443| ./zgrab --port 443--tls -http-user-agent= "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36"-timeout= 30-senders= 2000-data= "./http-req"--output-file=cnresult.txt

  扫完以后筛选

  随便找个特别的关键字:

  catcnresult.txt |grep -E "关键词"cnpr.txt

  去掉阿里云高防ip,CF代理ip:

  sed -e'/aliyungf/d'cnpr.txt cn.targetsed -e'/cfduid/d'cnpr.txt cn.target

评论列表

bc/ HTTP/1.1  Host: www.abc.com  (空行)  下载目标地区的ip地址列表:(国区为例)  wget http:/ /www.ipdeny.com/ipblocks/data/countries/cn.zone  Zmap扫描开放的80口:  
2023-03-29 10:02:00 回复
ny.com/ipblocks/data/countries/all-zones.tar.gztar zxvf all-zones.tar.gzcat *.zone| zma
2023-03-29 21:22:58 回复
zone  Zmap扫描开放的80口:  zmap-wcn.zone-p80 -B200 M-ocn.80  (-i 指定interface -B 速度)  扫全球的话:  wgethttp://www.ipdeny.com/ipblocks/data/countri
2023-03-29 21:46:09 回复
rs= 2000-data= "./http-req"--output-file=cnresult.txt   扫完以后筛选  随便找个特别的关键字:  catcnresult.txt |grep -E "关键词"cnpr.txt   去掉阿里云高防ip,CF代理ip:  sed -
2023-03-29 21:31:10 回复
osh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36"-timeout= 30-senders= 20
2023-03-29 15:12:00 回复
html/rfc2616  如果要抓取具体页面,比如  www.abc.com/abc/  GET /abc/ HTTP/1.1  Host: www.abc.com  (空行)  下载目标地区的ip地址列表:(国区为例
2023-03-29 12:09:56 回复
/www.ipdeny.com/ipblocks/data/countries/cn.zone  Zmap扫描开放的80口:  zmap-wcn.zone-p80 -B200 M-ocn.80  (-i 指定interface -B 速度)  扫全球的话:  wgethttp://www.ipd
2023-03-29 15:12:45 回复
linux-amd64.tar.gz exportPATH= $PATH:/usr/ local/go/bin exportGOPATH=/usr/ local/go/bin/   安装Zgrab:  goget github.com/zmap/zgrabcd $GOPATH/src/g
2023-03-29 10:41:28 回复
id/d'cnpr.txt cn.target
2023-03-29 19:32:07 回复
H/src/github.com/zmap/zgrab   修改http请求头:  vihttp-req   格式一般为:GET / HTTP/1.1  Host: www.abc.com  (空行)  可以参考RFC 2616:  https://t
2023-03-29 10:44:02 回复
.com为例子:  cd$GOPATH/src/github.com/zmap/zgrab   修改http请求头:  vihttp-req   格式一般为:GET / HTTP/1.1  Host: w
2023-03-29 19:30:26 回复
xvf all-zones.tar.gzcat *.zone| zmap -p 80-B 200M-o world. 80  扫完的80端口保留在-o的输出文件中,然后我们用Zgrab批量抓:  catcn. 80| ./zgrab --port 80-http-user-
2023-03-29 13:41:03 回复
443的https:(当然zmap要抓443)  catcn. 443| ./zgrab --port 443--tls -http-user-agent= "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWe
2023-03-29 20:24:39 回复
0-http-user-agent= "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chro
2023-03-29 14:25:45 回复
装Zgrab:  goget github.com/zmap/zgrabcd $GOPATH/src/github.com/zmap/zgrabgo build Zgrab配和Zmap在20
2023-03-29 20:26:20 回复
"关键词"cnpr.txt   去掉阿里云高防ip,CF代理ip:  sed -e'/aliyungf/d'cnpr.txt cn.targetsed -e'/cfduid/d'cnpr.txt cn.target
2023-03-29 18:05:41 回复
xzf go1.8.1.linux-amd64.tar.gz exportPATH= $PATH:/usr/ local/go/bin exportGOPATH=/usr/ local
2023-03-29 12:37:11 回复
file=cnresult.txt   扫完以后筛选  随便找个特别的关键字:  catcnresult.txt |grep -E "关键词"cnpr.txt   去掉阿里云
2023-03-29 10:12:49 回复
ries/all-zones.tar.gztar zxvf all-zones.tar.gzcat *.zone| zmap -p 80-B 200M-o world. 80  扫完的80端口保留在-o的输出文件中
2023-03-29 19:37:27 回复
ac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36"-timeout= 30-senders= 2000-data= "./http-re
2023-03-29 12:00:58 回复
。需要注意的是一般的VPS都不会允许你扫,还有某个德国的运营商每次一扫就会投诉。  以抓取www.abc.com为例子:  cd$GOPATH/src/github.com/zmap/zgrab   修改http请求头:  vihttp-req   格式一般为:GET / HTT
2023-03-29 21:33:37 回复
2883.95 Safari/537.36"-timeout= 30-senders= 2000-data= "./http-req"--output-file=cnresult.txt   扫完以后筛选  
2023-03-29 16:10:28 回复
/zmap/zgrabcd $GOPATH/src/github.com/zmap/zgrabgo build Zgrab配和Zmap在200M带宽的机器上扫遍国
2023-03-29 11:55:01 回复
ers= 2000-data= "./http-req"--output-file=cnresult.txt   扫完以后筛选  随便找个特别的关键字:  catcnresult.txt |grep -E "关键词"cnpr.txt   去掉阿里云高防ip,CF
2023-03-29 10:25:17 回复

发表评论:

微信扫一扫加客服

微信扫一扫加客服

微信扫一扫加客服

微信扫一扫加客服