恒安云-安全新闻

恒安云安全新闻

恒安云安全新闻

用NodeJS实现反爬虫,原理&源码放送 << 安全新闻

- 2020 -

2/14

10:10:49

作者:

来源:

关键词:

w2sfoot

FREEBUF

https://www.freebuf.com/./articles/web:WEB安全,

用NodeJS实现反爬虫,原理&源码放送
爬虫让很多人对其深感苦恼,今天的Node.JS实战,将实现一种防护性能很强的反爬虫系统。

文章目录 防护效果展示 源码展示

爬虫,网络安全最大的威胁之一!

根据爬取数据类型而分,爬虫有不少种类,比如爬取Email地址的、爬取商品价格的、爬取图片的,而最多的是爬取内容的,内容数据爬虫是为泛滥的!

爬虫让很多人对其深感苦恼,今天的Node.JS实战,将实现一种防护性能很强的反爬虫系统。

首先展示防护效果,然后付上完整代码,以了解实现方法。

防护效果展示

根据两个核心思路进行效果展示如下:

1、字体加密

创建自定义字体库,将字体进行加密。

举一个最直白的例子:

比如要在网页中显示文字:“我是我,你是你,她是她”,在正常的情况下,网页中就是存在这几个字,爬虫当然可以爬取。

我们要实现的效果是,让这几个字不存在,网页源码中可能是:

但是在网页中可以正常显示:

但是却不可复制,复制后,全部或部分内容将不能正常显示:

2、字体防破解

单纯的字体加密,是不太难被破解的,因为上述的“密文乱码符号”,其实也就是一种对应关系,例如:“A”对应“啊”,“B”对应“不”。只要获得足够的对应关系,替换就可以破解还原出原内容。

具体实施时,可以从网页中获取字体文件。

如TTF,通过格式转换,化为TTX,即可得到对应关系。

也可以手动记录对应关系。

那么对于这两种破解,我们也需要进行防护。

1、防止字体文件被下载;

动态字体路径:

注意以下两图,不同的字体路径:

即:每次访问都是不同的字体路径,而且,此动态路径文件是不可下载的:

当然,文件的正常使用是不受影响的。

2、使用动态对应关系,防止字体对应被获取。

我们内置一套系统,自动或手动实现编码变化:

以下两图,两种不同的编码展示,前面部分是编码,后面是对应的字:

源码展示

实现以上功能的代码并不复杂,本例由两个文件,一个目录组成:

acs.js是主文件,内容如下:

/** * Anti Content Splider * Auther:WangLiwen * www.ShareWAF.com */ var fs = require('fs') var font_carrier = require("font-carrier") var body_parser = require("body-parser") var mime = require("mime"); //变码矩阵,存放字和unicode的对应关系 var transfer_result = require("./config").tramsform_matrix; /** * TTF变码 * 基于一种字体,生成另一种新字体 * 参数:ttf,原始字体 * 参数:words,要变码的字 * 参数:new_ttf,新的字体 * 返回值:新字体中,unicode和字的对应关系 */ function transform_ttf(ttf,words,new_ttf){ //创建新的空字体 var font = font_carrier.create() //从ttf字体中获取文字 var font_transfer = font_carrier.transfer(ttf) if(words.length==0){ return{}; } var result={}; var key,value,word; //遍历传入的参数:要变码的字体 for(var i=0;i 100){ res.end("oooops"); return; } //还原路径 url = url.replace(new RegExp(transform_url[i],"g"), "font_dest"); console.log("before:",transform_url) //删除使用过的时间变量 delete transform_url[i]; transform_url.splice(i,1); console.log("after:",transform_url) } } //真实地址 console.log("really url:",url); //读取文件内容 var file_content = fs.readFileSync(url) //测试html文件 if(url.indexOf("/test.html") !=- 1){ //如果是此html文件,则对文件中的原始字体路径做保护 //网页源码 file_content = file_content.toString(); //遍历变码矩阵,对网页中的文字进行变码 for (var index in transfer_result){ console.log(index,transfer_result[index]); //正则全局替换 file_content = file_content.replace(new RegExp(transfer_result[index],"g"), index+";"); } var count = (file_content.split('font_dest')).length - 1; console.log("replaced:",count); //以时间做为参照值 var time_parm = (new Date).getTime(); //字体路径保护,将正确路径font_dest替换为时间值 file_content = file_content.replace(new RegExp("font_dest","g"), time_parm); //存入变型url特征池 for(var i=0; i

代码中已有详细注释。

config.js是字体编码与文字对应关系,源码中称为“变码距阵”,内容如下:

exports.tramsform_matrix={"Ԕ":"我","ԕ":"你","Ԗ":"他","ԗ":"只","Ԙ":"保","ԙ":"码","Ԛ":"用","ԛ":"。"}

注:当进行动态变码操作时,此文件内容会发生变化。

admin目录下,是几个静态网页文件:

index.html内容如下:

anti content splider

原始字体:
变码字体:
变码文字:

test.html是用于测试,展示变码效果的文件,内容如下:

字体测试

Ԕ是Ԕ,ԕ是ԕ,Ԗ是Ԗ,她是她ԛ
ShareWAF(sharewaf.com)不ԗ是WAF!
JS代ԙԘ护?混淆?加密,当然ԚJShaman(jshaman.com)!

以上,是完整的动态字体变码加密反爬虫方案,出自于ShareWAF,与ShareWAF运营的商业反爬虫产品:ShareWAF-ACS,原理甚本一至。由此可知,本文是相当有价值的技术资料。

*本文原创作者:w2sfoot,本文属于FreeBuf原创奖励计划,未经许可禁止转载

平台描述
恒安云产品集成了恒安嘉新的主要安全服务能力,为企业打造一站式安全防护体系。在恒安云的产品线中集成了入侵检测、主机安全、网络防护等主要的企业安全产品,可以满足企业日常的所有的安全需求。此外,恒安云立足于Evercert的运营能力,打造以运营中心为驱动的云安全服务模式,为企业提供全安全生命周期的运营服务,解决企业在持续安全保护方面的后顾之忧。
导航
首页
名品堂
政策法规
开发者手册
关于我们
控制台
合作伙伴
中国联通
中国移动
中国电信
商业合作
电话:400 630 7901
邮箱:saas@eversec.cn