|
|
@ -10,10 +10,11 @@ Hero Union主要做两件事: |
|
|
|
|
|
|
|
|
|
|
|
## 本文档目录 |
|
|
|
## 本文档目录 |
|
|
|
|
|
|
|
|
|
|
|
* [Hero Union 英雄联盟使用流程](#hero-union-英雄联盟使用流程) |
|
|
|
* [Hero Union英雄联盟源码使用方法](#hero-union英雄联盟源码使用方法) |
|
|
|
|
|
|
|
* [Hero Union英雄联盟使用流程](#hero-union英雄联盟使用流程) |
|
|
|
1. [联盟成员使用流程](#联盟成员使用流程) |
|
|
|
1. [联盟成员使用流程](#联盟成员使用流程) |
|
|
|
2. [联盟的爬虫工作流程](#联盟的爬虫工作流程) |
|
|
|
2. [联盟的爬虫工作流程](#联盟的爬虫工作流程) |
|
|
|
* [Hero Union 联盟接口](#hero-union-联盟接口) |
|
|
|
* [Hero Union联盟接口](#hero-union联盟接口) |
|
|
|
1. [提交网页抓取任务接口](#提交网页抓取任务接口) |
|
|
|
1. [提交网页抓取任务接口](#提交网页抓取任务接口) |
|
|
|
2. [查询网页抓取任务结果接口](#查询网页抓取任务结果接口) |
|
|
|
2. [查询网页抓取任务结果接口](#查询网页抓取任务结果接口) |
|
|
|
3. [爬虫任务完成回调通知接口](#爬虫任务完成回调通知接口) |
|
|
|
3. [爬虫任务完成回调通知接口](#爬虫任务完成回调通知接口) |
|
|
@ -28,7 +29,28 @@ Hero Union主要做两件事: |
|
|
|
* [其它参考](#其它参考) |
|
|
|
* [其它参考](#其它参考) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Hero Union 英雄联盟使用流程 |
|
|
|
## Hero Union英雄联盟源码使用方法 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1. 用git下载源码 |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
git clone "https://git.filesite.io/filesite/hero_union.git" |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2. 安装Node.js依赖包 |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
npm install |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
如果因为网络问题部分依赖包无法下载,请参考:[其它参考](#其它参考) 里的代理使用方法。 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3. 启动Hero Union英雄联盟 |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
npm start |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Hero Union英雄联盟使用流程 |
|
|
|
|
|
|
|
|
|
|
|
### 联盟成员使用流程 |
|
|
|
### 联盟成员使用流程 |
|
|
|
|
|
|
|
|
|
|
@ -44,7 +66,7 @@ Hero Union主要做两件事: |
|
|
|
3. 爬虫完成网页抓取任务时调用接口上报给联盟 |
|
|
|
3. 爬虫完成网页抓取任务时调用接口上报给联盟 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Hero Union 联盟接口 |
|
|
|
## Hero Union联盟接口 |
|
|
|
|
|
|
|
|
|
|
|
Hero Union联盟网站:[Hero Union英雄联盟](https://herounion.filesite.io/)。 |
|
|
|
Hero Union联盟网站:[Hero Union英雄联盟](https://herounion.filesite.io/)。 |
|
|
|
|
|
|
|
|
|
|
@ -276,6 +298,8 @@ var sign = md5( JSON.stringify(sortedParams) + token ); |
|
|
|
|
|
|
|
|
|
|
|
## 其它参考 |
|
|
|
## 其它参考 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 本地把socks端口转发http端口方法 |
|
|
|
|
|
|
|
|
|
|
|
npm install 使用代理,本地socks转web proxy软件: |
|
|
|
npm install 使用代理,本地socks转web proxy软件: |
|
|
|
``` |
|
|
|
``` |
|
|
|
https://www.npmjs.com/package/http-proxy-to-socks |
|
|
|
https://www.npmjs.com/package/http-proxy-to-socks |
|
|
@ -286,3 +310,22 @@ https://www.npmjs.com/package/http-proxy-to-socks |
|
|
|
hpts -s 127.0.0.1:1080 -p 8002 |
|
|
|
hpts -s 127.0.0.1:1080 -p 8002 |
|
|
|
``` |
|
|
|
``` |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
上述示例会把本机socks端口1080转发到8002端口(socks代理如何安装本文档不展开讨论,请自行研究)。 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 为npm配置代理方法 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
修改npm的配置文件:~/.npmrc,添加下面配置: |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
unsafe-perm=true |
|
|
|
|
|
|
|
proxy=http://127.0.0.1:8002 |
|
|
|
|
|
|
|
https-proxy=http://127.0.0.1:8002 |
|
|
|
|
|
|
|
noproxy[]=127.0.0.* |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
如果你的home目录下没有.npmrc文件,先创建。 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
配置代理后,下面命令将默认走代理: |
|
|
|
|
|
|
|
``` |
|
|
|
|
|
|
|
npm install |
|
|
|
|
|
|
|
``` |
|
|
|