4.5 KiB
Hero Union - 英雄联盟
Union of hero bots. 一个Hero的爬虫联盟。
Hero Union主要做两件事：
- 加入联盟的爬虫将定期到联盟领取网页抓取任务，并将任务结果回传
- 对外提供提交网页抓取任务和获取任务结果的接口供联盟成员使用，并支持任务完成回调通知
Hero Union 英雄联盟使用流程
联盟成员使用流程
- 调用接口向联盟提交网页抓取任务
- 任务完成时联盟会主动通知回传任务结果
- 也可以调用接口查询任务结果
联盟的爬虫工作流程
- 本地启动爬虫后，定期向联盟上报爬虫状态
- 爬虫定期向联盟领取新的网页抓取任务
- 爬虫完成网页抓取任务时调用接口上报给联盟
Hero Union 联盟接口
Hero Union联盟网站：Hero Union英雄联盟。
接口返回值示例及其说明：
执行成功：
{
"code": 1,
"message": "完成",
其它数据...
}
执行失败： { "code": 0, "message": "错误信息" }
以下为联盟所有接口的详细文档：
### 爬虫任务领取接口
* 接口网址：
https://herounion.filesite.io/api/gettask/
* 请求方法：**GET**
* 请求参数：**无**
### 爬虫任务完成回传接口
* 接口网址：
https://herounion.filesite.io/api/savetask/
* 请求方法：**POST**
* 请求参数：
task_id task_result timestamp sign
### 提交网页抓取任务接口
* 接口网址：
https://herounion.filesite.io/api/newtask/
* 请求方法：**POST**
* 请求参数：
uuid url platform contract data_mode selectors notify_url country lang sign
参数说明：
* platform: url所属平台，目前支持的：抖音、快手、西瓜视频、bilibili
* contract: 数据抓取合约，目前支持的：tajiantv，可由爬虫自定义并实现合约规则
* data_mode: 返回数据格式，默认：json，可选值：json、html
返回值：
如果提交完成，会返回新任务数据task。
### 查询网页抓取任务结果接口
* 接口网址：
https://herounion.filesite.io/api/querytask/
* 请求方法：**GET**
* 请求参数：
task_id timestamp sign
### 爬虫任务完成回调通知接口
* 接收通知网址：
见提交网页抓取任务接口中的参数：notify_url
* 数据格式：JSON，返回header：{Content-Type: application/json}
* 请求方法：**POST**
* 请求参数：
task_id task_result timestamp sign
### 爬虫状态上报接口
* 接口网址：
https://herounion.filesite.io/api/onboard/
* 请求方法：**POST**
* 请求参数：
name description status: [idle, busy] platforms: 爬虫支持的平台，可由爬虫定义，也可参考本文档底部“国内知名平台名称列表” contracts: 支持的数据抓取合约，具体内容由爬虫定义 timestamp country lang contact: 可选，爬虫提供方联系方式，将在英雄联盟网站展示，便于大家相互联系
其中country国家代码和lang语言代码参数值请参考下面标准：
* [country代码参考两位ISO CODES](https://countrycode.org/)
* [lang语言代码参考ISO 639-1 Code](https://www.loc.gov/standards/iso639-2/php/code_list.php)
### 联盟状态查询接口
* 接口网址：
https://herounion.filesite.io/api/stats/
* 请求方法：**GET**
* 请求参数：**无**
## 接口参数签名方法
将所有参数按字母排序之后转换成JSON字符串，最后再拼接上token计算MD5值。
示例如下：
var token = 'hello world'; //注册联盟后获得的密钥 var params = { //参数示例 "b": 2, "a": 1, "t": 234343 };
var sortObj = function(obj) { //参数排序方法 return Object.keys(obj).sort().reduce(function (result, key) { result[key] = obj[key]; return result; }, {}); };
//1. 排序参数 var sortedParams = sortObj(params); //2. 计算MD5值 var sign = md5( JSON.stringify(sortedParams) + token );
## 国内知名平台名称列表
以下平台名可作为爬虫支持的平台参考：
* douyin - 抖音
* kuaishou - 快手
* xigua - 西瓜视频
* bilibili - B站
## Hero Union 英雄联盟开发进度
更新日期：2023-11-05
* v0.1 - beta 开发中...
## 参考
npm install 使用代理，本地socks转web proxy软件：
https://www.npmjs.com/package/http-proxy-to-socks
启动代理软件：
hpts -s 127.0.0.1:1080 -p 8002