|
|
@ -13,17 +13,26 @@ Hero scripts of machete. |
|
|
|
* Bilibili |
|
|
|
* Bilibili |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
爬虫采集到的数据结构见Machete项目的TaJian皮肤文档。 |
|
|
|
爬虫采集到的数据结构见Machete项目的TaJian皮肤文档,目前实现了以下几个属性: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
* 视频标题 |
|
|
|
|
|
|
|
* 视频封面图(含图片网址和base64格式数据) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 目录/文件说明 |
|
|
|
## 目录/文件说明 |
|
|
|
|
|
|
|
|
|
|
|
* bot - 针对各大平台的网页HTML解析类 |
|
|
|
* bot - 针对各大平台的网页HTML解析类 |
|
|
|
* bypass - 针对各大平台的常用域名收集 |
|
|
|
* bypass - 针对各大平台的常用域名收集 |
|
|
|
|
|
|
|
* lib - 公用类 |
|
|
|
|
|
|
|
* plugin - Hero插件 |
|
|
|
|
|
|
|
* data - TaJian爬虫数据保存目录 |
|
|
|
|
|
|
|
* todo - TaJian爬虫任务保存目录 |
|
|
|
* test - 类库测试代码 |
|
|
|
* test - 类库测试代码 |
|
|
|
* tmp - 临时文件保存目录 |
|
|
|
* tmp - 临时文件保存目录 |
|
|
|
* install_cloud.sh - hero服务端安装(非必需) |
|
|
|
* install_cloud.sh - hero服务端安装(非必需) |
|
|
|
* install_hero.sh - hero客户端安装 |
|
|
|
* install_hero.sh - hero客户端安装 |
|
|
|
|
|
|
|
* config.mjs - 爬虫配置文件 |
|
|
|
|
|
|
|
* spider.mjs - TaJian爬虫主程序 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 使用方法 |
|
|
|
## 使用方法 |
|
|
|