Browse Source

Readme update

master
filesite 1 year ago
parent
commit
4a0de44c38
  1. 11
      README.md
  2. 9
      test/README.md

11
README.md

@ -13,17 +13,26 @@ Hero scripts of machete. @@ -13,17 +13,26 @@ Hero scripts of machete.
* Bilibili
爬虫采集到的数据结构见Machete项目的TaJian皮肤文档。
爬虫采集到的数据结构见Machete项目的TaJian皮肤文档,目前实现了以下几个属性:
* 视频标题
* 视频封面图(含图片网址和base64格式数据)
## 目录/文件说明
* bot - 针对各大平台的网页HTML解析类
* bypass - 针对各大平台的常用域名收集
* lib - 公用类
* plugin - Hero插件
* data - TaJian爬虫数据保存目录
* todo - TaJian爬虫任务保存目录
* test - 类库测试代码
* tmp - 临时文件保存目录
* install_cloud.sh - hero服务端安装(非必需)
* install_hero.sh - hero客户端安装
* config.mjs - 爬虫配置文件
* spider.mjs - TaJian爬虫主程序
## 使用方法

9
test/README.md

@ -19,6 +19,13 @@ node scrap_test.mjs "douyin" @@ -19,6 +19,13 @@ node scrap_test.mjs "douyin"
解析结果示例:
```
{"title":"一男一女在海上漂了十多天,终于到了一座荒岛,在岛上生活了十年,第一集 #电影解说 #奇幻电影 #爱情 - 抖音","cover":"//p6-pc-sign.douyinpic.com/image-cut-tos-priv/7025cb44422dcaccfc345881233c547e~tplv-dy-resize-origshort-autoq-75:330.jpeg?biz_tag=pcweb_cover&from=3213915784&s=PackSourceEnum_AWEME_DETAIL&sc=cover&se=false&x-expires=2009851200&x-signature=fdARfkxJ0Tyd9UVrBPi4ZvATyZA%3D"}
{
"done": true,
"bot": "douyin",
"title": "一男一女在海上漂了十多天,终于到了一座荒岛,在岛上生活了十年,第一集 #电影解说 #奇幻电影 #爱情 - 抖音",
"cover": "//p6-pc-sign.douyinpic.com/image-cut-tos-priv/7025cb44422dcaccfc345881233c547e~tplv-dy-resize-origshort-autoq-75:330.jpeg?biz_tag=pcweb_cover&from=3213915784&s=PackSourceEnum_AWEME_DETAIL&sc=cover&se=false&x-expires=2009851200&x-signature=fdARfkxJ0Tyd9UVrBPi4ZvATyZA%3D",
"cover_type": "jpeg",
"cover_base64": "/9j/4AAQSkZJRgABA..."
}
```

Loading…
Cancel
Save