Browse Source

spider config update to support any website url

master
filesite 6 months ago
parent
commit
c3aa0cb7c3
  1. 10
      README.md
  2. 2
      config.mjs

10
README.md

@ -7,10 +7,11 @@ Hero scripts of machete. @@ -7,10 +7,11 @@ Hero scripts of machete.
支持以下平台视频分享网页数据抓取:
* 抖音网页版
* 快手网页版
* 西瓜视频网页版
* Bilibili
* bilibili - Bilibili,B站
* douyin - 抖音网页版
* kuaishou - 快手网页版
* xigua - 西瓜视频网页版
* website - 任意网页
爬虫采集到的数据结构见Machete项目的TaJian皮肤文档,目前实现了以下几个属性:
@ -31,6 +32,7 @@ Hero scripts of machete. @@ -31,6 +32,7 @@ Hero scripts of machete.
* tmp - 临时文件保存目录
* install_cloud.sh - hero服务端安装(非必需)
* install_hero.sh - hero客户端安装
* start_cloud.sh - hero服务端启动
* config.mjs - 爬虫配置文件
* spider.mjs - TaJian爬虫主程序

2
config.mjs

@ -14,7 +14,7 @@ let configs = { @@ -14,7 +14,7 @@ let configs = {
server_url: 'https://herounion.filesite.io', //联盟服务地址
name: 'machete_hero', //爬虫名字
description: '支持Machete的TaJian皮肤的hero爬虫', //爬虫简介
platforms: 'douyin,kuaishou,xigua,bilibili', //爬虫支持的平台
platforms: 'douyin,kuaishou,xigua,bilibili,website', //爬虫支持的平台
contracts: 'tajiantv', //爬虫支持的数据采集合约(可二次开发自定义)
country: 'cn', //爬虫所在国家
lang: 'zh', //爬虫支持的语言

Loading…
Cancel
Save