You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
77 lines
1.7 KiB
77 lines
1.7 KiB
/** |
|
* Hero管理、调度 |
|
* --使用流程-- |
|
* 1. 本地启动machete_hero爬虫，它会主动连接本联盟，并加入到爬虫队列等待处理任务（爬虫会定时上报自己的状态给联盟）； |
|
* 2. 联盟收到新任务时，存入待处理队列，等待在线的爬虫来获取； |
|
* 3. 爬虫获取到新任务处理完成后，将结果回传给联盟； |
|
* 4. 联盟收到爬虫处理结果触发回调通知并将数据结果发送给任务提交者； |
|
* 5. 任务提交者可自行根据任务编号来联盟查询任务结果； |
|
* |
|
* --并发处理规则-- |
|
* 同一个任务可以被分配给多个爬虫 |
|
* 同一个任务可以接收不同爬虫回传的数据，并完成回调 |
|
* |
|
* --数据缓存规则-- |
|
* 任务结果数据最大不超过1M，超过的当任务处理失败处理 |
|
* 任务数据保存最长 1 天 |
|
*/ |
|
|
|
import fs from 'node:fs'; |
|
import { readdir, readFile } from 'node:fs/promises'; |
|
import path from 'node:path'; |
|
import cron from 'node-cron'; |
|
|
|
|
|
class HeroUnion { |
|
|
|
//构造函数，设置默认配置 |
|
constructor() { |
|
this.stats = {}; |
|
|
|
} |
|
|
|
//--任务相关功能-- |
|
|
|
//提交新任务 |
|
createTask() { |
|
|
|
} |
|
|
|
//获取 1 个待处理的任务 |
|
getWaitingTask() { |
|
|
|
} |
|
|
|
//保存任务处理结果 |
|
async saveTaskById() { |
|
|
|
} |
|
|
|
//查询某个任务的状态及其数据 |
|
getTaskById() { |
|
|
|
} |
|
|
|
//任务完成触发回调通知 |
|
async handleTaskDone() { |
|
//当任务完成回传回来的时候调用此方法触发回调通知 |
|
|
|
} |
|
|
|
|
|
//--爬虫相关功能-- |
|
|
|
//接收爬虫状态上报 |
|
heroOnboard() { |
|
|
|
} |
|
|
|
//获取联盟状态 |
|
stats() { |
|
return this.stats; |
|
} |
|
|
|
} |
|
|
|
|
|
export default HeroUnion;
|
|
|