分类目录归档:golang

分布式调度系统


distributedSchedulingTaskSystem

分布式调度系统

架构图

架构.png

主集群功能

任务管理HTTP接口:增删改查
任务日志HTTP接口:查看任务执行历史
任务控制HTTP接口:提供强制结束任务的接口

woker集群功能

任务同步:监听etcd中/cron/jobs/目录变化
任务调度:基于cron表达式计算,触发过期任务
任务执行:协程池并发执行多任务,基于etcdf分布式锁抢占
日志保存:捕获任务执行输出,保存到MongoDB

web页面

masterWeb.png

master实现

masterWeb.png

worker实现

masterWeb.png

启动

首先启动etcd集群(单机也可)和mongo;
其次配置master/main下的配置

Read more

新开发的斗鱼弹幕抓取搜索


架构.png 具体思路 根据斗鱼开发文档 https://open.douyu.com/source/api/63 进行websocket端抓取 协议.png
消息长度:4 字节小端整数,表示整条消息(包括自身)长度(字节数)。 消息长度出现两遍,二者相同。 消息类型:2 字节小端整数,表示消息类型。取值如下: 689 客户端发送给弹幕服务器的文本格式数据。 690 弹幕服务器发送给客户端的文本格式数据。 加密字段:暂时未用,默认为 0。保留字段:暂时未用,默认为 0。 websocket标准请查询 https://datatracker.ietf.org/doc/rfc6455/ 中文版讲解 https://seg

Read more