鸽了好久的python进阶系列终于要开始啦
主要是讲一些python 中的函数,类,魔法方法,异步io,多线程,多进程等是学习python中不可缺少的部分。我将对Python这些概念做一些我自己的理解,并带大家深入理解这些概念和一些技巧。
喜欢的小伙伴可以扫下面的图片的二维码。(钉钉)
linux 基础笔记
百度网盘地址 链接:https://pan.baidu.com/s/19SIIEMO00CMixfCUlqt9LA 提取码:1rbs 复制这段内容后打开百度网盘手机App,操作更方便哦 本人学习linux基础的笔记基本上都是可以小白能看 懂的文章和ppt ,大部分笔记疑问可以在google中找到。 可以作为学习路线学习。
golang学习笔记
百度网盘地址 链接: https://pan.baidu.com/s/10xUs5NBGnU8xjprdtocvsw 密码: q57w
学习计算机网络的笔记
百度网盘地址 链接: https://pan.baidu.com/s/1hjNPnLLpNuIxtTzN5FCJQg 密码: u0ps
分布式调度系统
distributedSchedulingTaskSystem
分布式调度系统
架构图
主集群功能
任务管理HTTP接口:增删改查
任务日志HTTP接口:查看任务执行历史
任务控制HTTP接口:提供强制结束任务的接口
woker集群功能
任务同步:监听etcd中/cron/jobs/目录变化
任务调度:基于cron表达式计算,触发过期任务
任务执行:协程池并发执行多任务,基于etcdf分布式锁抢占
日志保存:捕获任务执行输出,保存到MongoDB
web页面
master实现
worker实现
启动
首先启动etcd集群(单机也可)和mongo;
其次配置master/main下的配置
jinjia 基础语法
for in
{% for i in list %}
{% endfor %}
{% for k,v in dict.items() %}
{% endfor %}
if else
{% if i=1 %}
{{ i }}
{% elif i!=1 %}
{{ i }}
{% else %}
{{ i }}
{% endif %}
with
{% with data %}
{% endwith %}
url_for
<form class="form-inline" action="{{ url_for('web.search') }}" method="get
jinjia 模板继承
block base模板
{% block title %}
<title>鱼书</title>
{% endblock %}
extends 加载 base模板
{% extends "base.html" %}
{% block title %}
<link rel="stylesheet" href="{{ url_for('static', filename='3rd/ui/remodal.css')}}">
<link rel="stylesheet" href="{{ url_for('static', filena
新开发的斗鱼弹幕抓取搜索
具体思路
根据斗鱼开发文档 https://open.douyu.com/source/api/63
进行websocket端抓取
消息长度:4 字节小端整数,表示整条消息(包括自身)长度(字节数)。
消息长度出现两遍,二者相同。
消息类型:2 字节小端整数,表示消息类型。取值如下:
689 客户端发送给弹幕服务器的文本格式数据。
690 弹幕服务器发送给客户端的文本格式数据。
加密字段:暂时未用,默认为 0。保留字段:暂时未用,默认为 0。
websocket标准请查询
https://datatracker.ietf.org/doc/rfc6455/
中文版讲解
https://seg
超大xml解析
from xml import sax
class MovieHandler(sax.ContentHandler):
def __init__(self):
# 初始化数据,并增加一个当前数据
self.CurrentData = ""
self.type = ""
self.format = ""
self.year = ""
self.rating = ""
self.stars = ""
self.description = ""
# 文档启
linux 新添加的硬盘格式化并挂载到目录下(转载)
转载自https://www.cnblogs.com/ddbear/p/7009736.html
需求: 新增加一块硬盘sdb,将sdb分区,只分一个区,格式化,挂载到目录/ssd下。
1、 查看现在已有的分区状态
# df –l
图中显示,没有看到sdb硬盘
2、 查看服务器安装的硬盘状态(包括格式化和未格式化)
fdisk –l
图中显示,有sdb硬盘,但是没有分区。
3、 添加新分区
# fdisk /dev/sdb
按照以下红框输入
N 回车
P 回车
1 回车
两次回车
W 回车
用以下命令查看分区
fdisk –l
图中红框显示已多出了一个分区,但是还没