1. [TCP连接的状态详解以及故障排查](https://www.cnblogs.com/liqingwang/p/10265503.html)
2. [命令行的艺术](https://github.com/jlevy/the-art-of-command-line/blob/master/README-zh.md)


书签

### 0. 基本概念 


序列化：将内存中的对象按照某种既定的规则变成一个个二进制；
反序列化：二进制还原成对象。

序列化后的二进制保存在文件中就是持久化；
序列化的实现方便了文件在网络中传输。

在python中，提供了pickle库来实现，
但是pickle仅仅可以运用python语言环境下，目前主流的网络传输方案还是使用json，
如果对传输的速率有要求可以使用三方类库messagepack。

### 1. pickle库

dumps：对象序列化；
dump：对象序列化后存放到文件。

loads：对象反序列化；
load：对象从文件中读取，再反序列化。


```python
##示例
import pickle

file = './test'

s1 = 99
s2 = 'abc'
s3 = ['a','b',['c','d']]

# dump 方法      
with open(file,'wb+') as f:    
    pickle.dump(s1,f)
    pickle.dump(s2,f)
    pickle.dump(s3,f)
    
    print(f.tell())
    f.seek(-63,1)
    print(f.read())

# load 方法
with open(file,'rb') as f:
    s  = []
    for i in range(3):
        s.append(pickle.load(f))
        
    print(s)
```

    63
    b'\x80\x03Kc.\x80\x03X\x03\x00\x00\x00abcq\x00.\x80\x03]q\x00(X\x01\x00\x00\x00aq\x01X\x01\x00\x00\x00bq\x02]q\x03(X\x01\x00\x00\x00cq\x04X\x01\x00\x00\x00dq\x05ee.'
    [99, 'abc', ['a', 'b', ['c', 'd']]]


### 2. json

json是一种轻量级的数据交换格式。

json模块

方法：
dumps json编码
dump json编码并存入文件

loads json解码
load  json解码，从文件读取数据

json格式主要用于网络上文件传输。


```python
import json

d = {'name':'tom','age':20,'interest':['music','movie']}

j = json.dumps(d)
print(j)

d1 = json.loads(j)
print(d1)
```

    {"name": "tom", "age": 20, "interest": ["music", "movie"]}
    {'name': 'tom', 'age': 20, 'interest': ['music', 'movie']}


### 3. MessagePack 

messagepcak 是一个基于二进制高效的对象序列化类库，可以实现跨语言通信。

官网：https://msgpack.org

安装：
pip install msgpack-python

常用的方法：
packb 序列化对象
unpackb 反序列化对象

pack 序列化对象并保存到文件对象
unpack 反序列化对象从文件对象中读取


```python
import msgpack

d = {'person': [{'name': 'tom', 'age': 23}, {
    'name': 'mykernel', 'age': 18}], 'total': 2}

b = msgpack.packb(d)
print(len(b))
print(b)

d1 = msgpack.unpackb(b)
print(d1)

d2 = msgpack.unpackb(b, raw=False)
print(d2)
```

    51
    b'\x82\xa6person\x92\x82\xa4name\xa3tom\xa3age\x17\x82\xa4name\xa8mykernel\xa3age\x12\xa5total\x02'
    {b'person': [{b'name': b'tom', b'age': 23}, {b'name': b'mykernel', b'age': 18}], b'total': 2}
    {'person': [{'name': 'tom', 'age': 23}, {'name': 'mykernel', 'age': 18}], 'total': 2}


1.存储数据


```python
import msgpack
var = {'a': 'this', 'b': 'is', 'c': 'a test'}
with open('file.name', 'wb') as f:
    msgpack.dump(var, f)
```

2.取出数据


```python
import msgpack
with open('file.name', 'rb') as f:
    var = msgpack.load(f)
print(var)
```

    {b'a': b'this', b'b': b'is', b'c': b'a test'}



python的序列化与反序列化

### 1. 操作系统级别监控项目
参考文档：[阿里云监控项解析](https://blog.csdn.net/weixin_30823833/article/details/97148459)

#### 1.  cpu相关
**当前空闲CPU百分比**
```bash
 top -n 1|grep Cpu|awk -F "," '{print $1}'|awk -F " " '{print $2}'
```
**当前内核空间占用CPU百分比**
```bash
top -n 1|grep Cpu|awk -F "," '{print $2}'|awk -F " " '{print $2}'
```
**改变过优先级的进程占用CPU的百分比**
```bash
top -n 1|grep Cpu|awk -F "," '{print $3}'|awk -F " " '{print $2}'
```
**当前等待IO操作的CPU百分比**
```bash
top -n 1|grep Cpu|awk -F "," '{print $5}'|awk -F " " '{print $2}'
该项数值比较高说明有很频繁的IO操作
```

#### 2.  内存
**内存总容量**
```bash
top -n 1|grep buff/cache|awk -F '[, ]+' '{print $4}'
```
**当前空闲内存**
```bash
top -n 1|grep buff/cache|awk -F '[, ]+' '{print $7}'
```
**当前已使用内存**
```bash
top -n 1|grep buff/cache|awk -F '[, ]+' '{print $10}'
```
#### 3. 负载

**一分钟负载**
```bash
top -n 1|grep user|awk -F '[, ]+' '{print $11}'
```
**五分钟负载**
```bash
top -n 1|grep user|awk -F '[, ]+' '{print $12}'
```
**十五分钟负载**
```bash
top -b -n 1|grep user|awk '{print $NF}'

#### 4. 磁盘
```
**磁盘占用百分比**
```bash
df | grep /dev|grep -v "shm\|boot\|devtmpfs"|awk '{print $5}'|sed 's/\%.*$//'
```

### 2. memcached

### 3. redis

### 4. nginx 

需要监控active connections，当前活动链接数
reading，正在读取客户端的报文首部的请求，不能太大
writing 正在向客户端发生链接的请求
waiting 等待,空链接



### 5. SNMP



### 6. mysql
#### 1. 性能
**QPS**
数据库每秒处理的请求数量
```bash
cat Querry_qps.sh

#!/bin/bash

OLD_QPS=`echo "show global status where Variable_name='Com_select';"|mysql -p3306 -hlocalhost -uroot -pxxx|grep Com_select |grep Com_select |awk '{print $2}'`
sleep $1

NEW_QPS=`echo "show global status where Variable_name='Com_select';"|mysql -p3306 -hlocalhost -uroot -pxxx|grep Com_select |grep Com_select |awk '{print $2}'`

echo $OLD_QPS
echo $NEW_QPS
result=`expr $NEW_QPS-$OLD_QPS|bc`
echo $result
printf "%.2f\n" `echo "scale=2;$result/$1"|bc`



```
**TPS**
```bash
cat Querry_tps.sh
#!/bin/bash

OLD_COM_INSERT=`echo "show global status where Variable_name='Com_insert';"|mysql -p3306 -hlocalhost -uroot -pxxx|grep Com_insert|awk '{print $2}'`
OLD_COM_UPDATE=`echo "show global status where Variable_name='Com_update';"|mysql -p3306 -hlocalhost -uroot -pxxx|grep Com_update|awk '{print $2}'`
OLD_COM_DELETE=`echo "show global status where Variable_name='Com_delete';"|mysql -p3306 -hlocalhost -uroot -pxxx|grep Com_delete|awk '{print $2}'`
sleep $1
NEW_COM_INSERT=`echo "show global status where Variable_name='Com_insert';"|mysql -p3306 -hlocalhost -uroot -pxxx|grep Com_insert|awk '{print $2}'`
NEW_COM_UPDATE=`echo "show global status where Variable_name='Com_update';"|mysql -p3306 -hlocalhost -uroot -pxxx|grep Com_update|awk '{print $2}'`
NEW_COM_DELETE=`echo "show global status where Variable_name='Com_delete';"|mysql -p3306 -hlocalhost -uroot -pxxx|grep Com_delete|awk '{print $2}'`

result=`echo "($NEW_COM_INSERT - $OLD_COM_INSERT) + ($NEW_COM_UPDATE - $OLD_COM_UPDATE) + ($NEW_COM_DELETE - $OLD_COM_DELETE)" | bc`
printf "%.2f\n" `echo "scale=2;$result/$1"|bc`

```



zabbix监控web网站
zabbix自治愈
zabbix报警，递归报警，分别发给指定的人
    修改报警的内容

邮件报警
短信报警
微信报警

监控的作用:
1. 根据历史经验分析服务器的性能和未来趋势，统计汇报，服务器采购指标
2. 当业务故障时候实现自治愈
3. 当业务故障时候第一时间通知运维修复
4. 压测查看服务器的性能，找出瓶颈所在









zabbix监控服务

### 1. csv文件

csv：Comma-Separated Values 
半结构化数据
逗号分割值，可以使用office或者wps打开。

模块：csv
csv.reader(csvfile,dialect='excel',\**fmtparams)

csv.writer(csvfile,dialect='excel',\**fmtparams)
返回一个DictWriter实例。

主要支持的方法有：
writerow，写入一行
writerows，写入多行

手动写入csv文件：


```
import csv
from pathlib import Path
row = [4,'tom',22,'home']
rows = [['1','hello'],['22','aaaaaa']]
p = Path('../tmp/mycsv/test.csv')

if not p.parent.exists():
    p.parent.mkdir(parents=True)
    p.touch()

with open(str(p),'a+') as f:
    writer = csv.writer(f)
    writer.writerow(row)
    writer.writerows(rows)
    
with open(str(p),'r') as r:
    reader = csv.reader(r)
    for line in reader:
        if line:  #去掉空格
            print(line)

```

    ['4', 'tom', '22', 'home']
    ['1', 'hello']
    ['22', 'aaaaaa']


### 2. ini文件

常见的配置文件格式

configparser 模块 ConfigParser 类

读
read(filenames,encoding=None)
sections()返回section列表
add_sections(section_name) 增加一个section
has_sectiones(section_name) 判断section是否存在

option(section) 返回section的所有option
has_option(section,option) 判断section是否存在这个option

get(section,option,\*,raw=False,vars=None[,fallback])
从指定的断的选项上取值，如果找到就返回，如果没找到就去拿默认(default)配置信息。


items(section,raw=False,vars=None)

写：
set(section,option,value)

移除：
remove_section(section)
remove_option(section,option)

write(fileobject,space_around_delimiters=True)
将当前的config的所有内容写入fileobject中，一般open函数使用w模式，space_around_delimiters=True支持等号左右两侧有空格。


```
from configparser import ConfigParser

cfg = ConfigParser()
cfg.read('../tmp/ini/php.ini')
print(cfg.sections())

for section in cfg.sections():
    for opt in cfg.options(section):
        pass
        ##print(section,opt)

for k,v in cfg.items():
    print(k,v)
    
if not cfg.has_section('test'):
    cfg.add_section('test')

#写入
cfg.set('test','test1','11')
cfg.set('test','tree','i am tree')

with open('../tmp/ini/php.ini','w') as f:
    cfg.write(f)

#获取
a = cfg.get('test','test1')
#默认获取的为字符串
print(type(a))
print(a)

#明确知道value的值的类型可以直接提取出值，但是如果对应类型错误则会报错
b = cfg.getint('test','test1')
print(type(b))
print(b)


```

    ['test']
    DEFAULT <Section: DEFAULT>
    test <Section: test>
    <class 'str'>
    11
    <class 'int'>
    11



python各类配置文件写法

本文主要介绍跟文件操作相关的模块。

### 1. 创建

1. 创建目录
#p is PosixPath('../tmp/a')
p = p / 'c'
os.mkdir(p)
p.mkdir()

2. 创建文件
p.touch()

### 2. 修改

1. 修改文件权限
os.chmod('test',0o777)
os.chmod(p,0o777)
p is pathlib.PosixPath

2. 修改文件属主和属组
os.chown('test',uid,gid)


### 3. 复制

复制（copy） 导入 shutil 库：
import shutil

1. 仅仅复制文件
copyfile(src,dst,*,follow_symlinks=True)

2. 仅仅复制权限
copymode(src,dst,*,follow_symlinks=True)

3. 复制元数据，包含权限
copystat(src,dst,*,follow_symlinks=True)

4. 复制文件内容，部分元数据，不包括创建时间和修改时间
copy

5. 复制文件内容，全部元数据。常用
copy2

6. 递归复制目录，默认使用copy2。
copytree(src,dst,symlinks=False,ignore=None,copy_function=copy2,ignore_dangling_symlinks=False)
src和dst必须是目录，src必须存在，dst必须不存在
ignore = func 提供一个callable，忽略。

### 4. 删除

1. 删除文件
os.remove()

2. 递归删除目录
shutil.rmtree(path,ignore_errors=False,onerroe=None)
ignore_errors=True 时候忽略错误，
同rm -rf  危险操作


### 5. 移动

1. 移动或者重命名文件
shutil.move(src,dst,copy_function=copy2)
move 本身调用的是os.rename方法
shutil.move('../tmp/a/readme.txt','../tmp/')

2. rename，重命名
p = Path('../tmp/a/readme.txt')
p1 = Path('../tmp/a/readme1111.txt')
os.rename(p,p1)
无返回
p = Path('../tmp/a/readme.txt')
p1 = Path('../tmp/a/readme1111.txt')
shutil.move(p1,p)
返回
move后的路径：PosixPath('../tmp/a/readme.txt')