本文为记录，平时百度或者谷歌搜索的知识点，
这些东西很多都是基础的需要记忆的，
提升效率！

### 1. maven 阿里云镜像加速配置


```bash
vim /etc/maven/settings.xml
 <mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>*</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
  </mirror> 

```

### 2. 将shell的if缩写到一行

```bash
[[ ! -d /data ]] && mkdir /data -pv 
# 如果目录不存在则创建文件
#或者
if [ 0 -eq $? ]; then echo "命令执行成功"; else echo "命令执行失败"; fi	
```

### 3. systemd配置文件

systemd 配置文件存在于以下三个文件夹中：          

1. /etc/systemd/system  存放系统启动的默认级别及启动的unit的软连接，优先级最高。
2. /run/systemd/system，系统执行过程中产生的服务脚本，优先级次之。
3. /usr/lib/systemd/system 存放系统上所有的启动文件。优先级最低
Ubuntu 18.4 发现在/lib/systemd/system/下，
发现方法： find / -name ssh.service

### 4. echo颜色

```bash
[root@k8s-node02 test]# echo -e "\e[30m test content黑 \e[0m"
 test content黑 
[root@k8s-node02 test]# echo -e "\e[31m test content红 \e[0m"
 test content红 
[root@k8s-node02 test]# echo -e "\e[32m test content绿 \e[0m"
 test content绿 
[root@k8s-node02 test]# echo -e "\e[33m test content黄 \e[0m"
 test content黄 
[root@k8s-node02 test]# echo -e "\e[34m test content蓝 \e[0m"
 test content蓝 
[root@k8s-node02 test]# echo -e "\e[35m test content紫 \e[0m"
 test content紫 
[root@k8s-node02 test]# echo -e "\e[36m test content天蓝 \e[0m"
 test content天蓝 
[root@k8s-node02 test]# echo -e "\e[37m test content白 \e[0m"
 test content白
```

### 5. set -eux

set -eux一般使用在linux脚本中
作业：以调试的方式执行shell，只识别定义过的变量，同时脚本传回值非0，直接结束shell。

### 6. cp执行命令，如何直接覆盖不提示 

```bash
[root@VM_145_128 ~]# alias cp
alias cp='cp -i'

1、永久关闭当前用户下的cp别名配置

sed -i "s/alias cp='cp -i'/#alias cp='cp -i'/g" ~/.bashrc 

source ~/.bashrc 

 
2、屏蔽当前命令使用别名

[root@VM_166_132 ~]# cat test1.txt
ddddddd
[root@VM_166_132 ~]# \cp -f test.txt test1.txt
[root@VM_166_132 ~]# cat test1.txt
test1
```

###  7. Navicat一点击菜单栏就停止工作

关闭有道词典的屏幕取词功能

### 8. mysql唯一索引

创建唯一索引的目的不是为了提高访问速度，而只是为了避免数据出现重复。唯一索引可以有多个但索引列的值必须唯一，索引列的值允许有空值。如果能确定某个数据列将只包含彼此各不相同的值，在为这个数据列创建索引的时候就应该使用关键字UNIQUE把它定义为一个唯一索引。

### 9. grep 不区分大小写
grep -i

### 10. 如何排除第一行显示？ 

```bash
# tail
cat 123.txt |tail -n +2
## +2 表示从第二行开始显示，包括第二行

# awk
awk 'NR!=1 { print }' 123.txt

# sed 
sed -n '1!p' 123.txt
## n! 表示不需要打印的行
```

### 11. 判断变量不存在 

```bash
ip=$(ip addr|sed -nr 's#^.*inet (.*)/24.*$#\1#gp')
if [ ! $ip ];then
    echo "not ok"
else
    echo  "ok"
fi
```

### 12. Shell中去除字符串前后空格的方法

[参考文档](https://www.jb51.net/article/157327.htm)
```bash
# 简单命令
#eval过滤
eval echo " A BC "
# awk过滤
echo " A BC "|awk '$1=$1'
```

### 13. 将字符串中的多个空格替换成一个空格
```bash
#
tr -s ' '
## -s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。
```

### 14. bash 字符串重复

```bash
#!/bin/bash

for i in `seq 1 4`
do
A="$A!"
A="$A"
echo $A
done
~      
```

搜索联盟

### 1. 概述


官方文档：https://dev.mysql.com/doc/refman/5.7/en/partitioning-overview.html

1. 通过删除仅包含该数据的分区（或多个分区），通常可以轻松地从分区表中删除失去其实用性的数据。相反，在某些情况下，通过添加一个或多个新分区来特别存储该数据，可以极大地促进添加新数据的过程。

2. 由于满足给定WHERE子句的数据只能存储在一个或多个分区上，因此可以大大优化某些查询，这会自动从搜索中排除任何剩余的分区。由于在创建分区表后可以更改分区，因此可以重新组织数据以增强在首次设置分区方案时可能不常使用的频繁查询。这种排除不匹配分区（以及它们包含的任何行）的能力通常称为 分区修剪。




 查看是否支持分区
```
MariaDB []> SHOW PLUGINS;
```
|  Name | Status | Type |
| -------- | -------- | -------- |
| partition     | ACTIVEt   | STORAGE ENGINE     |


### 2.完成一个空的分区表创建

#### 2.1 Create Table: 


```bash
CREATE TABLE `test1` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`sip` varchar(32) NOT NULL, 
`insertTime` timestamp NOT NULL,
PRIMARY KEY (`id`,`insertTime`)
)ENGINE=InnoDB  
PARTITION BY RANGE (UNIX_TIMESTAMP(`insertTime`))(
PARTITION p0 VALUES LESS THAN (UNIX_TIMESTAMP('2019-03-30 00:00:00')),
PARTITION p1 VALUES LESS THAN (UNIX_TIMESTAMP('2019-03-31 00:00:00')),
PARTITION p2 VALUES LESS THAN (UNIX_TIMESTAMP('2019-04-01 00:00:00'))
);
```

####  2.2 创建表后, 数据库目录下会生成3个分区的表空间


```bash
	[root@localhost ~]# ls /var/lib/mysql/test -lh
	总用量 41M
	-rw-rw----. 1 mysql mysql 14K 3月  29 11:37 test1.frm
	-rw-rw----. 1 mysql mysql  44 3月  29 11:37 test1.par
	-rw-rw----. 1 mysql mysql 96K 3月  29 11:38 test1#P#p0.ibd
	-rw-rw----. 1 mysql mysql 96K 3月  29 11:38 test1#P#p1.ibd
	-rw-rw----. 1 mysql mysql 96K 3月  29 11:38 test1#P#p2.ibd
```

**插入测试数据:**
```bash
	INSERT INTO test1(sip,insertTime) VALUES ('1.1.1.4','2019-03-27 01:00:03'); #p0
	INSERT INTO test1(sip,insertTime) VALUES ('1.1.1.4','2019-03-30 01:00:03'); #p1
	INSERT INTO test1(sip,insertTime) VALUES ('1.1.1.4','2019-03-31 01:00:03'); #p2
```

#### 2.3 分区查询

```bash
mysql 5.6之后才引入分区查询
	MariaDB [test]> SELECT * FROM test1 partition(p2);
```
* 查看分区
```
	MariaDB [test]> SELECT TABLE_SCHEMA, TABLE_NAME, PARTITION_NAME, PARTITION_EXPRESSION, PARTITION_DESCRIPTION FROM INFORMATION_SCHEMA.partitions  WHERE TABLE_NAME LIKE 'cdr' AND TABLE_SCHEMA LIKE SCHEMA();
```
* 查看分区数目
	```
	MariaDB [test]> SELECT count(PARTITION_NAME) FROM INFORMATION_SCHEMA.partitions  WHERE TABLE_NAME LIKE 'cdr' AND TABLE_SCHEMA LIKE SCHEMA();
	```
* 根据创建的分区范围界定来查询数据, 确定是对应哪个分区
```
	MariaDB [test]> explain partitions SELECT * FROM test1 WHERE insertTime="2019-03-30 01:00:03";
```

| id  | select_type  | table  | partitions | type | possible_keys | key  | key_len | ref  | rows | Extra       |
| -------- | -------- | -------- |-------- | -------- | -------- | -------- | -------- | -------- | -------- | -------- | 
| 1     | SIMPLE     | test1    | p1         | ALL  | NULL          | NULL | NULL    | NULL |    2 | Using where |

```
    MariaDB [test]> explain partitions SELECT * FROM test1 WHERE insertTime="2019-03-27 01:00:03";
```
|  id   | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows | Extra       |
|-------- | -------- | -------- |-------- | -------- | -------- | -------- | -------- | -------- | -------- | -------- | 
| 1 | SIMPLE      | test1 | p0         | ALL  | NULL          | NULL | NULL    | NULL |    2 | Using where |

```
	MariaDB [test]> explain partitions SELECT * FROM test1 WHERE insertTime="2019-03-31 01:00:03";
```
|id   | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows | Extra       |
|-------- | -------- | -------- |-------- | -------- | -------- | -------- | -------- | -------- | -------- | -------- | 
| 1 | SIMPLE      | test1 | p2         | ALL  | NULL          | NULL | NULL    | NULL |    2 | Using where |


#### 2.4 查看分区字段的信息

* 查看最小插入和最大插入时间
```
select min(insertTime),max(insertTime) from test1;
```
*  查看每天插入数据的条数 
```
 select date(insertTime),count(*) from test group by date(insertTime);
```

#### 2.5 删除分区


* 命令行删除
```
MariaDB [test]> alter table test1 drop partition p0;
````
* 数据库下对应的分区会消失
```
[root@localhost ~]# ls /var/lib/mysql/test -lh
	总用量 41M
	-rw-rw----. 1 mysql mysql 14K 3月  29 11:41 test1.frm
	-rw-rw----. 1 mysql mysql  40 3月  29 11:41 test1.par
	-rw-rw----. 1 mysql mysql 96K 3月  29 11:40 test1#P#p1.ibd
	-rw-rw----. 1 mysql mysql 96K 3月  29 11:40 test1#P#p2.ibd
```
* 分区中涵盖的数据也会消失
```
SELECT count(*) FROM test1; 
```

### 3. 对已经存在的数据表进行range分区

#### 3.1 备份表, 只有插入数据


```bash
mysqldump --no-create-info testdb tb1 > cdrtest.sql
```

#### 3.2 删除表
```
DROP TABLE tb1;
```

#### 3.3 创建表, 要根据已经创建表格式, 将需要分区的字段作为主键或复合主键
* 查看原表创建语句 
```bash
SHOW CREATE TABLE tb1;
```
* 修改原来的语句, 生成新的语句
```bash
CREATE TABLE `tb1` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `sip` varchar(32) NOT NULL,
  `insertTime` timestamp NOT NULL,
  PRIMARY KEY (`id`,`insertTime`)
) ENGINE=InnoDB;
```

#### 3.4 表不存在分区, 将主键字段作为范围去分区, timestamp类型只能使用UNIX_TIMESTAMP函数
```bash
ALTER TABLE tb1 PARTITION by range(UNIX_TIMESTAMP(insertTime))(
partition par0 values less than (UNIX_TIMESTAMP('2016-02-01 00:00:00')),
partition par1 values less than (UNIX_TIMESTAMP('2019-03-29 00:00:00')),
partition par2 values less than (UNIX_TIMESTAMP('2019-03-30 00:00:00'))
);
```

#### 3.5 添加分区， 已经存在分区了
```
ALTER TABLE cdr add partition (partition par3 values less than (UNIX_TIMESTAMP('2019-04-01 00:00:00')));
```

#### 3.6 删除分区, 上面已经有命令

### 4. 对已经存在的数据表进行list分区

#### 4.1 创建表, 要根据已经创建表格式, 将需要分区的字段作为主键或复合主键
* 查看原表创建语句 
```bash
SHOW CREATE TABLE tb1;
```

* 修改原来的语句, 生成新的语句
```bash
CREATE TABLE `tb1` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `sip` varchar(32) NOT NULL,
  `insertTime` timestamp NOT NULL,
  PRIMARY KEY (`id`,`response_code`)
) ENGINE=InnoDB;
```

#### 4.2 表不存在分区, 对一个字段可以存在的范围去定义分区. 而且只能插入满足的定义分区的数据
```bash
ALTER TABLE cdr PARTITION BY list(response_code)
(
partition p200 values in (200),
partition p404 values in (404),
partition p503 values in (503),
partition p901 values in (901),
partition p902 values in (902),
partition p903 values in (903),
partition p0 values in (0)
);
```

### 5. 脚本小结

```bash
#!/bin/bash
#

user='root'
password=''
DB='test'
TABLE='cdr'
backpath=/var/tmp/${TABLE}insert.sql

pre3date=`date -d"-3 days" +%Y-%m-%d`
curdate=`date +%Y-%m-%d`
after3date=`date -d"+3 days" +%Y-%m-%d`

function reset() {
# 判断表是否支持分区
if ! mysql -u${user} -p${password} -D ${DB} -e "show variables like '%partition%'" | grep -e "have_partitioning" | grep -q "YES"; then
	echo "no support PARTITION"
	exit 1
fi

# 备份
if ! mysqldump -u${user} -p${password} --no-create-info --single-transaction -R -E --triggers ${DB} ${TABLE} > ${backpath}; then
	echo error.....
fi

# 删除
mysql -u${user} -p${password} -D ${DB} << EOF
DROP TABLE IF EXISTS ${TABLE};
CREATE TABLE ${TABLE} (
  id int(11) NOT NULL AUTO_INCREMENT,
  sip varchar(32) NOT NULL,
  insertTime timestamp,
  PRIMARY KEY ($1,$2)
) ENGINE=InnoDB;
EOF

# 导入
mysql -u${user} -p${password} -D ${DB} < ${backpath}

# 删除备份
rm -rf ${backpath}
}

function cron_range() {
# 判断分区数
count=`mysql -u${user} -p${password} -D ${DB} -e "SELECT count(PARTITION_NAME) FROM INFORMATION_SCHEMA.partitions  WHERE TABLE_NAME LIKE \"${TABLE}\" AND TABLE_SCHEMA LIKE SCHEMA();" | grep -v "^count" `
echo 分区数量 ${count}
if [ ${count} -ne 0 ]; then
	# 存在分区, 先删除三天前的分区
	parname=par`echo ${pre3date} | tr -d '-'`
	mysql -u${user} -p${password} -D ${DB} -e "ALTER TABLE ${TABLE} drop partition ${parname}"
	if [ $? -ne 0 ]; then
		# 说明还未到第三天, 删除不了
		echo "drop range partition pre3, error...."
	else
		# 刚至第三天, 可以删除, 就增加后三天
		parname=par`echo ${after3date} | tr -d '-'`
		mysql -u${user} -p${password} -D ${DB} -e "ALTER TABLE cdr add partition (partition ${parname} values less than (UNIX_TIMESTAMP(\"${after3date}\")));"
	fi

else
	# 不存在分区,将就今天前和后3天前分区. 3天后的现在过1s就不能写入了.就有分区了
	echo "no partition"
	parname1=par`echo ${curdate} | tr -d '-'`
	parname2=par`echo ${after3date} | tr -d '-'`
	mysql -u${user} -p${password} -D ${DB} -e "ALTER TABLE ${TABLE} PARTITION by range(UNIX_TIMESTAMP(insertTime))(partition ${parname1} values less than (UNIX_TIMESTAMP(\"${curdate}\")), partition ${parname2} values less than (UNIX_TIMESTAMP(\"${after3date}\")));"
fi
}

function cron_list() {
# 判断分区数
count=`mysql -u${user} -p${password} -D ${DB} -e "SELECT count(PARTITION_NAME) FROM INFORMATION_SCHEMA.partitions  WHERE TABLE_NAME LIKE \"${TABLE}\" AND TABLE_SCHEMA LIKE SCHEMA();" | grep -v "^count" `
echo 分区数量 ${count}
if [ ${count} -ne 0 ]; then
	# 存在分区, 重建901
	ls -lhS /opt/mysql/data/cdn_log_system/cdr*
    mysql -u${user} -p${password} -D ${DB} -e "ALTER TABLE cdr DROP PARTITION p901;"
    mysql -u${user} -p${password} -D ${DB} -e "ALTER TABLE cdr ADD PARTITION (PARTITION p901 VALUES IN (901));"
else
	echo "no partition"
    echo "创建分区error_code in (200 404 503 901 902 903)"
	mysql -u${user} -p${password} -D ${DB} -e "ALTER TABLE cdr PARTITION BY list(response_code) ( partition p200 values in (200), partition p404 values in (404), partition p503 values in (503), partition p901 values in (901), partition p902 values in (902), partition p903 values in (903), partition p0 values in (0) );"
fi
}

if [ $UID -eq 0 ]; then
	# 将分区字段转换为主键
#	reset id insertTime
	# 添加range分区
#	cron_range

	# 添加对error_code的list分区
#	reset id response_code
	cron_list
fi

```

mysql表分区

官方文档：https://aws.amazon.com/cn/premiumsupport/knowledge-center/eks-cluster-connection/

# 配置aws configure

**前期准备工作**

从iam账户管理获取用户的ak/sk

获取region名称，这个直接看浏览器地址

output格式，建议json

```bash
root@mybot:~/.kube# aws configure
AWS Access Key ID [*******************]: 
AWS Secret Access Key [*******************]: 
Default region name [None]: us-east-1
Default output format [None]: json
```

# 生成kubeconfig

检查当前身份，验证您使用的是具有 Amazon EKS 集群权限的正确凭证：

````bash
root@mybot:~/.kube# aws sts get-caller-identity

{
    "UserId": "**********",
    "Account": "**********",
    "Arn": "**********"
}
# 如此返回，ok

# 查询你可以管理的集群
root@mybot:~/.kube# aws eks list-clusters
````

生成**kubeconfig**

```bash
aws eks --region region update-kubeconfig --name cluster_name

# 注意：请将 region 替换为您的 AWS 区域。将 cluster_name 替换为您的集群名称。
# 运行之后会自动放在 /root/.kube/config里边 

```

测试

```bash
 kubectl get svc
```















使用eks的aws命令来生成kubeconfig文件

# django mvc

- M 与数据库交互
- V 视图，用户交互
- C 控制，调用model完成存取数据，分发请求到view。

![image-20220616153646169](http://myapp.img.mykernel.cn/2022/06/16/20220616153649.png)

 

1. user -> nginx http

2. nginx -> uwsgi: 

   - http --http   , nginx http_proxy
   - uwsgi二进制协议   --scoket, nginx include uwsgi; uwsgi_proxy

3. uwsgi调用本地的application源码，传递environ, start_response

4. start_response中完成Url映射，进入view之前进入多个middlewares

5. 到达view

   - 基于函数视图, fn(request,*args,**kwargs)
   - 基于类的视图, as_view, 返回内层函数view, view完成实例化，dispatch，基于request.method派发请求到当前实例不同属性。

   - DRF view就是原生的django view； APIView支持 request, response加强, request.data接收所有数据； 认证，授权，限流。 GenericAPIView， 将序列化出来，进去，update, 部分update, 删除中的共同的序列化器，查询集抽成属性；其他功能由mixin混合。

     a. DRF APIView，dispatch之前，initrequest, 进行加强request, 认证，授权，限流

     b. 分发请求

6. view处理完成，响应内容

   - 原生，处理完成之前start_response处理响应首部，再返回响应。
   - drf, 处理完成之前同样处理首部，之后把字典序列化。

7. 响应经过层层中间件，返回给uwsgi，uwsgi响应给nginx, 再响应给用户。





1. 概述

django mvc

Session和Cookie

历史