配置管理之linux上ftp封板权限使用方案

1. 管理用户: p2user, 默认用户组: p2user,
HOME目录:/home/p2user
chmod 750 /home/p2user
mkdir /home/p2user/pkg 该目录用于放项目组上传的包
chmod 770 /home/p2user/pkg 确保与p2user同一个组的用户有写权限,以便其它用户可上传包
2. 分配给项目组上传包的用户: ftpuser, 默认用户组: ftpuser
3. 给ftpuser添加到p2user组中:usermod -aG p2user ftpuser
目的:使得ftpuser可以访问 /home/p2user/pkg

上传包的操作步骤:
1. 管理员用 p2user 先在 /home/p2user/pkg touch 一个空文件,假设名字为: xxx.zip
2. 项目组用 ftpuser 上传实际的包: xxx.zip 覆盖 /home/p2user/pkg 下的同名文件
3. 管理员用 p2user 在filezilla图形界面上取消 xxx.zip同组用户的写权限,此时ftpuser无法再上传覆盖同名包

zip解压后文件名乱码

解压zip文件后,中文文件名存在乱码问题解决方案

zipfile解压中文乱码问题解决

实用程序,解压中文乱码问题的解决

python 编码、解码原理的历史缘由

Python 3 查看字符编码方法

encode()和decode()的区别:
参考
Python3严格区分文本(str)和二进制数据(Bytes),文本总是Unicode,用str类型,二进制数据则用Bytes类型表示。
以Unicode表示的str通过encode()方法可以编码为指定的bytes

decode 指 解码:用于将 bytes 类型的二进制数据转换为 str 类型
encode 指 编码:用于将 str 类型转换成 bytes 类型

str和bytes之间的转换
str.encode(‘encoding’) -> bytes
bytes.decode(‘encoding’) -> str

注意:
str可以encode为Bytes,但是Bytes不一定可以decode为str。实际上Bytes.decode(‘latin1’)可以称为str,也就是说decode使用的编码决定了decode()的成败,同样的,UTF-8编码的Bytes字符串用GBK去decode()也会出错。

字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码, 即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

【例 1】将 str 类型字符串“C语言中文网”转换成 bytes 类型:
>>> str = “C语言中文网”
>>> str.encode()
b’C\xe8\xaf\xad\xe8\xa8\x80\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91′

此方式默认采用 UTF-8 编码,也可以手动指定其它编码格式,例如:
>>> str = “C语言中文网”
>>> str.encode(‘GBK’)
b’C\xd3\xef\xd1\xd4\xd6\xd0\xce\xc4\xcd\xf8′

【例 2】
>>> str = “C语言中文网”
>>> bytes=str.encode()
>>> bytes.decode()
‘C语言中文网’

注意,如果编码时采用的不是默认的 UTF-8 编码,则解码时要选择和编码时一样的格式,否则会抛出异常,例如:
>>> str = “C语言中文网”
>>> bytes = str.encode(“GBK”)
>>> bytes.decode() #默认使用 UTF-8 编码,会抛出以下异常
Traceback (most recent call last):
File “”, line 1, in
bytes.decode()
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xd3 in position 1: invalid continuation byte
>>> bytes.decode(“GBK”)
‘C语言中文网’

总的意思:想要将其他的编码转换成utf-8必须先将其解码成unicode然后重新编码成utf-8,它是以unicode为转换媒介的 如:s=’中文’ 如果是在utf8的文件中,该字符串就是utf8编码,如果是在gb2312的文件中,则其编码为gb2312。这种情况下,要进行编码转换,都需要先用 decode方法将其转换成unicode编码,再使用encode方法将其转换成其他编码。通常,在没有指定特定的编码方式时,都是使用的系统默认编码创建的代码文件

【参考】
两个差异
Python3的str 默认不是bytes,所以不能decode,只能先encode转为bytes,再decode
python2的str 默认是bytes,所以能decode

一个结论
所以str.decode 本质是bytes类型的str的decode
python3经常出现 AttributeError: ‘str’ object has no attribute ‘decode’

记忆小技巧
编码就是encode,把你认识的转为,机器人认识的
解码decode,就是吧一堆机器认识的,解释为人能读懂的

【参考1:encode与decode之间的转码详解】
【参考2:python3大作战之encode与decode讲解】

【python3 在Windows下的编码问题:encode 和 decode】

Python 3.X 乱码解决(一文搞定Python3.x 乱码问题)

git revert 踩坑记

参考文档:当你决定去 revert 一个merge commit

例子:
1. 提交记录:
http://www.yebaochen.com/wp-content/uploads/2021/06/git-revert-1.jpeg
2. commit id 记录:
http://www.yebaochen.com/wp-content/uploads/2021/06/git-revert-2.jpeg

当要revert 一个merge commit, git 自己无法决定revert之后,要以哪个parent分支的代码为准。所以必须用 -m 参数来指定。
假如当前在 master 分支,要合并 feature 分支的代码: git merge feature
这时 master 就是1, feature 就是2
git revert commit-id -m 1就是告诉git, revert之后,以master分支原来的代码为准。
反之,git revert commit-id -m 2 就是告诉git, revert之后,以feature分支原来的代码为准。

1. 如何查看当前的commit有几个祖先:
git show cae5381

commit cae5381823aad7c285d017e5cf7e8bc4b7b12240
Merge: edf99ca 125cfdd
Author: ULIVZ
Date: Thu Apr 12 18:27:21 2018 +0800

Merge tag ‘thumbup-feature’

2. 处理方式1: git revert cae5381 -m 1
输出log:
Revert “Merge tag ‘thumbup-feature'”

This reverts commit cae5381823aad7c285d017e5cf7e8bc4b7b12240, reversing
changes made to edf99ca31755a27b0a43b290263ed810833a95c4.

实际效果:
[master f0aac26] Revert “Merge tag ‘thumbup-feature'”
2 files changed, 2 deletions(-)
delete mode 100644 file3
delete mode 100644 file4

file3 和 file4 是 feature branch 上的 commit 引入的文件,被正确地删掉了

拉下来测试第二种处理方式:
3. 处理方式2: git revert cae5381 -m 2
git reset –hard d208cba (回到原来的状态)
git revert cae5381 -m 2

实际效果:
[master 2c5a0ee] Revert “Merge tag ‘thumbup-feature'”
2 files changed, 2 deletions(-)
delete mode 100644 file5
delete mode 100644 file6

这种 revert 把 master 在 feature branch 期间进行的 commit 都给干掉了

linux 比较目录差异

文档来源
以下是本文有些地方涉及到的目录结构。

[root@node1 ~]# tree directory1 directory2
directory1
├── 1.png
├── 2.png
└── 3.png
directory2
├── 2.png
├── 3.png
└── 4.png

[root@node1 ~]# tree directory1 directory2
directory1
├── 1.png
├── 2.png
└── 3.png
directory2
├── 2.png
├── 3.png
└── 4.png

1.命令行输出的结果
方法一:使用diff
diff -r directory1 directory2
但是diff会对每个文件中的每一行都做比较,所以文件较多或者文件较大的时候会非常慢。请谨慎使用。

方法二:使用diff结合tree
diff <(tree -Ci –noreport /mnt/f/自然马) <(tree -Ci –noreport /mnt/i/自然马)
/mnt/i/自然马
87a88
> xyz.avi
488d488
< rsync.txt
534d533
< 542D0.mp4
diff <(tree -Ci –noreport /mnt/f/自然马) <(tree -Ci –noreport /mnt/i/自然马)
/mnt/i/自然马
87a88
> xyz.avi
488d488
< rsync.txt
534d533
< 542D0.mp4
说明:

tree的-C选项是输出颜色,如果只是看一下目录的不同,可以使用该选项,但在结合其他命令使用的时候建议不要使用该选项,因为颜色也会转换为对应的编码而输出;
-i是不缩进,建议不要省略-i,否则diff的结果很难看,也不好继续后续的文件操作;
–noreport是不输出报告结果,建议不要省略该选项。
该方法效率很高。

方法三:find结合diff
find directory1 -printf “%P\n” | sort > file1
find directory2 -printf “%P\n” | sort | diff file1 –
2d1
4.png
find directory1 -printf “%P\n” | sort > file1
find directory2 -printf “%P\n” | sort | diff file1 –
2d1
4.png

说明:
则相反,是directory2中有而directory1中没有。
不要省略-printf “%P\n”,此处的%P表示find的结果中去掉前缀路径,详细内容man find。例如,find /root/ -printf “%P\n”的结果中将显示/root/a/xyz.txt中去掉/root/后的结果:a/xyz.txt。
效率很高,输出也简洁。
如果不想使用-printf,那么先进入各目录再find也行。

[root@node1 ~]# (cd /root/a;find . | sort >/tmp/file1)
[root@node1 ~]# (cd /root/b;find . | sort | diff /tmp/file1 -)
2d1
./4.png
上面将命令放进括号中执行是为了在子shell中切换目录,不用影响当前所在目录。

方法四:使用rsync
rsync -rvn –delete directory1/ directory2 | sed -n ‘2,/^$/{/^$/!p}’
deleting a/xyz.avi
rsync.txt
新建文件夹/542D0.mp4

其中deleting所在的行就是directory2中多出的文件。其他的都是directory中多出的文件。
如果想区分出不同的是目录还是文件。可以加上”-i”选项。

rsync -rvn -i –delete directory1/ directory2 | sed -n ‘2,/^$/{/^$/!p}’
*deleting a/xyz.avi
>f+++++++++ rsync.txt
>f+++++++++ 新建文件夹/542D0.mp4
其中>f+++++++++中的f代表的是文件,d代表的目录。

上面的rsync比较目录有几点要说明:
一定不能缺少-n选项,它表示dry run,也就是试着进行rsync同步,但不会真的同步。
第一个目录(directory1/)后一定不能缺少斜线,否则表示将directory1整个目录同步到directory2目录下。
其它选项,如”-r -v –delete”也都不能缺少,它们的意义想必都知道。
sed的作用是过滤掉和文件不相关的内容。
以上rsync假定了比较的两个目录中只有普通文件和目录,没有软链接、块设备等特殊文件。如果有,请考虑加上对应的选项或者使用-a替代-r,否则结果中将出现skipping non-regular file的提示。但请注意,如果有软链接,且加了对应选项(-l或-a或其他相关选项),则可能会出现fileA–>fileB的输出。
效率很高,因为rsync的原因,筛选的可定制性也非常强。

2.图形化的比较结果
方法一:使用vimdiff
vimdiff <(cd directory1; find . | sort) <(cd directory2; find . | sort)
# 或者
vimdiff <(find directory1 -printf "%P\n"| sort) <(find directory2 -printf "%P\n"| sort)

方法二:使用meld
meld是python写的一个图形化文件/目录比较工具,所以必须先安装图形界面或设置好图形界面接受协议。它的功能非常丰富,和win下的beyond compare有异曲同工之妙。

meld具体的使用方式就不介绍了。

3.将两目录中不同的文件筛选出来
个人建议使用命令行输出的结果中的方法方法三和方法四,因为它们都能很好地保留目录前缀。

以方法三为例:
find directory1 -printf “%P\n” | sort > file1
find directory2 -printf “%P\n” | sort | diff file1 –
以下是实验所需目录结构:
[root@node1 ~]# tree /root/a;tree /root/b
/root/a
├── 1.png
├── 2.png
└── 3.png

0 directories, 3 files
/root/b
├── 2.png
├── 3.png
├── 4.png
└── xen
└── scripts
└── block-drbd

首先比较这两个目录得到文件列表的差异。

find /root/a -printf “%P\n” | sort > /tmp/file1
find /root/b -printf “%P\n” | sort | diff /tmp/file1 – >diff.txt
然后从diff.txt中过滤出/root/a中多出的文件和/root/b中多出的文件。

# /root/a中多出的文件
awk ‘//{printf(“%s%s\n”,”/tmp/etc/”,$2)}’ diff.txt
/tmp/etc/4.png
/tmp/etc/xen
/tmp/etc/xen/scripts
/tmp/etc/xen/scripts/block-drbd
需要注意的是,如果多了某个目录,则这个目录和其内所有文件都会列出来。如果要将多出的文件复制到其他地方,应当要注意这一点。

如果只想要比较出/root/a和/root/b下的文件和目录的不同,不再递归到子目录中比较。那么可以在find上继续加工一番:
find /root/a -maxdepth 1 -printf “%P\n” | sort > /tmp/file1
find /root/b -maxdepth 1 -printf “%P\n” | sort | diff /tmp/file1 – >diff.txt
# /root/a中多出的文件
awk ‘//{printf(“%s%s\n”,”/tmp/etc/”,$2)}’ diff.txt
/tmp/etc/4.png
/tmp/etc/xen
这样一来,/root/b中多出的文件就是4.png和xen,xen目录中的文件不再列出。

linux生成md5

linux终端里查看出来的md5值都是”32位小写”格式的值
命令:md5sum
参数:
-b或–binary: 把输入文件作为二进制文件看待。
-t或–text: 把输入的文件作为文本文件看待(默认)。
-c或–check: 用来从文件中读取md5信息检查文件的一致性。(不细说了参见info)
–status: 这个选项和check一起使用,在check的时候,不输出,而是根据返回值表示检查结果。
-w或–warn: 在check的时候,检查输入的md5信息又没有非法的行,如果有则输出相应信息

$ echo -n “123456” |md5sum
e10adc3949ba59abbe56e057f20f883e *-

注意:
echo -n : 不打印换行符。(注意: echo -n 后面的-n参数必须加上, 这样算出的字符串的md5值才正确)

GitLab 带commit历史迁移至 Gerrit

最终验证可行的方案:

1. git clone Gerrit空仓库

2. git remote set-url gitlab_url (旧仓库)

3. git branch -r | grep -v ‘\->’ | while read remote; do git branch –track “${remote#origin/}” “$remote”; done

跟踪远程所有分支
关于 ${}特殊用法的介绍,参考链接
上述语句中,${remote#origin/} 的作用与 ${remote#*/} 相同

4. git pull –all –allow-unrelated-histories

指定允许拉取不相关的代码过来Merge, 有多个分支时,要把多个分支都拉下来,注意用户名: git config username
注释: git pull = git fetch + git merge

5. git remote set-url Gerrit_url

(指定新 Gerrit 代码库的地址)

6. git push -u origin –all
git push -u origin –tags

把代码推送给 Gerrit 仓库

觉得这张图对关系的描述比较清晰,放着参考用:

历史参考资料:

GitLab项目迁移到Gerrit

通过Git命令从GitLab将某分支拷贝到Gerrit

这篇文章写得比较有自己的观点:

gitlab迁移到gerrit

重点是说明了如下关键信息:

推送所有分支和标签到gerrit上:
git push –all ; git push –tags

注:这里不能用git push –mirror 是因为gerrit服务端新建的库有个refs/meta/config 包含有权限信息,不能删除(gerrit禁止删除了,如果不禁止,则push –mirror时其权限信息就丢失了)。

迁移所需权限:
Reference:
refs/*
Push Annotated Tag
Push Signed Tag
Forge Committer Identity
Create Reference
Read
Push

github monitor项目 邮件发送调试问题处理笔记

Django项目中,import project_name失败,造成 project apps目录下的 tt.py processors.py 无法单独执行

解决方案:
注意到 Dockerfile 里通过执行如下shell来启动django服务:
/home/chen/code/Github-Monitor/docker/run.sh

查看该 run.sh

发现里面有一句:
export PYTHONPATH=/home/docker/Github-Monitor/server/

刚好配合 processors.py 开头中注释说的:
# 调试时去掉下面的注释、命令行执行 PYTHONPATH=. venv/bin/python github_monitor/apps/monitor/processors.py
# import django, os
# os.environ.setdefault(“DJANGO_SETTINGS_MODULE”, “github_monitor.settings”)
# django.setup()

对比目录结构:
/home/chen/code/Github-Monitor/server/github_monitor/apps/monitor

判断要在docker exec -it container_id /bin/bash中的如下目录:
/home/docker/Github-Monitor/server
执行: PYTHONPATH=. python3 github_monitor/apps/monitor/processors.py
只有这样才能成功单独运行单个文件

对应宿主机的目录为: /home/chen/code/Github-Monitor/server/

====================================================
下面的这个配置值经过测试可以正常触发扫描任务的邮件提醒
# Email Settings for 163
# If you do not fill it in, it is None/False
EMAIL_HOST=”smtp.163.com” # smtp host
EMAIL_PORT=”25″ # smtp port
FROM_EMAIL=”xxx@163.com” # 发件人
EMAIL_HOST_USER=”xxx@163.com” # email user, 如为匿名发送,将值设为空字符即可
EMAIL_HOST_PASSWORD=”xxxxxxxx” # email password, 使用授权码,避免暴露邮箱登陆密码
EMAIL_USE_TLS=”True” # 与SMTP服务器通信时是否使用TLS(安全)连接, 可选True/False
EMAIL_USE_SSL=”False” # 与SMTP服务器通信时是否使用SSL(安全)连接, 可选True/False

# Email Settings for QQ
# If you do not fill it in, it is None/False
EMAIL_HOST=”smtp.qq.com” # smtp host
EMAIL_PORT=”465″ # smtp port
FROM_EMAIL=”xxx@qq.com” # 发件人
EMAIL_HOST_USER=”xxx@qq.com” # email user, 如为匿名发送,将值设为空字符即可
EMAIL_HOST_PASSWORD=”xxxxxxxx” # email password, 使用授权码,避免暴露邮箱登陆密码
EMAIL_USE_TLS=”False” # 与SMTP服务器通信时是否使用TLS(安全)连接, 可选True/False
EMAIL_USE_SSL=”True” # 与SMTP服务器通信时是否使用SSL(安全)连接, 可选True/False

ma_05_10 思考3,借鉴茶话沿五日线做多原理

借鉴茶话 2020-12-29 文章:沿着五日线做多的技术原理

这里仅摘录重要部分:

沿着五日线做多,也并不是说一定股价不会跌破五日线,有时候跌破一些,有时候还差一些就开始回升都是正常的情况,只要五日线还是向上走就没有问题。

今天有色就回到了五日线附近,稍微跌破了一些,自然还是逢低做多的机会。

新能源板块跌破五日线较多,后面就要关注五日线是否走平或者掉头向下,如果五日线走平就要转入高抛低收的震荡思维

如果在五日线附近买入之后,后面股价重新回到五日线之上,五日线还是向上走,那还可以耐心拿着,等创新高后再减仓。

如果买入后,五日线开始走平或者掉头向下,股价走向震荡,MACD出现死叉,那么后面就要找一个短线反弹的机会先出来回避一下风险。