Python实现通过Web执行Docker容器里面的shell命令

发表于 2018-06-14 | 分类于 python ， docker |

其实就是通过flask接受url传递过来的命令，然后调用SDK相关API执行docker exec命令，然后将结果返回给页面。

1	pip install flask docker

# coding: utf-8
from flask import Flask
from flask import render_template
from flask import request
import docker

app = Flask(__name__, template_folder='./templates', static_folder="", static_url_path="")
client = docker.from_env()


@app.route('/cmd', methods=['GET', 'POST'])
def exec_cmd():
    if request.method == 'GET':
        return render_template('cmd.html')
    if request.method == 'POST':
        container = client.containers.get('gmb-index') # 这里我写死了获取本地这个容器
        cmd = request.form.get('cmd')
        result = container.exec_run(cmd=cmd)
        output = result.output.decode()
        return render_template('cmd.html', output=output)


if __name__=='__main__':
    app.run(host='127.0.0.1', port=8888)

模板

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Console</title>
</head>
<body>
<div>
    <form action="/cmd" method="post">
        <input type="text" name="cmd">
        <input type="submit" value="Submit">
    </form>

    <textarea  rows="100" cols="200" readonly="readonly">
{{ output }}
    </textarea>
</div>
</body>
</html>

如图：

参考资料

Docker SDK for Python

Python给Excel表格去重

发表于 2018-06-11 | 分类于 python |

某日看到妹子整理表格，需要对excel一万多条记录中的重复数据删除处理。

但是处理两小时没好，耽误了两人看动漫时间，最后帮她搞了这个脚本。

为了速度，存在很多硬编码，但是应该不影响阅读。

# coding: utf-8
import xlrd
import xlwt


data = xlrd.open_workbook("/Users/phan/Desktop/work/深圳_4.xls")
table = data.sheets()[0]
workbook = xlwt.Workbook(encoding='utf-8')
sheet_w = workbook.add_sheet('data')
nrows = table.nrows
ncols = table.ncols
col = []
ws = 0
count=0
for i in range(1,nrows):
    # 去重条件
    if not table.row_values(i)[3] in col and table.row_values(i)[14]!='F':
        col.append(table.row_values(i)[3])
        for j in range(ncols):
            sheet_w.write(ws,j,table.row_values(i)[j])
        ws = ws + 1
    else:
        count += 1

workbook.save("/Users/phan/Desktop/work/深圳_去重.xls")

Docker清理

发表于 2018-05-21 | 分类于 docker |

已经经历两次开发环境磁盘占用满的情况的。

第一次是部署太频繁，然后有很多无用的images没有删除掉。

第二次是docker容器，某些服务写了很多日志，导致磁盘被写满。

撇开这些设置不当的问题，怎么清理掉一些“垃圾”，让docker占用空间变得小一点？

Docker占用磁盘的主要有以下几样东西：

Docker Images
Docker Containers
Docker Logs

对于输出日志特别多的程序，Logs还是不容小觑的。

尤其是开发服务器，频繁的部署，会导致产生很多用不上的Images也占用在空间。

而Container占用空间突然增大，一般也主要是一些异常产生的文件太多，写了太多logs在容器内所致。

清理dangling镜像、退出的容器、无用的数据卷和网络、未使用的镜像

自动档

1	docker system prune -a

如果有些服务意外退出，然后被清理掉，还是蛮蛋疼的。慎用。

手动档

删除所有关闭的容器

docker ps -a | grep Exit | cut -d ' ' -f 1 | xargs docker rm

删除所有dangling镜像(即无tag的镜像)：

docker rmi $(docker images | grep "^<none>" | awk "{print $3}")

删除所有dangling数据卷(即无用的volume)：

docker volume rm $(docker volume ls -qf dangling=true)

清理容器内的垃圾

1	docker system df -v

可以先用这个找出异常的容器

或者到相关目录执行du命令也行，如：

cd /var/lib/docker/overlay2
du --max-depth=1 -h ./

cd /var/lib/docker/containers
du --max-depth=1 -h ./

然后哪个容器占用过大，就清理哪个,这样靠谱点，连同日志文件都计算在内

清理docker日志文件

1	ls -lh $(find /var/lib/docker/containers/ -name *-json.log)

单独列出日志文件大小。

清空日志文件

1	truncate -s 0 /path/to/your/textfile

Centos java jdk安装和环境配置

发表于 2018-04-02 | 分类于 other |

环境配置这东西大多时候用一次找一次不胜其烦。

今记录一下Centos Java的jdk直接从源安装。相比编译之类的，已经是极大的幸福感提升。

yum -y list java*
yum -y install java-1.7.0-openjdk*
yum list installed | grep java 
# 以上分别查找 安装 确定是否安装
vim /etc/profile
---
JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk-1.7.0.171-2.6.13.0.el7_4.x86_64
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
----
export JAVA_HOME  CLASSPATH  PATH
source  /etc/profile
echo $JAVA_HOME

补充一个，路径我是 rpm -ql java-1.7.0-openjdk.x86_64找出来的

慕学网强力Django教程例子存在认证逻辑漏洞可修改任意用户密码

发表于 2018-03-09 | 分类于 security |

最近在看慕学网《强力Django+xadmin打造在线云课堂》这个教程。

感觉还不错。昨日看到用户模块，修改密码功能的逻辑编写，觉得存在比较大的安全隐患。刚刚按照思路小撸了一下，可以修改任意用户密码。

0x01 漏洞分析

文件apps/users/views.py

# 用户进入到重置密码页面
class ResetView(View):
    def get(self, request, active_code):
        all_records = EmailVerifyRecord.objects.filter(code=active_code)
        if all_records:
            for records in all_records:
                email = records.email
                return render(request, 'password_reset.html', {'email': email})
        # return render(request, 'active_fail.html')


# 用户在重置密码页面提交新密码
class ModifyPwdView(View):
    def post(self, request):
        modify_form = ModifyPwdForm(request.POST)
        email = request.POST.get('email', '')
        if modify_form.is_valid():
            pwd1 = request.POST.get('password1', '')
            pwd2 = request.POST.get('password2', '')
            if pwd1 != pwd2:
                return render(request, 'password_reset.html', {'email': email, 'msg': '密码不一致！'})
            user = UserProfile.objects.get(email=email)
            user.password = make_password(pwd2)
            user.save()
            return render(request, 'login.html')

首先他逻辑是这样的，通过ResetView来展示修改密码页面，然后修改数据POST给ModifyPwdView修改，其实我觉得大可在ResetView中处理POST动作就好了。

ModifyPwdView主要问题有几处:

没有校验验证码是否有效，是否存在。。。
没有鉴定验证码是否属于修改密码的类型的。验证码是同个表。意味着注册认证码也是能进入到修改页面的。
从用户页面获取email。这个我不是很理解，因为保存验证码的时候，其实有保存了email字段，根据验证码直接取email即可。也就是这里可以在用户页面修改email，达到修改其它账户密码。
没有删除掉验证码。可以同个验证码无限使用。

0x02利用

开始想着，连校验验证码都没，From只是对密码长度做了限制。直接构造数据post就行了。

但是由于Django CSRF机制存在，没有成功。于是转向了另一种简单粗暴的方式，一个chrome浏览器搞定。

首先注册用户

它会生成一个验证码存到相应数据库。并给你发送一封激活邮件来激活你的账户。
里面链接格式：http://[网站]/active/[验证码]
比如我收到的激活链接应该是这样的：
http://127.0.0.1:8000/actice/UCZDRMPO7lVErxM5

构造修改页面的链接

提取验证码组合出以下重置密码的链接：
http://127.0.0.1:8000/reset/UCZDRMPO7lVErxM5

通过审查可以看到有个隐藏的input，里面有email。

修改email和密码

修改email为其它账户的email，密码随便设置一个。

提交的数据：

最后用图中所示的账户和密码登录成功.

0x03 修补

方法许多，我自己处理如下：
POST同样在ResetView里面处理。

class ResetView(View):
    def get(self, request, reset_code):
        records = VerifyRecord.objects.filter(verify_code=reset_code)
        for record in records:
            if record.send_type == 'forget':
                return render(request=request, template_name='password_reset.html', context={'reset_code': reset_code})
            else:
                return render(request, 'msg_box.html', {"msg": "验证码类型错误"})
        else:
            return render(request=request, template_name='verify_expire.html')

    def post(self, request, reset_code):
        reset_form = ResetForm(request.POST)
        records = VerifyRecord.objects.filter(verify_code=reset_code)
        if not reset_form.is_valid():
            return
        for record in records:
            user = UserProfile.objects.filter(email=record.email)
            if user and record.send_type == 'forget':
                password1 = request.POST.get('password', '')
                password2 = request.POST.get('password2', '')
                if password1 == password2:
                    user.update(password=make_password(password1))
                    record.delete()
                    return render(request, 'msg_box.html', {"msg": "修改密码成功"})
        else:
            return render(request=request, template_name='verify_expire.html')

另外html模板也要修改一下：
把传入的reset_code组合出POST URL。

1	<form id="reset_password_form" action="{% url 'reset_pwd' reset_code %}" method="post">

Linux rm 删除文件 argument too long

发表于 2018-03-05 | 分类于 troubleshooting |

刚登录一台测试服务器,习惯性地ll查看下home目录下的文件.

结果,我差点卡死了…

原因是当前目录下居然有6,7万条记录.
类似下面这种

1	index.php?i=361&c=entry&do=cron&m=qidong_saishi.62468

原因是开发在crontab添加了一个定时每分钟 wget一下某个网址.没用curl.

每分钟就下载一个网页到home目录.

然后我改为curl后,想删除掉文件,rm -f index.php?*

然后报错

1	argument too long

也是第一次遇到这个问题.可能是一下子删除的文件太多?

于是打算用 xargs来逐条删除.

1	ll \| grep index \| awk '{print $9}'\|xargs rm -f

前面三条主要是想吧路径单独列出来.

done.

Django出错Xadmin后台报list index out of range

发表于 2018-03-04 | 分类于 troubleshooting ， django |

闲置一阵没折腾django后,再续上次学习进度捣鼓demo的时候发现了这.

1	list index out of range

看看报错和xadmin模块有关,但是我之前没报错,而我又没对它做过改动,一脸懵逼.

主要是在注册的数据模型中新增数据,都会报这个错.在django原生的admin模块后台是没这个错误的.

基本锁定和xadmin有关了.

遂百度 xadmin list index out of range.果然有发现,见参考资料文章.

说是django升级后出现新标签导致的这个错误.而我之前对django升级过.django 1.11.12.

文中介绍了如何修改xadmin达到目的.我懒,降级了django回 django 1.11 没毛病老铁.

参考资料

Django2集成xadmin详解-4-list index out of range报错追踪和处理

杰奇CMS wap插件的两个个SQL注入漏洞0DAY Getshell和提权

发表于 2018-03-04 | 分类于 security |

百度了一圈，没人发过，算是0day吧。

近日有朋友发了一个小说站，日流量很可观，几万IP一天。

后来就留意，近日得到一套该站用的wap端的源码，看了下信息是个人写的。感觉可能会有漏洞，就瞄了几眼，果然发现点端倪。

首先是mysql.class.php的类。

它有个checksql()的方法，每次调用都会获取所有的GET，POST，COOKIE的参数。进行正则匹配，企图发现恶意注入的SQL内容。

但是SQL过滤不是很严，还是有绕过的空间。比如十六进制，一些注释符，过滤的sql语句比较有限。

主要内容

private $getfilter = "'|(and|or)\\b.+?(>|<|=|in|like)|\\/\\*.+?\\*\\/|<\\s*script\\b|\\bEXEC\\b|UNION.+?SELECT|UPDATE.+?SET|INSERT\\s+INTO.+?VALUES|(SELECT|DELETE).+?FROM|(CREATE|ALTER|DROP|TRUNCATE)\\s+(TABLE|DATABASE)";
private $postfilter = "\\b(and|or)\\b.{1,6}?(=|>|<|\\bin\\b|\\blike\\b)|\\/\\*.+?\\*\\/|<\\s*script\\b|\\bEXEC\\b|UNION.+?SELECT|UPDATE.+?SET|INSERT\\s+INTO.+?VALUES|(SELECT|DELETE).+?FROM|(CREATE|ALTER|DROP|TRUNCATE)\\s+(TABLE|DATABASE)";
private $cookiefilter = "\\b(and|or)\\b.{1,6}?(=|>|<|\\bin\\b|\\blike\\b)|\\/\\*.+?\\*\\/|<\\s*script\\b|\\bEXEC\\b|UNION.+?SELECT|UPDATE.+?SET|INSERT\\s+INTO.+?VALUES|(SELECT|DELETE).+?FROM|(CREATE|ALTER|DROP|TRUNCATE)\\s+(TABLE|DATABASE)";
function __construct(){

}
function checksql(){
    foreach($_GET as $key=>$value){$this->stopattack($key,$value,$this->getfilter);}
    foreach($_POST as $key=>$value){$this->stopattack($key,$value,$this->postfilter);}
    foreach($_COOKIE as $key=>$value){$this->stopattack($key,$value,$this->cookiefilter);}
}
/**
 * 参数检查并写日志
 */
public function stopattack($StrFiltKey, $StrFiltValue, $ArrFiltReq){
    if(is_array($StrFiltValue))$StrFiltValue = implode($StrFiltValue);
    if (preg_match("/".$ArrFiltReq."/is",$StrFiltValue) == 1){
        $this->writeslog($_SERVER["REMOTE_ADDR"]."    ".strftime("%Y-%m-%d %H:%M:%S")."    ".$_SERVER["PHP_SELF"]."    ".$_SERVER["REQUEST_METHOD"]."    ".$StrFiltKey."    ".$StrFiltValue);
        exit('您提交的参数非法,系统已记录您的本次操作！');
    }
}

要说构造语句添加信息或者查询信息还是不容易的。所以利用起来似乎也不容易。

在看到用户模块的时候，倒是发现新大陆了。

看修改用户资料的处理代码。
controllers/user.class.php

public function information(){
    global $smartyObj;
    global $db;
    $db->checksql();
    $step = isset($_GET["step"])?trim($_GET["step"]):"";
    $info_nickname = isset($_POST["info_nickname"])?$_POST["info_nickname"]:"";
    $info_emial = isset($_POST["info_emial"])?$_POST["info_emial"]:"";
    $info_sex = isset($_POST["info_sex"])?$_POST["info_sex"]:"";
    $info_sign = isset($_POST["info_sign"])?$_POST["info_sign"]:"";
    $info_intro = isset($_POST["info_intro"])?$_POST["info_intro"]:"";
    $iserror = 0;
    $userinfo = $db->clogin();
    if($step=="ok") {
        if ($iserror == 0 and $info_nickname == "") {
            $iserror = 1;
            $tourl = urlconfigs::URL_auto(array("m" => "user/information"));
            $pagecontent = "保存失败！<br/>";
            $pagecontent .= "昵称不能为空！<br/>";
        }
        if ($iserror == 0) {
            $a1 = $db->query_num("select uid from " . JIEQI_DB_PREFIX . "_system_users where name ='" . $info_nickname . "' and uid !=" . $userinfo->uid);
            if ($a1) {
                $iserror = 1;
                $tourl = urlconfigs::URL_auto(array("m" => "user/information"));
                $pagecontent = "保存失败！<br/>";
                $pagecontent .= "该昵称已经存在！<br/>";
            }
        }
        if ($iserror == 0 and $info_emial == "") {
            $iserror = 1;

            $tourl = urlconfigs::URL_auto(array("m" => "user/information"));
            $pagecontent = "保存失败！<br/>";
            $pagecontent .= "邮箱不能为空！<br/>";
        }
        if ($iserror == 0) {
            $a2 = $db->query_num("select uid from " . JIEQI_DB_PREFIX . "_system_users where email ='" . $info_emial . "' and uid !=" . $userinfo->uid);
            if ($a2) {
                $iserror = 1;

                $tourl = urlconfigs::URL_auto(array("m" => "user/information"));
                $pagecontent = "保存失败！<br/>";
                $pagecontent .= "该邮箱已经存在！<br/>";
            }
        }
        if ($iserror == 0) {
            if (!ereg("^([a-zA-Z0-9_-])+@([a-zA-Z0-9_-])+(\.[a-zA-Z0-9_-])+", $info_emial)) {
                $iserror = 1;

                $tourl = urlconfigs::URL_auto(array("m" => "user/information"));
                $pagecontent = "保存失败！<br/>";
                $pagecontent .= "请填写正确的邮箱地址！<br/>";
            }
        }
        if ($iserror == 0 and mb_strlen($info_sign, "utf-8") > 60) {
            $iserror = 1;

            $tourl = urlconfigs::URL_auto(array("m" => "user/information"));
            $pagecontent = "保存失败！<br/>";
            $pagecontent .= "您输入的签名长度超过60，请删减！<br/>";
        }
        if ($iserror == 0 and mb_strlen($info_intro, "utf-8") > 60) {
            $iserror = 1;

            $tourl = urlconfigs::URL_auto(array("m" => "user/information"));
            $pagecontent = "保存失败！<br/>";
            $pagecontent .= "您输入的个人简介长度超过60，请删减！<br/>";
        }
    }


    if($iserror == 0){
        if($step == "ok"){
            $db->query("UPDATE ".JIEQI_DB_PREFIX."_system_users SET name='".$info_nickname."',email='".$info_emial."',sex=".$info_sex.",sign='".$info_sign."',intro='".$info_intro."' WHERE uid=".$userinfo->uid);


            $tourl = urlconfigs::URL_auto(array("m"=>"user/home"));

            $userinfo->name = $info_nickname;
            $userinfo->email = $info_emial;
            $userinfo->sex = $info_sex;
            $userinfo->sign = $info_sign;
            $userinfo->intro = $info_intro;

            $iserror = 1;
            $pagecontent = "保存成功！<br/>部分信息需要您重新登陆后才能显示最新信息哦！";
        }else{
            $smartyObj->assign('getuserinfo',$db->query_object("select name,email,sex,sign,intro from ".JIEQI_DB_PREFIX."_system_users where uid=".$userinfo->uid));
        }
    }

    if($iserror == 0){

        $smartydate = array("pagetitle" => "资料修改");

        $tplpath = "user/information.tpl";

    }else{

        $smartydate = array("pagetitle" => "资料修改",
            "pagecontent" => $pagecontent,
            "tourl" => $tourl,
            "redirecturl" => $tourl,
        );

        $tplpath = "public.tpl";

    }
    $smartyObj->Creatpage($tplpath,$smartydate);
}

info_sex性别的字段居然可以是字符串型，不转为整型，而且也没对它做长度检查。反倒是info_intro做了长度检查。
经过sqlcheck后就进入以下语句直接查询了。

1	$db->query("UPDATE ".JIEQI_DB_PREFIX."_system_users SET name='".$info_nickname."',email='".$info_emial."',sex=".$info_sex.",sign='".$info_sign."',intro='".$info_intro."' WHERE uid=".$userinfo->uid);

利用思路：
注册一个普通用户，然后利用注入修改用户组为管理员组。

修改用户信息的时候，拦截POST内容。然后修改`sex=1`为`sex=1,groupid=2`,杰奇cms是开源的，所以我能看到表字段，groupid为2的是系统管理员，有着后台所有权限。

搞定。

文件包含漏洞

发现他升级了后台，数据库备份不能用，也不能上传PHP，因为系统默认限制这个。因为是Linux系统，所以也没一些目录解析漏洞可以利用。
利用前提是magic_quotes_gpc 处于关闭状态。杰奇因为限制一定要要zend3.3.x解密，所以用的php版本是5.3以下的,
这就有了文件名截断的漏洞可以利用，有了这个，文件包含漏洞也就更加有可能了。好在经过一番寻找，发现了一个文件包含漏洞，利用起来更加方便，可以直接getshell。
就在处理动态加载脚本广告的时候。

book.class.php

public function ad(){
    header('Content-type: text/javascript');
    $addate = include_once("configs/ad/".$_GET["js"].".php");
    $jsarray = explode("\n",$addate["adcontent"]);
    foreach($jsarray as $jsstr) {
        echo "document.write(\"";
        echo str_replace("\r","",addslashes($jsstr));
        echo "\");\n";
    }
    exit();
}

利用

简述一下吧
符合条件的,直接头像上传php一句话,后缀名为.jpg.取得图片地址.

构造url”http://domain/configs/ad/{头像相对路径}%00.php“

截断后面的php即可.

后面的你都知道了.

Django生成验证码

发表于 2018-01-25 | 分类于 python ， django |

Django使用django-simple-captcha 生成验证码。

django-simple-captcha Github地址

安装

pip install django-simple-captcha
添加captcha 到 settings.py的INSTALLED_APPSL里面。
运行python manage.py migrate 生成数据表
配置urls.py

1
2
3

urlpatterns += [
    url(r'^captcha/', include('captcha.urls')),
]

引用

新建forms.py

from captcha.fields import CaptchaField

class RegisterForm(forms.Form):
    email = forms.EmailField(required=True)
    password = forms.CharField(required=True, min_length=6)
    captcha = CaptchaField(error_messages={"invalid": u"验证码错误"})

models.py
直接验证表单是否通过，验证码字段会一并校验。

class RegisterView(View):
    def get(self, request):
        register_form = RegisterForm()
        return render(request=request, template_name='register.html', context={"register_form": register_form})

    def post(self, request):
        register_form = RegisterForm(request.POST)
        if register_form.is_valid():
            user_profile = UserProfile()
            user_name = request.POST.get('username', '')
            pass_word = request.POST.get('password', '')
            user_profile.username = user_name
            user_profile.email = user_name
            user_profile.password = make_password(password=pass_word)
        else:
            return render(request=request, template_name='register.html', context={"register_form": register_form})

参考资料

Django-simple-captcha Document

Django使用form处理表单信息

发表于 2018-01-23 | 分类于 python ， django |

form算是和一个和安全问题有关的一个东西了。

用来设置一些规则，对用户提交的字段进行一些筛选。

把不符合要求的字段过滤在外，这个一般前端也会做相应的处理。

但是有时候是可以被绕过的，比如提交正常的POST数据，然后拦截数据包，修改后，再POST。

新建<path-to-your-app>/forms.py
比如我登录认证的表单中含有username和password两个字段，那我可以定义这两个字段的规则。

它的使用方式有点像我们定义models一样，都是前面变量为关键字段名，后面跟着字段类型和属性。

以下设置了两个字段为必填项，并且对长度做了一些限制

from django import forms


class LoginForm(forms.Form):
    username = forms.CharField(required=True, max_length=50)
    password = forms.CharField(required=True, min_length=6)

然后可以在具体的逻辑中引用它

如我在前面一个文章中提到的登录验证中
调用它is_valid()方法来认证
views.py

class LoginView(View):
    def get(self, request):
        return render(request, 'login.html')

    def post(self, request):
        login_form = LoginForm(request.POST)
        if login_form.is_valid():
            user_name = request.POST.get('username', '')
            pass_word = request.POST.get('password', '')
            user = authenticate(request, username=user_name, password=pass_word)
            if user is not None:
                login(request, user)
                return render(request, 'index.html')
            else:
                return render(request, 'login.html', {"msg": "用户或密码错误"})
        else:
            return render(request, 'login.html', {"login_form": login_form})

结果传递给页面，页面可以处理，并展示它的返回错误信息之类的。

如模板中遍历它错误的值，打印出来。

1	{% for key,value in login_form.errors.items %}{{ value }}{% endfor %}

Onecer

记录日记之类的

微博 CSDN