某日看到妹子整理表格，需要对excel一万多条记录中的重复数据删除处理。
但是处理两小时没好，耽误了两人看动漫时间，最后帮她搞了这个脚本。
为了速度，存在很多硬编码，但是应该不影响阅读。
Docker清理
已经经历两次开发环境磁盘占用满的情况的。
第一次是部署太频繁，然后有很多无用的images没有删除掉。
第二次是docker容器，某些服务写了很多日志，导致磁盘被写满。
撇开这些设置不当的问题，怎么清理掉一些“垃圾”，让docker占用空间变得小一点？
Docker占用磁盘的主要有以下几样东西：
Docker Images
Docker Containers
Docker Logs
对于输出日志特别多的程序，Logs还是不容小觑的。
尤其是开发服务器，频繁的部署，会导致产生很多用不上的Images也占用在空间。
而Container占用空间突然增大，一般也主要是一些异常产生的文件太多，写了太多logs在容器内所致。
Centos java jdk安装和环境配置
环境配置这东西 大多时候用一次找一次 不胜其烦。
今记录一下Centos Java的jdk直接从源安装。相比编译之类的，已经是极大的幸福感提升。
慕学网强力Django教程例子存在认证逻辑漏洞 可修改任意用户密码
最近在看慕学网《强力Django+xadmin打造在线云课堂》这个教程。
感觉还不错。昨日看到用户模块，修改密码功能的逻辑编写，觉得存在比较大的安全隐患。刚刚按照思路小撸了一下，可以修改任意用户密码。
Linux rm 删除文件 argument too long
刚登录一台测试服务器,习惯性地ll查看下home目录下的文件.
结果,我差点卡死了…
原因是当前目录下居然有6,7万条记录.类似下面这种1index.php?i=361&c=entry&do=cron&m=qidong_saishi.62468
原因是开发在crontab添加了一个定时每分钟 wget一下某个网址.没用curl.
每分钟就下载一个网页到home目录.
然后我改为curl后,想删除掉文件,rm -f index.php?*
然后报错1argument too long
也是第一次遇到这个问题.可能是一下子删除的文件太多?
于是打算用 xargs来逐条删除.
1ll | grep index | awk '{print $9}'|xargs rm -f
前面三条主要是想吧路径单独列出来.
done.
Django出错Xadmin后台报list index out of range
闲置一阵没折腾django后,再续上次学习进度捣鼓demo的时候发现了这.1list index out of range
看看报错和xadmin模块有关,但是我之前没报错,而我又没对它做过改动,一脸懵逼.
主要是在注册的数据模型中新增数据,都会报这个错.在django原生的admin模块后台是没这个错误的.
基本锁定和xadmin有关了.
遂百度 xadmin list index out of range.果然有发现,见参考资料文章.
说是django升级后出现新标签导致的这个错误.而我之前对django升级过.django 1.11.12.
文中介绍了如何修改xadmin达到目的.我懒,降级了django回 django 1.11 没毛病老铁.
参考资料Django2集成xadmin详解-4-list index out of range报错追踪和处理
杰奇CMS wap插件的两个个SQL注入漏洞0DAY Getshell和提权
百度了一圈，没人发过，算是0day吧。
近日有朋友发了一个小说站，日流量很可观，几万IP一天。
后来就留意， 近日得到一套该站用的wap端的源码，看了下信息是个人写的。感觉可能会有漏洞，就瞄了几眼，果然发现点端倪。
首先是mysql.class.php的类。
它有个checksql()的方法，每次调用都会获取所有的GET，POST，COOKIE的参数。进行正则匹配，企图发现恶意注入的SQL内容。
但是SQL过滤不是很严，还是有绕过的空间。比如十六进制，一些注释符，过滤的sql语句比较有限。
主要内容
123456789101112131415161718192021private $getfilter = "'|(and|or)\\b.+?(>|<|=|in|like)|\\/\\*.+?\\*\\/|<\\s*script\\b|\\bEXEC\\b|UNION.+?SELECT|UPDATE.+?SET|INSERT\\s+INTO.+?VALUES|(SELECT|DELETE).+?FROM|(CREATE|ALTER|DROP|TRUNCATE)\\s+(TABLE|DATABASE)";private $postfilter = "\\b(and|or)\\b.{1,6}?(=|>|<|\\bin\\b|\\blike\\b)|\\/\\*.+?\\*\\/|<\\s*script\\b|\\bEXEC\\b|UNION.+?SELECT|UPDATE.+?SET|INSERT\\s+INTO.+?VALUES|(SELECT|DELETE).+?FROM|(CREATE|ALTER|DROP|TRUNCATE)\\s+(TABLE|DATABASE)";private $cookiefilter = "\
...
Django生成验证码
Django使用django-simple-captcha 生成验证码。
django-simple-captcha Github地址
安装
pip install django-simple-captcha
添加captcha 到 settings.py的INSTALLED_APPSL里面。
运行python manage.py migrate 生成数据表
配置urls.py
123urlpatterns += [ url(r'^captcha/', include('captcha.urls')),]
引用新建forms.py123456from captcha.fields import CaptchaFieldclass RegisterForm(forms.Form): email = forms.EmailField(required=True) password = forms.CharField(required=True, min_length=6) captcha = CaptchaField(error_messages={"invalid": u"验证码错误"})
models.py直接验证表单是否通过，验证码字段会一并校验。12345678910111213141516class RegisterView(View): def get(self, request): register_form = RegisterForm() return render(request=request, template_name='register.html', context={"register_form": register_form}) d
...
Django使用form处理表单信息
form算是和一个和安全问题有关的一个东西了。
用来设置一些规则，对用户提交的字段进行一些筛选。
把不符合要求的字段过滤在外，这个一般前端也会做相应的处理。
但是有时候是可以被绕过的，比如提交正常的POST数据，然后拦截数据包，修改后，再POST。
新建<path-to-your-app>/forms.py比如我登录认证的表单中含有username和password两个字段，那我可以定义这两个字段的规则。
它的使用方式有点像我们定义models一样，都是前面变量为关键字段名，后面跟着字段类型和属性。
以下设置了两个字段为必填项，并且对长度做了一些限制123456from django import formsclass LoginForm(forms.Form): username = forms.CharField(required=True, max_length=50) password = forms.CharField(required=True, min_length=6)
然后可以在具体的逻辑中引用它
如我在前面一个文章中提到的登录验证中调用它is_valid()方法来认证views.py1234567891011121314151617class LoginView(View): def get(self, request): return render(request, 'login.html') def post(self, request): login_form = LoginForm(request.POST) if login_form.is_valid(): user_name = request.POST.get('username', '')
...
Django用户认证功能
Django提供了比较方便的用户认证模块，只要导入它，就可以很方便就完成用户认证。
用户认证主流有两种写法，一个是直接写成函数，一个写成类，重载get和post方法
用函数实现<path-to-your-app>/views.py主要的函数就两个authenticate()和login()一个是认证登录，一个是保存登录信息。1234567891011121314from django.contrib.auth import authenticate, logindef login_view(request): if request.method == 'POST': user_name = request.POST.get('username', '') pass_word = request.POST.get('password', '') user = authenticate(request, username=user_name, password=pass_word) if user is not None: login(request, user) return render(request, 'index.html') else: return render(request, 'login.html', {"msg": "用户或密码错误"}) if request.method == 'GET': return render(request, 'login.html')
然后在urls.py12345678from users.views import login
...