采用python实现抓包构建故障分析平台

python,运维开发 7,314 views
前言:       同事今天和我说,他现在的任务在做一个头疼的问题,说时尚了点,就是用自动化解脱心碎及放弃的处理故障的杂事,他这边刚入职,貌似是带领一帮小弟解决别人搞不定的问题,但是有些业务部够单纯,把事直接抛给我同事这边。。。 很无...
阅读全文 4

采用python实现抓包构建故障分析平台

11-10 7,314 views

前言:       同事今天和我说,他现在的任务在做一个头疼的问题,说时尚了点,就是用自动化解脱心碎及放弃的处理故障的杂事,他这边刚入...
阅读全文 4

分布式网络质量探测系统之前端ajax展现探讨

python 3,909 views
周六自己在家甚是无聊,看到朋友们在讨论分布式监控分析,要的效果是 阿里测,17ce那种形式的,想查询监控啥的时候,在一个页面上能看到所以监控点提供的数据。比如,我想要查询针对一个url的get,dig数据。在这边直接采用zabbix、nagios的数据不太合理,因为我想要...
阅读全文 0

分布式网络质量探测系统之前端ajax展现探讨

3,909 views

周六自己在家甚是无聊,看到朋友们在讨论分布式监控分析,要的效果是 阿里测,17ce那种形式的,想查询监控啥的时候,在一个页面上能看到所以监控点提供的数...
阅读全文 0

Tornado和yaml构建自动生成nginx配置的api

python,tornado,运维开发 5,713 views
最近和同事在搞一个nginx的配置api接口,项目用tornado redis yaml来实现,我这里就简单分享下关于nginx配置api实现。以前看过我以前的博文,应该会发现,我主张的是配置的渲染,用模板去定制舒展,而不是用正则去匹配然后做一些修正。  ...
阅读全文 2

Tornado和yaml构建自动生成nginx配置的api

5,713 views

最近和同事在搞一个nginx的配置api接口,项目用tornado redis yaml来实现,我这里就简单分享下关于nginx配置api实现。以前看过我以前的博文,应该会发现,...
阅读全文 2

使用tornado AsyncHTTPClient异步访问第三方资源

python 9,416 views
前言:        描述下一个场景,可能由于权限和各种的限制导致,不是所有人都可以查询想要的信息,比如他的资产。然而我这边也不能直接从库里面查询,也是要通过申请好rest的去访问。        这不用说的那么多,大...
阅读全文 0

使用tornado AsyncHTTPClient异步访问第三方资源

9,416 views

前言:        描述下一个场景,可能由于权限和各种的限制导致,不是所有人都可以查询想要的信息,比如他的资产。然而我这边也不能...
阅读全文 0

nginx lua和redis解决saltstack传输文件慢的问题

python,saltstack 7,012 views
前言:     saltstack是个好东西,我现在很多的api接口都开始用saltstack做。有的时候会有在页面上传文件,然后推送到客户端的情况。或者是把安装配置的安装包推送到客户端。 唉, salstack下发文件慢,大家有没有头疼过,我是真的头疼过。   ...
阅读全文 0

nginx lua和redis解决saltstack传输文件慢的问题

7,012 views

前言:     saltstack是个好东西,我现在很多的api接口都开始用saltstack做。有的时候会有在页面上传文件,然后推送到客户端的情况。或者是把安装...
阅读全文 0

浅谈twisted应用中异步回调的方式及线程的应用

python 19,962 views
前言:      简单学习了golang的goruntine后,再回过头来看twisted网络编程库中的异步应用。  公司以前的分布式爬虫调度是用Twisted写的,真是没招,只能先硬着头皮上。对于twisted以前看过一些,测试性质的写了一个小应用,是一个负载分...
阅读全文 8

浅谈twisted应用中异步回调的方式及线程的应用

19,962 views

前言:      简单学习了golang的goruntine后,再回过头来看twisted网络编程库中的异步应用。  公司以前的分布式爬虫调度是用Twist...
阅读全文 8

自动化运维中的统一权限认证及单点登录实现

python,运维开发 8,198 views
文章版本: v1.0 前言:         在运维开发的众多系统中,怎么能更好的管理用户账号和密码,以及做到统一的brac权限角色配置系统。       以前记得最初做运维开发项目的时候,每个app都是一...
阅读全文 9

自动化运维中的统一权限认证及单点登录实现

8,198 views

文章版本: v1.0 前言:         在运维开发的众多系统中,怎么能更好的管理用户账号和密码,以及做到统一...
阅读全文 9

使用redis-py的两个类Redis和StrictRedis时遇到的坑

python 14,234 views
前言:       今天产品经理说,有几个队列排序的功能不能用了。对比了下以前的代码查到了一个原因,这个比较的坑,总结起来也是自己没好好看文档。       redis-py提供两个类Redis和StrictRedis用于实现Redis的命令...
阅读全文 13

使用redis-py的两个类Redis和StrictRedis时遇到的坑

14,234 views

前言:       今天产品经理说,有几个队列排序的功能不能用了。对比了下以前的代码查到了一个原因,这个比较的坑,总结起来也是自己没好...
阅读全文 13

python使用sqlite3模块操作sqlite数据库

python 5,741 views
介绍: SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程,并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。 一些应用可是使用SQLite保存内部数据。它也可以在构建应用原型的时候使用,以便于以后转移到更大型的...
阅读全文 0

python使用sqlite3模块操作sqlite数据库

11-09 5,741 views

介绍: SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程,并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。...
阅读全文 0

在用python做服务端时实现守候进程的那些事

python 5,582 views
嗯哪,说说需要做守候进程的时候,我是怎么进化到高端的。(怎么高端,具体自己定义,我的土,说不定就是你妹的高端) 最土的,也是最基本的python deamon的思路: 1.进程脱离父进程及终端绑定,如果不这样的话,主进程退出,派生的子进程也跟着...
阅读全文 0

在用python做服务端时实现守候进程的那些事

5,582 views

嗯哪,说说需要做守候进程的时候,我是怎么进化到高端的。(怎么高端,具体自己定义,我的土,说不定就是你妹的高端) 最土的,也是最基本的pyt...
阅读全文 0

利用google authenticator构建平台的otp动态口令

python 11,271 views
前沿:         在腾讯,百度,阿里,360运维人员登录堡垒机,或者是单点登录引导的各种运维平台,好多都需要用动态口令令牌的,用rsa的多点,这栋系价格不便宜,国内也有些便宜的,一些游戏公司的将军令就是从国...
阅读全文 2

利用google authenticator构建平台的otp动态口令

11,271 views

前沿:         在腾讯,百度,阿里,360运维人员登录堡垒机,或者是单点登录引导的各种运维平台,好多都...
阅读全文 2

基于redis又比celery更加简单的异步任务队列RQ

python 9,947 views
前言:    这里介绍一个python下,比celery更加简单的异步工具,真的是很简单,当然他的功能没有celery多,复杂程度也没有celery大,文档貌似也没有celery多,但是为啥会介绍rq这个东西 因为他够简单。 当然他虽然简单,但是也是需要中间...
阅读全文 6

基于redis又比celery更加简单的异步任务队列RQ

9,947 views

前言:    这里介绍一个python下,比celery更加简单的异步工具,真的是很简单,当然他的功能没有celery多,复杂程度也没有celery大,文档...
阅读全文 6

Python项目中用到的redis经验及数据类型

python 5,571 views
先感叹下,学东西一定要活学活用!   我用redis也有几年的历史了,今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了redis, 遇到了一些个问题和开发中提高性能的方法,这都分享出来,共同学习。 下面先简单讲讲Red...
阅读全文 2

Python项目中用到的redis经验及数据类型

5,571 views

先感叹下,学东西一定要活学活用!   我用redis也有几年的历史了,今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了re...
阅读全文 2

小计-python调用pymongo模糊正则查询的方法

mongodb,python 7,491 views
这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实让人闹心。  mongodb shell模式的模糊查询是用,db.project.find({‘name’:/xiaorui.cc...
阅读全文 4

小计-python调用pymongo模糊正则查询的方法

11-04 7,491 views

这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实...
阅读全文 4

python使用deque实现高性能双端队列

python 6,562 views
今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是后时候堵塞在insert动作。 我推荐他用deque。今天宅了一天,写了个hadoop pig的脚本,可以很容易的得出以前...
阅读全文 2

python使用deque实现高性能双端队列

11-02 6,562 views

今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是...
阅读全文 2

使用redis来实现tornado session的分布式存储

python,web 8,428 views
前言:    话说文章转自我的51cto博客里的,xiaorui.cc !    前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是咋测试的,我自己是没到那种牛逼的抗链接能力,不然咋说,该优化还是优化,EFI要这么较真,可以试着用nginx...
阅读全文 9

使用redis来实现tornado session的分布式存储

8,428 views

前言:    话说文章转自我的51cto博客里的,xiaorui.cc !    前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是...
阅读全文 9

tornado subprocess实现异步调用系统命令及脚本

python,web 7,387 views
前言:      话说Tornado  是由Facebook开源的一个服务器“套装”,适合于做python的web或者使用其本身提供的可扩展的功能,完成了不完整的wsgi协议,可用于做快速的web开发,封装了epoll性能较好。文章主要以分析tornado的网络部分...
阅读全文 1

tornado subprocess实现异步调用系统命令及脚本

7,387 views

前言:      话说Tornado  是由Facebook开源的一个服务器“套装”,适合于做python的web或者使用其本身提供的可扩展的功能...
阅读全文 1

python实现最少使用算法lru包括dict和list队列

python 6,106 views
Lru 就是个  最少使用的算法,不是最少使用,他的名字就叫  ‘最少使用算法’。原理就是除了原本的数据之外,我另外维护一个dict或者是list,专门用来做排序,我每次get的时候,维护的那个dict里面key的value 加1 。你懂的。  用途,一般在于...
阅读全文 3

python实现最少使用算法lru包括dict和list队列

11-01 6,106 views

Lru 就是个  最少使用的算法,不是最少使用,他的名字就叫  ‘最少使用算法’。原理就是除了原本的数据之外,我另外维护一个dict或者是list,专门...
阅读全文 3

使用mako模板引擎使bottle数据渲染更加灵活

python 5,678 views
这两天在整理一个爬虫数据导出的项目,用到的框架是bottle,话说bottle自带的那个模板,太搓了,而且在一些小页面项目上,不能夹在python的逻辑。    有用过jinja2 的朋友,知道他有个叫做filter的过滤器的东西。python独立的模板,我用过jinja2和ma...
阅读全文 0

使用mako模板引擎使bottle数据渲染更加灵活

10-29 5,678 views

这两天在整理一个爬虫数据导出的项目,用到的框架是bottle,话说bottle自带的那个模板,太搓了,而且在一些小页面项目上,不能夹在python的逻辑。 &nbs...
阅读全文 0

python使用happybase批量的操作hbase

python 11,808 views
最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群中的其他hbase上起了Thrift服务,每个业务用自己的接口,这样能稳定了不少。  既然问题已经到...
阅读全文 2

python使用happybase批量的操作hbase

10-22 11,808 views

最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群...
阅读全文 2

python使用schema库进行数据校验

python 7,764 views
以前做数据校验的时候,用的更多的是Flask-Wtf 或者是自己手写装饰器, 今个发现一个好库,强大又简便。 Python from jsonschema import validate schema = { "type" : "object", "properties" : { ...
阅读全文 3

python使用schema库进行数据校验

10-20 7,764 views

以前做数据校验的时候,用的更多的是Flask-Wtf 或者是自己手写装饰器, 今个发现一个好库,强大又简便。 Python ...
阅读全文 3