基于leveldb的高性能Nosql数据库ssdb

DB,python 7,887 views
前言:      SSDB是一个开源的高性能数据库服务器, 使用Google 的 LevelDB作为存储引擎, 大家有可能没听过leveldb的名字,那么淘宝开源另一个nosql,名字叫 tair的,大家应该有所耳闻吧。 他同样是基于leveldb做的开发。ssdb支持T级别的数据...
阅读全文 1

基于leveldb的高性能Nosql数据库ssdb

11-11 7,887 views

前言:      SSDB是一个开源的高性能数据库服务器, 使用Google 的 LevelDB作为存储引擎, 大家有可能没听过leveldb的名字,那么淘宝...
阅读全文 1

从redis转移到mongodb做任务队列增删改查管理

DB,mongodb,python 9,171 views
前言:      使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个key并删除清空队列,有可能会根据一些content的字段来进行删除,有可能是会针对发件人,或者是时间段来删除...
阅读全文 0

从redis转移到mongodb做任务队列增删改查管理

9,171 views

前言:      使用mongodb做任务队列管理支持增删改 ,我是喜欢用redis的list做队列的,但是这边经常堆积任务,需要判断队列是否存在这个k...
阅读全文 0

采用python实现抓包构建故障分析平台

python,运维开发 8,439 views
前言:       同事今天和我说,他现在的任务在做一个头疼的问题,说时尚了点,就是用自动化解脱心碎及放弃的处理故障的杂事,他这边刚入职,貌似是带领一帮小弟解决别人搞不定的问题,但是有些业务部够单纯,把事直接抛给我同事这边。。。 很无...
阅读全文 4

采用python实现抓包构建故障分析平台

11-10 8,439 views

前言:       同事今天和我说,他现在的任务在做一个头疼的问题,说时尚了点,就是用自动化解脱心碎及放弃的处理故障的杂事,他这边刚入...
阅读全文 4

分布式网络质量探测系统之前端ajax展现探讨

python 4,418 views
周六自己在家甚是无聊,看到朋友们在讨论分布式监控分析,要的效果是 阿里测,17ce那种形式的,想查询监控啥的时候,在一个页面上能看到所以监控点提供的数据。比如,我想要查询针对一个url的get,dig数据。在这边直接采用zabbix、nagios的数据不太合理,因为我想要...
阅读全文 0

分布式网络质量探测系统之前端ajax展现探讨

4,418 views

周六自己在家甚是无聊,看到朋友们在讨论分布式监控分析,要的效果是 阿里测,17ce那种形式的,想查询监控啥的时候,在一个页面上能看到所以监控点提供的数...
阅读全文 0

Tornado和yaml构建自动生成nginx配置的api

python,tornado,运维开发 6,554 views
最近和同事在搞一个nginx的配置api接口,项目用tornado redis yaml来实现,我这里就简单分享下关于nginx配置api实现。以前看过我以前的博文,应该会发现,我主张的是配置的渲染,用模板去定制舒展,而不是用正则去匹配然后做一些修正。  ...
阅读全文 2

Tornado和yaml构建自动生成nginx配置的api

6,554 views

最近和同事在搞一个nginx的配置api接口,项目用tornado redis yaml来实现,我这里就简单分享下关于nginx配置api实现。以前看过我以前的博文,应该会发现,...
阅读全文 2

使用tornado AsyncHTTPClient异步访问第三方资源

python 10,434 views
前言:        描述下一个场景,可能由于权限和各种的限制导致,不是所有人都可以查询想要的信息,比如他的资产。然而我这边也不能直接从库里面查询,也是要通过申请好rest的去访问。        这不用说的那么多,大...
阅读全文 0

使用tornado AsyncHTTPClient异步访问第三方资源

10,434 views

前言:        描述下一个场景,可能由于权限和各种的限制导致,不是所有人都可以查询想要的信息,比如他的资产。然而我这边也不能...
阅读全文 0

nginx lua和redis解决saltstack传输文件慢的问题

python,saltstack 7,846 views
前言:     saltstack是个好东西,我现在很多的api接口都开始用saltstack做。有的时候会有在页面上传文件,然后推送到客户端的情况。或者是把安装配置的安装包推送到客户端。 唉, salstack下发文件慢,大家有没有头疼过,我是真的头疼过。   ...
阅读全文 0

nginx lua和redis解决saltstack传输文件慢的问题

7,846 views

前言:     saltstack是个好东西,我现在很多的api接口都开始用saltstack做。有的时候会有在页面上传文件,然后推送到客户端的情况。或者是把安装...
阅读全文 0

浅谈twisted应用中异步回调的方式及线程的应用

python 20,788 views
前言:      简单学习了golang的goruntine后,再回过头来看twisted网络编程库中的异步应用。  公司以前的分布式爬虫调度是用Twisted写的,真是没招,只能先硬着头皮上。对于twisted以前看过一些,测试性质的写了一个小应用,是一个负载分...
阅读全文 8

浅谈twisted应用中异步回调的方式及线程的应用

20,788 views

前言:      简单学习了golang的goruntine后,再回过头来看twisted网络编程库中的异步应用。  公司以前的分布式爬虫调度是用Twist...
阅读全文 8

自动化运维中的统一权限认证及单点登录实现

python,运维开发 9,367 views
文章版本: v1.0 前言:         在运维开发的众多系统中,怎么能更好的管理用户账号和密码,以及做到统一的brac权限角色配置系统。       以前记得最初做运维开发项目的时候,每个app都是一...
阅读全文 9

自动化运维中的统一权限认证及单点登录实现

9,367 views

文章版本: v1.0 前言:         在运维开发的众多系统中,怎么能更好的管理用户账号和密码,以及做到统一...
阅读全文 9

使用redis-py的两个类Redis和StrictRedis时遇到的坑

python 16,801 views
前言:       今天产品经理说,有几个队列排序的功能不能用了。对比了下以前的代码查到了一个原因,这个比较的坑,总结起来也是自己没好好看文档。       redis-py提供两个类Redis和StrictRedis用于实现Redis的命令...
阅读全文 13

使用redis-py的两个类Redis和StrictRedis时遇到的坑

16,801 views

前言:       今天产品经理说,有几个队列排序的功能不能用了。对比了下以前的代码查到了一个原因,这个比较的坑,总结起来也是自己没好...
阅读全文 13

python使用sqlite3模块操作sqlite数据库

python 6,437 views
介绍: SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程,并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。 一些应用可是使用SQLite保存内部数据。它也可以在构建应用原型的时候使用,以便于以后转移到更大型的...
阅读全文 0

python使用sqlite3模块操作sqlite数据库

11-09 6,437 views

介绍: SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程,并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。...
阅读全文 0

在用python做服务端时实现守候进程的那些事

python 6,161 views
嗯哪,说说需要做守候进程的时候,我是怎么进化到高端的。(怎么高端,具体自己定义,我的土,说不定就是你妹的高端) 最土的,也是最基本的python deamon的思路: 1.进程脱离父进程及终端绑定,如果不这样的话,主进程退出,派生的子进程也跟着...
阅读全文 0

在用python做服务端时实现守候进程的那些事

6,161 views

嗯哪,说说需要做守候进程的时候,我是怎么进化到高端的。(怎么高端,具体自己定义,我的土,说不定就是你妹的高端) 最土的,也是最基本的pyt...
阅读全文 0

利用google authenticator构建平台的otp动态口令

python 12,961 views
前沿:         在腾讯,百度,阿里,360运维人员登录堡垒机,或者是单点登录引导的各种运维平台,好多都需要用动态口令令牌的,用rsa的多点,这栋系价格不便宜,国内也有些便宜的,一些游戏公司的将军令就是从国...
阅读全文 2

利用google authenticator构建平台的otp动态口令

12,961 views

前沿:         在腾讯,百度,阿里,360运维人员登录堡垒机,或者是单点登录引导的各种运维平台,好多都...
阅读全文 2

基于redis又比celery更加简单的异步任务队列RQ

python 11,414 views
前言:    这里介绍一个python下,比celery更加简单的异步工具,真的是很简单,当然他的功能没有celery多,复杂程度也没有celery大,文档貌似也没有celery多,但是为啥会介绍rq这个东西 因为他够简单。 当然他虽然简单,但是也是需要中间...
阅读全文 6

基于redis又比celery更加简单的异步任务队列RQ

11,414 views

前言:    这里介绍一个python下,比celery更加简单的异步工具,真的是很简单,当然他的功能没有celery多,复杂程度也没有celery大,文档...
阅读全文 6

Python项目中用到的redis经验及数据类型

python 6,707 views
先感叹下,学东西一定要活学活用!   我用redis也有几年的历史了,今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了redis, 遇到了一些个问题和开发中提高性能的方法,这都分享出来,共同学习。 下面先简单讲讲Red...
阅读全文 2

Python项目中用到的redis经验及数据类型

6,707 views

先感叹下,学东西一定要活学活用!   我用redis也有几年的历史了,今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了re...
阅读全文 2

小计-python调用pymongo模糊正则查询的方法

mongodb,python 8,646 views
这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实让人闹心。  mongodb shell模式的模糊查询是用,db.project.find({‘name’:/xiaorui.cc...
阅读全文 4

小计-python调用pymongo模糊正则查询的方法

11-04 8,646 views

这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实...
阅读全文 4

python使用deque实现高性能双端队列

python 7,637 views
今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是后时候堵塞在insert动作。 我推荐他用deque。今天宅了一天,写了个hadoop pig的脚本,可以很容易的得出以前...
阅读全文 2

python使用deque实现高性能双端队列

11-02 7,637 views

今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是...
阅读全文 2

使用redis来实现tornado session的分布式存储

python,web 9,516 views
前言:    话说文章转自我的51cto博客里的,xiaorui.cc !    前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是咋测试的,我自己是没到那种牛逼的抗链接能力,不然咋说,该优化还是优化,EFI要这么较真,可以试着用nginx...
阅读全文 9

使用redis来实现tornado session的分布式存储

9,516 views

前言:    话说文章转自我的51cto博客里的,xiaorui.cc !    前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是...
阅读全文 9

tornado subprocess实现异步调用系统命令及脚本

python,web 8,182 views
前言:      话说Tornado  是由Facebook开源的一个服务器“套装”,适合于做python的web或者使用其本身提供的可扩展的功能,完成了不完整的wsgi协议,可用于做快速的web开发,封装了epoll性能较好。文章主要以分析tornado的网络部分...
阅读全文 1

tornado subprocess实现异步调用系统命令及脚本

8,182 views

前言:      话说Tornado  是由Facebook开源的一个服务器“套装”,适合于做python的web或者使用其本身提供的可扩展的功能...
阅读全文 1

python实现最少使用算法lru包括dict和list队列

python 7,002 views
Lru 就是个  最少使用的算法,不是最少使用,他的名字就叫  ‘最少使用算法’。原理就是除了原本的数据之外,我另外维护一个dict或者是list,专门用来做排序,我每次get的时候,维护的那个dict里面key的value 加1 。你懂的。  用途,一般在于...
阅读全文 3

python实现最少使用算法lru包括dict和list队列

11-01 7,002 views

Lru 就是个  最少使用的算法,不是最少使用,他的名字就叫  ‘最少使用算法’。原理就是除了原本的数据之外,我另外维护一个dict或者是list,专门...
阅读全文 3

使用mako模板引擎使bottle数据渲染更加灵活

python 6,351 views
这两天在整理一个爬虫数据导出的项目,用到的框架是bottle,话说bottle自带的那个模板,太搓了,而且在一些小页面项目上,不能夹在python的逻辑。    有用过jinja2 的朋友,知道他有个叫做filter的过滤器的东西。python独立的模板,我用过jinja2和ma...
阅读全文 0

使用mako模板引擎使bottle数据渲染更加灵活

10-29 6,351 views

这两天在整理一个爬虫数据导出的项目,用到的框架是bottle,话说bottle自带的那个模板,太搓了,而且在一些小页面项目上,不能夹在python的逻辑。 &nbs...
阅读全文 0