Tornado和yaml构建自动生成nginx配置的api

python,tornado,运维开发 5,429 views
最近和同事在搞一个nginx的配置api接口,项目用tornado redis yaml来实现,我这里就简单分享下关于nginx配置api实现。以前看过我以前的博文,应该会发现,我主张的是配置的渲染,用模板去定制舒展,而不是用正则去匹配然后做一些修正。  ...
阅读全文 2

Tornado和yaml构建自动生成nginx配置的api

11-10 5,429 views

最近和同事在搞一个nginx的配置api接口,项目用tornado redis yaml来实现,我这里就简单分享下关于nginx配置api实现。以前看过我以前的博文,应该会发现,...
阅读全文 2

使用tornado AsyncHTTPClient异步访问第三方资源

python 8,929 views
前言:        描述下一个场景,可能由于权限和各种的限制导致,不是所有人都可以查询想要的信息,比如他的资产。然而我这边也不能直接从库里面查询,也是要通过申请好rest的去访问。        这不用说的那么多,大...
阅读全文 0

使用tornado AsyncHTTPClient异步访问第三方资源

8,929 views

前言:        描述下一个场景,可能由于权限和各种的限制导致,不是所有人都可以查询想要的信息,比如他的资产。然而我这边也不能...
阅读全文 0

nginx lua和redis解决saltstack传输文件慢的问题

python,saltstack 6,563 views
前言:     saltstack是个好东西,我现在很多的api接口都开始用saltstack做。有的时候会有在页面上传文件,然后推送到客户端的情况。或者是把安装配置的安装包推送到客户端。 唉, salstack下发文件慢,大家有没有头疼过,我是真的头疼过。   ...
阅读全文 0

nginx lua和redis解决saltstack传输文件慢的问题

6,563 views

前言:     saltstack是个好东西,我现在很多的api接口都开始用saltstack做。有的时候会有在页面上传文件,然后推送到客户端的情况。或者是把安装...
阅读全文 0

浅谈twisted应用中异步回调的方式及线程的应用

python 19,523 views
前言:      简单学习了golang的goruntine后,再回过头来看twisted网络编程库中的异步应用。  公司以前的分布式爬虫调度是用Twisted写的,真是没招,只能先硬着头皮上。对于twisted以前看过一些,测试性质的写了一个小应用,是一个负载分...
阅读全文 8

浅谈twisted应用中异步回调的方式及线程的应用

19,523 views

前言:      简单学习了golang的goruntine后,再回过头来看twisted网络编程库中的异步应用。  公司以前的分布式爬虫调度是用Twist...
阅读全文 8

自动化运维中的统一权限认证及单点登录实现

python,运维开发 7,690 views
文章版本: v1.0 前言:         在运维开发的众多系统中,怎么能更好的管理用户账号和密码,以及做到统一的brac权限角色配置系统。       以前记得最初做运维开发项目的时候,每个app都是一...
阅读全文 9

自动化运维中的统一权限认证及单点登录实现

7,690 views

文章版本: v1.0 前言:         在运维开发的众多系统中,怎么能更好的管理用户账号和密码,以及做到统一...
阅读全文 9

使用redis-py的两个类Redis和StrictRedis时遇到的坑

python 12,812 views
前言:       今天产品经理说,有几个队列排序的功能不能用了。对比了下以前的代码查到了一个原因,这个比较的坑,总结起来也是自己没好好看文档。       redis-py提供两个类Redis和StrictRedis用于实现Redis的命令...
阅读全文 13

使用redis-py的两个类Redis和StrictRedis时遇到的坑

12,812 views

前言:       今天产品经理说,有几个队列排序的功能不能用了。对比了下以前的代码查到了一个原因,这个比较的坑,总结起来也是自己没好...
阅读全文 13

python使用sqlite3模块操作sqlite数据库

python 5,535 views
介绍: SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程,并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。 一些应用可是使用SQLite保存内部数据。它也可以在构建应用原型的时候使用,以便于以后转移到更大型的...
阅读全文 0

python使用sqlite3模块操作sqlite数据库

11-09 5,535 views

介绍: SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程,并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。...
阅读全文 0

在用python做服务端时实现守候进程的那些事

python 5,290 views
嗯哪,说说需要做守候进程的时候,我是怎么进化到高端的。(怎么高端,具体自己定义,我的土,说不定就是你妹的高端) 最土的,也是最基本的python deamon的思路: 1.进程脱离父进程及终端绑定,如果不这样的话,主进程退出,派生的子进程也跟着...
阅读全文 0

在用python做服务端时实现守候进程的那些事

5,290 views

嗯哪,说说需要做守候进程的时候,我是怎么进化到高端的。(怎么高端,具体自己定义,我的土,说不定就是你妹的高端) 最土的,也是最基本的pyt...
阅读全文 0

利用google authenticator构建平台的otp动态口令

python 10,455 views
前沿:         在腾讯,百度,阿里,360运维人员登录堡垒机,或者是单点登录引导的各种运维平台,好多都需要用动态口令令牌的,用rsa的多点,这栋系价格不便宜,国内也有些便宜的,一些游戏公司的将军令就是从国...
阅读全文 2

利用google authenticator构建平台的otp动态口令

10,455 views

前沿:         在腾讯,百度,阿里,360运维人员登录堡垒机,或者是单点登录引导的各种运维平台,好多都...
阅读全文 2

基于redis又比celery更加简单的异步任务队列RQ

python 9,300 views
前言:    这里介绍一个python下,比celery更加简单的异步工具,真的是很简单,当然他的功能没有celery多,复杂程度也没有celery大,文档貌似也没有celery多,但是为啥会介绍rq这个东西 因为他够简单。 当然他虽然简单,但是也是需要中间...
阅读全文 6

基于redis又比celery更加简单的异步任务队列RQ

9,300 views

前言:    这里介绍一个python下,比celery更加简单的异步工具,真的是很简单,当然他的功能没有celery多,复杂程度也没有celery大,文档...
阅读全文 6

Python项目中用到的redis经验及数据类型

python 5,050 views
先感叹下,学东西一定要活学活用!   我用redis也有几年的历史了,今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了redis, 遇到了一些个问题和开发中提高性能的方法,这都分享出来,共同学习。 下面先简单讲讲Red...
阅读全文 2

Python项目中用到的redis经验及数据类型

5,050 views

先感叹下,学东西一定要活学活用!   我用redis也有几年的历史了,今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了re...
阅读全文 2

小计-python调用pymongo模糊正则查询的方法

mongodb,python 6,951 views
这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实让人闹心。  mongodb shell模式的模糊查询是用,db.project.find({‘name’:/xiaorui.cc...
阅读全文 4

小计-python调用pymongo模糊正则查询的方法

11-04 6,951 views

这边的数据平台,有个操作是通过关键字得出相关的项目,以前的写法是精确的匹配,这个很让人恼火,毕竟不是谁都可以记住完整的关键字和项目名称,这个着实...
阅读全文 4

python使用deque实现高性能双端队列

python 6,029 views
今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是后时候堵塞在insert动作。 我推荐他用deque。今天宅了一天,写了个hadoop pig的脚本,可以很容易的得出以前...
阅读全文 2

python使用deque实现高性能双端队列

11-02 6,029 views

今天有个哥们问我点东西,是分析数据的时候,会把感兴趣的数据存入到队列里面,同时有多个线程针对数据进行操作,有些数据会往前插入,他现在的问题是...
阅读全文 2

使用redis来实现tornado session的分布式存储

python,web 7,891 views
前言:    话说文章转自我的51cto博客里的,xiaorui.cc !    前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是咋测试的,我自己是没到那种牛逼的抗链接能力,不然咋说,该优化还是优化,EFI要这么较真,可以试着用nginx...
阅读全文 9

使用redis来实现tornado session的分布式存储

7,891 views

前言:    话说文章转自我的51cto博客里的,xiaorui.cc !    前两天有人问我tornado到c10,先声明下,我也不知道tornado官方是...
阅读全文 9

tornado subprocess实现异步调用系统命令及脚本

python,web 6,908 views
前言:      话说Tornado  是由Facebook开源的一个服务器“套装”,适合于做python的web或者使用其本身提供的可扩展的功能,完成了不完整的wsgi协议,可用于做快速的web开发,封装了epoll性能较好。文章主要以分析tornado的网络部分...
阅读全文 1

tornado subprocess实现异步调用系统命令及脚本

6,908 views

前言:      话说Tornado  是由Facebook开源的一个服务器“套装”,适合于做python的web或者使用其本身提供的可扩展的功能...
阅读全文 1

python实现最少使用算法lru包括dict和list队列

python 5,692 views
Lru 就是个  最少使用的算法,不是最少使用,他的名字就叫  ‘最少使用算法’。原理就是除了原本的数据之外,我另外维护一个dict或者是list,专门用来做排序,我每次get的时候,维护的那个dict里面key的value 加1 。你懂的。  用途,一般在于...
阅读全文 3

python实现最少使用算法lru包括dict和list队列

11-01 5,692 views

Lru 就是个  最少使用的算法,不是最少使用,他的名字就叫  ‘最少使用算法’。原理就是除了原本的数据之外,我另外维护一个dict或者是list,专门...
阅读全文 3

使用mako模板引擎使bottle数据渲染更加灵活

python 5,380 views
这两天在整理一个爬虫数据导出的项目,用到的框架是bottle,话说bottle自带的那个模板,太搓了,而且在一些小页面项目上,不能夹在python的逻辑。    有用过jinja2 的朋友,知道他有个叫做filter的过滤器的东西。python独立的模板,我用过jinja2和ma...
阅读全文 0

使用mako模板引擎使bottle数据渲染更加灵活

10-29 5,380 views

这两天在整理一个爬虫数据导出的项目,用到的框架是bottle,话说bottle自带的那个模板,太搓了,而且在一些小页面项目上,不能夹在python的逻辑。 &nbs...
阅读全文 0

python使用happybase批量的操作hbase

python 10,952 views
最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群中的其他hbase上起了Thrift服务,每个业务用自己的接口,这样能稳定了不少。  既然问题已经到...
阅读全文 2

python使用happybase批量的操作hbase

10-22 10,952 views

最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群...
阅读全文 2

python使用schema库进行数据校验

python 7,156 views
以前做数据校验的时候,用的更多的是Flask-Wtf 或者是自己手写装饰器, 今个发现一个好库,强大又简便。 Python from jsonschema import validate schema = { "type" : "object", "properties" : { ...
阅读全文 3

python使用schema库进行数据校验

10-20 7,156 views

以前做数据校验的时候,用的更多的是Flask-Wtf 或者是自己手写装饰器, 今个发现一个好库,强大又简便。 Python ...
阅读全文 3

Saltstack通过api接口调用modules实时监控

python,saltstack 5,064 views
前言:      这也是以前的内容,一说起实时监控,我就有很多的想法 ~  以前也做过几个类似的全网流量监控的项目,用过websocket的模式的,还有就是redis pubsub模式,以前从同事的nagios获取流量数据(这个结果很郁闷,nagios加了Ndoutils...
阅读全文 0

Saltstack通过api接口调用modules实时监控

10-15 5,064 views

前言:      这也是以前的内容,一说起实时监控,我就有很多的想法 ~  以前也做过几个类似的全网流量监控的项目,用过websocket的...
阅读全文 0

Python使用基于json文件的tinydb数据库

python 6,477 views
为什么使用TinyDB? TinyDB中有1200(40%文件)的代码行(+ 600次测试)。比较:buzhug大约有2000行代码(W / O测试),codernitydb大约有8000行代码(W / O试验)。 面向文件:如MongoDB,您可以存储任何文件(表示为dict)在TinyDB。 为了你的幸福,优化:Ti...
阅读全文 0

Python使用基于json文件的tinydb数据库

10-11 6,477 views

为什么使用TinyDB? TinyDB中有1200(40%文件)的代码行(+ 600次测试)。比较:buzhug大约有2000行代码(W / O测试),codernitydb大约有8000行代码(...
阅读全文 0