请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

关于Golang语言的web编程的实例及常见问题

Golang 6,629 views
多核处理器越来越普及。有没有一种简单的办法,能够让我们写的软件释放多核的威力?是有的。随着Golang, Erlang, Scala等为并发设计的程序语言的兴起,新的并发模式逐渐清晰。正如过程式编程和面向对象一样,一个好的编程模式有一个极其简洁的内核,还有在此之上丰富的外延。可以解决现实世界中各种各样的问题。 ...
阅读全文 0

关于Golang语言的web编程的实例及常见问题

10-25 6,629 views

多核处理器越来越普及。有没有一种简单的办法,能够让我们写的软件释放多核的威力?是有的。随着Golang, Erlang, Scala等为并发设计的程序语言的兴起,新的...
阅读全文 0

zabbix二次开发集成运维平台展现监控图表

zabbix 11,417 views
前沿:     集群控制平台已经要慢慢的灰度上线了,出问题的时候,才找点bug,时间有点空闲。正好看了下zabbix的数据库,产生了自己想做一套能更好的展现zabbix的页面。    zabbix的强点大家都感觉或者用出感觉了,确实很是方便。曾经的我,跟着公司的团队开发过一套不小的监控系统,看...
阅读全文 0

zabbix二次开发集成运维平台展现监控图表

10-25 11,417 views

前沿:     集群控制平台已经要慢慢的灰度上线了,出问题的时候,才找点bug,时间有点空闲。正好看了下zabbix的数据库,产生了自己想做一套能...
阅读全文 0

python使用happybase批量的操作hbase

python 13,235 views
最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群中的其他hbase上起了Thrift服务,每个业务用自己的接口,这样能稳定了不少。  既然问题已经到这里了,就要想方设法介绍链接和频繁的获取数据,回溯...
阅读全文 2

python使用happybase批量的操作hbase

10-22 13,235 views

最近在跑任务的回溯,发现有时候,速度会很慢 ,一开始确定到了 是hbase就起了一个公用的thrift,大家最近也都在导数据,搞得thrift总是挂掉 。 后来在集群...
阅读全文 2

python使用schema库进行数据校验

python 8,637 views
以前做数据校验的时候,用的更多的是Flask-Wtf 或者是自己手写装饰器, 今个发现一个好库,强大又简便。 Python from jsonschema import validate schema = { "type" : "object", "properties" : { "price" : {"type" : "number"}, "...
阅读全文 3

python使用schema库进行数据校验

10-20 8,637 views

以前做数据校验的时候,用的更多的是Flask-Wtf 或者是自己手写装饰器, 今个发现一个好库,强大又简便。 Python ...
阅读全文 3

Saltstack通过api接口调用modules实时监控

python,saltstack 6,006 views
前言:      这也是以前的内容,一说起实时监控,我就有很多的想法 ~  以前也做过几个类似的全网流量监控的项目,用过websocket的模式的,还有就是redis pubsub模式,以前从同事的nagios获取流量数据(这个结果很郁闷,nagios加了Ndoutils插件后可以把数据存入到mysql里面,但是压力很大)。 ...
阅读全文 0

Saltstack通过api接口调用modules实时监控

10-15 6,006 views

前言:      这也是以前的内容,一说起实时监控,我就有很多的想法 ~  以前也做过几个类似的全网流量监控的项目,用过websocket的...
阅读全文 0

Python使用基于json文件的tinydb数据库

python 7,650 views
为什么使用TinyDB? TinyDB中有1200(40%文件)的代码行(+ 600次测试)。比较:buzhug大约有2000行代码(W / O测试),codernitydb大约有8000行代码(W / O试验)。 面向文件:如MongoDB,您可以存储任何文件(表示为dict)在TinyDB。 为了你的幸福,优化:TinyDB的设计是简单的和有趣的使用提供了一个简单和干净...
阅读全文 0

Python使用基于json文件的tinydb数据库

10-11 7,650 views

为什么使用TinyDB? TinyDB中有1200(40%文件)的代码行(+ 600次测试)。比较:buzhug大约有2000行代码(W / O测试),codernitydb大约有8000行代码(...
阅读全文 0

使用python做大数据缓存时遇到的问题

python 6,030 views
  被gc和weakref打败了。 这两天在折腾一个数据缓存的rpc服务,简单说就是个内存缓存,计划不打算用redis,memcached。  因为毕竟这些nosql是跨进程的,链接又是tcp链接,肯定是有损耗的。  但是,我想的太简单了。 再实现的过程中,发现内存总是释放不了,调用gc释放也是相当的有限,这让人十分...
阅读全文 3

使用python做大数据缓存时遇到的问题

9-29 6,030 views

  被gc和weakref打败了。 这两天在折腾一个数据缓存的rpc服务,简单说就是个内存缓存,计划不打算用redis,memcached。  因为毕竟这些nosql是...
阅读全文 3

关于bash漏洞的事及修复方法

运维基础 6,004 views
你妈,一个BASH的漏洞,可以通过漏洞获取很大的权限,解决的方法很简单,就是升级bash。 下面是官网拔下来的,当然用的翻译。  在Linux中,环境变量提供了一种软件的行为对系统的影响。对于很多程序在后台运行bash shell是很常见的。它经常被用来向远程用户提供壳(通过SSH,Telnet,例如),提供一个...
阅读全文 0

关于bash漏洞的事及修复方法

9-25 6,004 views

你妈,一个BASH的漏洞,可以通过漏洞获取很大的权限,解决的方法很简单,就是升级bash。 下面是官网拔下来的,当然用的翻译。  在Linux中...
阅读全文 0

python下的ahocorasick实现快速的关键字匹配

python 8,754 views
这两天在折腾下数据的分析及导出,爬虫抓取页面的时候,我们会坐做关键字的匹配,在数据库中标记这个url是否有我们需要的关键字。 这个时候你不能再用find()了,这太没有效率了,而且你会发现在同时处理几千个任务的时候,会出现cpu的瓶颈。 如果采用ahocorasick来实现,可以很有效的减轻cpu的消耗。  AC自动机...
阅读全文 1

python下的ahocorasick实现快速的关键字匹配

9-21 8,754 views

这两天在折腾下数据的分析及导出,爬虫抓取页面的时候,我们会坐做关键字的匹配,在数据库中标记这个url是否有我们需要的关键字。 这个时候你不能再用find(...
阅读全文 1

使用HashRing实现python下的一致性hash

python 8,599 views
前言:         我们在实现服务器负载均衡时候可供选择的负载均衡的算法有很多,包括:  轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法. &nb...
阅读全文 0

使用HashRing实现python下的一致性hash

9-20 8,599 views

前言:         我们在实现服务器负载均衡时候可供选择的负载均衡的算法有很多,包括:  轮循算法(Roun...
阅读全文 0

使用pdb和profile更好友的调试python程序性能

python 6,172 views
往常咱们测试程序,尤其是单个脚本及函数的性能,更多的是使用time.time() 来计算。 其实完全可以不要这样。 python语言有个Cprofile 库,是来分析所有过程的时间消耗的。  Python import time t = 0 def a(): time.sleep(1) def b(): time.sleep(2) ...
阅读全文 0

使用pdb和profile更好友的调试python程序性能

9-18 6,172 views

往常咱们测试程序,尤其是单个脚本及函数的性能,更多的是使用time.time() 来计算。 其实完全可以不要这样。 python语言有个Cprofile 库,是来分析所有过程...
阅读全文 0

用dockerfile配置生成docker image并实现容器部署

docker 7,925 views
前言:        docker有个dockerfile 是什么东西,为什么我们要用他?  简单的说:  以前咱们docker run创建一个docker容器,有时候会附带不少的参数。  比如: Python docker run -d -p 22 -p 8080:8080 ruif...
阅读全文 2

用dockerfile配置生成docker image并实现容器部署

9-18 7,925 views

前言:        docker有个dockerfile 是什么东西,为什么我们要用他?  简单的说:  以前咱们docker ...
阅读全文 2

docker容器跨服务器的迁移方式export和save

docker 12,359 views
前沿:         这两天把报警平台放在了docker里面跑了,但是宿主机本身性能就不好,所以导致mongodb到挂了好几次了。这次搞了一台牛逼的服务器,虽说是opentstack里面的主机,但是iops 很不错。 感谢向军同学的帮助,不然就升级uek内核就能搞死我。   &nb...
阅读全文 0

docker容器跨服务器的迁移方式export和save

9-18 12,359 views

前沿:         这两天把报警平台放在了docker里面跑了,但是宿主机本身性能就不好,所以导致mongodb到挂了好几次了。这次搞...
阅读全文 0

使Docker提供对外服务的网络配置(桥接与端口)

docker 9,938 views
前沿:         docker 启动容器后,如何对外服务?   希望大家看了这篇文章后有些帮助。  docker的有关网络问题没怎么搞清楚,请教了下邓磊同学,感谢 ! Docker生成的容器,一般会给你生成一个ip地址,这个ip地址是和docker0...
阅读全文 0

使Docker提供对外服务的网络配置(桥接与端口)

9-18 9,938 views

前沿:         docker 启动容器后,如何对外服务?   希望大家看了这篇文章后有些帮助。  ...
阅读全文 0

关于docker rest api接口组件docker remote api的使用

docker 10,281 views
前提:      docker remote api 是docker自带的一个rest api 管理。      只要在配置文件里面申明下就可以了。 下面是docker remote api的官方的功能目录: Docker Remote API v1.3 3.1 Inside ‘docker run’ 3.2 Hijac...
阅读全文 0

关于docker rest api接口组件docker remote api的使用

9-18 10,281 views

前提:      docker remote api 是docker自带的一个rest api 管理。      只要在配置文件里面申明下就可以...
阅读全文 0

使用python的docker-py实现docker的api操作

docker 10,352 views
前沿:         听同事说,以后的dba申请可能有部分走其他部门的docker ,那边貌似在搞一个类似docker的平台管理系统,据说很霸道。于是乎,我自己也想尝试写一个简单的doker管理平台。  做为起步我先搞搞docker api,docker官网有个docker-py,用起来很是清爽简单。  ...
阅读全文 1

使用python的docker-py实现docker的api操作

9-18 10,352 views

前沿:         听同事说,以后的dba申请可能有部分走其他部门的docker ,那边貌似在搞一个类似docker的平台管理系统,据说...
阅读全文 1

监控报警开发之zabbix语音电话报警方案

zabbix 7,552 views
前言:      我相信大家的公司都是有noc的成员,noc是在做什么的,现在基本定义为盯着监控,严重的告警会给你打电话,催你解决,并把这些事情定期做总结。 一般这种的工作都是指派外包人员做的。       我现在已经开发了一套报警的平台接口,供应公司api层面的邮件...
阅读全文 0

监控报警开发之zabbix语音电话报警方案

9-18 7,552 views

前言:      我相信大家的公司都是有noc的成员,noc是在做什么的,现在基本定义为盯着监控,严重的告警会给你打电话,催你解决,并...
阅读全文 0

kibana和elasticsearch实现实时监控图表[下]

python 10,606 views
前言:        此文接的是上篇,上次的内容是,用python操作elasticsearch存储,实现数据的插入和查询。  估计有些人一看我的标题,以为肯定是 logstash kibana elasticsearch的组合。这三个家伙也确实总是勾搭在一块。 其实logstash是可以被别的替换,比如常见的fluented 。剩下的那两个...
阅读全文 0

kibana和elasticsearch实现实时监控图表[下]

9-16 10,606 views

前言:        此文接的是上篇,上次的内容是,用python操作elasticsearch存储,实现数据的插入和查询。  估计有些人一看我的...
阅读全文 0

使用python操作elasticsearch实现监控数据及kibana分析

python 10,640 views
前言:     例行公事,有些人可能不太了解elasticsearch,从别的文章找到一个介绍,大家瞅一眼。 Elasticsearch是一款分布式搜索引擎,支持在大数据环境中进行实时数据分析。它基于Apache Lucene文本搜索引擎,内部功能通过ReST API暴露给外部。除了通过HTTP直接访问Elasticsearch,还...
阅读全文 0

使用python操作elasticsearch实现监控数据及kibana分析

9-16 10,640 views

前言:     例行公事,有些人可能不太了解elasticsearch,从别的文章找到一个介绍,大家瞅一眼。 Elasticsearch是一款分布...
阅读全文 0

使用bloomfilter实现亿级别爬虫url链接去重对比

python 9,550 views
这边的爬虫系统又出现了一些个瓶颈。由于网络间的链接错综复杂,蜘蛛在网络间爬行很可能会形成“环”。为了避免形成“环”,就需要知道蜘蛛已经访问过那些URL。一开始我们首先排除掉了set集合,虽然set集合比数组类型的list。但是内存占用的大小,和几十亿条数据对比的时候,还是很出现性能的瓶颈 。  这...
阅读全文 4

使用bloomfilter实现亿级别爬虫url链接去重对比

9-14 9,550 views

这边的爬虫系统又出现了一些个瓶颈。由于网络间的链接错综复杂,蜘蛛在网络间爬行很可能会形成“环”。为了避免形成“环”,就需要知道蜘蛛已经访问过那些U...
阅读全文 4

python使用异步任务celery出现异常崩溃时retry重试

python 9,402 views
前言:     python下的celery是啥东西大家应该有了解,是一个异步的任务框架 。话说,  我以前写过一个报警平台的项目,也需要任务的扩展成分布式,当时总是觉得 用celery不是那么太靠谱,所以就自己写了一个分布式的任务派发的系统。  文章源地址,http://xiaorui.cc/?p=254 ...
阅读全文 0

python使用异步任务celery出现异常崩溃时retry重试

9-12 9,402 views

前言:     python下的celery是啥东西大家应该有了解,是一个异步的任务框架 。话说,  我以前写过一个报警平台的项目,也需要任务...
阅读全文 0