以前有一个叫朱伟大神的人跟我聊过，凡是所谓的坑，都是因为你没看他的源码或者文档导致的。 这话听起来有道理，但问题ElasticSearch的各种文档很是乱，刚接触他的人只看es的dsl语句就会郁闷住的，不用说更深层的文档。 ElasticSearch的更新算...
04-07 6,379 views
阅读全文 0
心血来潮，又翻译了elasticsearch的一篇文章。 今才发现elasticsearch也有了任务管理api。这任务管理可以理解为mysql的show processlist; kill %task_id 。同样elasticsearch也有查询、取消任务的功能。 有了任务管理api，我们对于那种长时间的任务可以更好...
03-31 4,702 views
心血来潮，又翻译了elasticsearch的一篇文章。 今才发现elasticsearch也有了任务管理api。这任务管理可以理解为mysql的show processlist; kill %task_id ...
上篇文章已经讲过elasticsearch scan scroll的用途， 他们是用来解决获取大数据返回时的性能问题. 有兴趣的朋友可以回顾下 scan，scroll的作用一篇. http://xiaorui.cc/?p=3072
这次聊下elasticsearch python客户端的实现。
该文章写的...
03-29 6,251 views
阅读全文 1
使用ElasticSearch的scroll和scan解决大数据集合问题
我的连接，http://xiaorui.cc/?p=3072
内容概要, 主要是解决在ElasticSearch中大数据集合的查询需求，可以使用scroll scan可以较轻松的遍历elasticsearch的某个index.
深度分页那些事
我们知...
03-28 8,303 views
使用ElasticSearch的scroll和scan解决大数据集合问题
我的连接，http://xiaorui.cc/?p=3072
内容概要, 主要是解决在ElasticSearch中大数据集合的...
关于elasticsearch的操作，我一般是使用python elasticsearch库的。 维护他人的代码所以间接的再研究下pyes。 我们的所有业务都是依赖于ElasticSearch数据库的，不说java，python关于es的模块有elasticsearch和pyes这两个库。 而我跟伟哥用的都是python...
03-25 5,717 views
阅读全文 0
这篇文章主要是闲扯跨机房日志收集的一些事，后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的？ 使用Elasticsearch Tribe Node做es集群的代理？ 但这也是个好问题.
对于全网的应用日志收集，我想做过运维的朋友都了解的. 不外乎就那么几种...
02-01 6,251 views
阅读全文 5
今天说说，我们为什么会选择从kibana4迁移到grafana，并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面，勿喷.
最一开始使用kibana ElasticSearch的组合是为了集中式收集应用及系统日志. 后来由于业务方面...
01-07 12,843 views
今天说说，我们为什么会选择从kibana4迁移到grafana，并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面，勿喷....
解决python elasticsearch的TransportError异常问题
照例先扯闲话，今天的雾霾终于下去了，风很大，身体有些虚. 是时候该锻炼了.
收到elasticsearch数据延迟的微信报警。 通过看日志得知consumer进程异常了, ps aux f看了下进程状态貌似是正常. 我...
01-06 7,745 views
阅读全文 0
国内业务方面重度使用elasticsearch的公司不是很多，我公司就是其一. 大多数是使用elk做日志收集展现. 前段时间我们遇到了个问题， 是由于docker容器最大文件打开数配置太小引起的，其实我们在linux本机已经配置了/...
01-05 6,076 views
阅读全文 0
题目,elasticsearch修改mapping和template的方法
首先要说明下，template和mapping的关系，mapping默认是集成于template的，当然如果mapping有设定的话，就走自定义的mapping.
mapping相当于字段描述，比如某个字段是float，某个字段需要分词，某个字段是date类...
12-17 7,903 views
题目,elasticsearch修改mapping和template的方法
首先要说明下，template和mapping的关系，mapping默认是集成于template的，当然如果mapping有设定的话，...
今天聊聊，我是如何被Kibana时区timezone问题搞得没脾气的…
前段时间跟大家聊过，我们开始使用metrices + kibana + elasticesarch集群的组合构建应用级性能监控，数据在es里面可以轻松的使用kibana画各种图表。
文章写的不是太严谨，后期...
12-09 9,227 views
阅读全文 3
什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.
需要注意的是，默认的嵌套形式的kv并不是nested类型的，要提前定义mapping .
文章有些地方写的不严谨，后期会更新, 请查看原文链接 http:/...
11-25 6,817 views
阅读全文 1
今天细说一下elasticsearch的update更新功能，以及如何利用script脚本更新数据。
想要使用script脚本功能,需要在配置文件elasticsearch.yml里设置
Python
script.disable_dynamic: false
1
...
11-20 7,316 views
阅读全文 0
很多刚学elasticsearch的人对于查询方面很是苦恼，说实话es的查询语法真心不简单… 当然你如果入门之后，会发现elasticsearch的rest api设计是多么有意思。
说正题，elasticsearch的查询有两部分组成：query and filter 。
下面...
11-09 9,603 views
阅读全文 2
为了提高python elasticsearch的调用性能，从各方面都要小心注意。首先是在大量数据查询及导数的时候，要尽量的精简下返回的结果，去除那些不需要的字段。
在通过elasticsearch查询数据时候,不想显示所有字段,就在request Dsl请求语句里面增加了fields字段进行控...
11-05 7,335 views
阅读全文 1
想法:
呵呵，我最近还真有些迷恋Elasticsearch DSL语法了，尤其他那设计起来很有道理的RESTful API ！
虽然几年前也折腾elasticsearch，但更多的是应付事，当时找了一堆DSL语句来回的套用。 现在我这边正在开发一个应用监控系统，包含各种报表及业务各种趋...
5,602 views
阅读全文 0
今朋友问我关于python elasticsearch aggs的问题，虽然我自己也经常使用es，但因为业务的关系，能用到的elasticsearch语句来来回回就那些，然后再来回套用那几个DSL局域就可以了… 趁着这次跟别人交流的机会，我也把elasticsearch aggs聚合计算也好好的...
11-01 7,653 views
阅读全文 0
看了elasticsearch python的一些源码，现在看到bulk批量操作. 发现网上对于elasticsearch批量插入的文章有些少，我在这里就简单描述下es bulk的各个接口。
最近爬虫太粗暴了，文章总是被转走. 这里标注下原文链接 http://xiaorui.cc/?p=2...
10-30 6,697 views
阅读全文 0
前言:
公司的应用监控平台又要有所变动了，准备把opentsdb给剔除，改用elasticsearch后端存储。去掉opentsdb的原因很简单，因为在数据量大的时候，hbase rowkey的效率达不到快速返回的需求，尤其针对聚合计算效率低。Opentsdb不支持二级索引...
10-19 7,557 views
阅读全文 1
这两天和小朋友对elasticsearch进行死逼… 主要是纠结，我今天就上两个例子……
如果你的查询较为复杂就直接套用这个格式，shold里面的逻辑都是OR ， must_not是非，must是必须要有的。
关于elasticsearch 组合查询和...
09-18 7,963 views
阅读全文 1