大数据ElasticSearch遇到ignore_above问题

elasticsearch,python 5,199 views
    以前有一个叫朱伟大神的人跟我聊过,凡是所谓的坑,都是因为你没看他的源码或者文档导致的。 这话听起来有道理,但问题ElasticSearch的各种文档很是乱,刚接触他的人只看es的dsl语句就会郁闷住的,不用说更深层的文档。  ElasticSearch的更新算...
阅读全文 0

大数据ElasticSearch遇到ignore_above问题

04-07 5,199 views

    以前有一个叫朱伟大神的人跟我聊过,凡是所谓的坑,都是因为你没看他的源码或者文档导致的。 这话听起来有道理,但问题ElasticSearch的各种文...
阅读全文 0

[译文] Elasticsearch的任务管理api

elasticsearch 3,795 views
心血来潮,又翻译了elasticsearch的一篇文章。 今才发现elasticsearch也有了任务管理api。这任务管理可以理解为mysql的show processlist; kill %task_id 。同样elasticsearch也有查询、取消任务的功能。  有了任务管理api,我们对于那种长时间的任务可以更好...
阅读全文 0

[译文] Elasticsearch的任务管理api

03-31 3,795 views

心血来潮,又翻译了elasticsearch的一篇文章。 今才发现elasticsearch也有了任务管理api。这任务管理可以理解为mysql的show processlist; kill %task_id ...
阅读全文 0

源码分析elasticsearch python的scan及scroll实现

elasticsearch,python 5,120 views
上篇文章已经讲过elasticsearch scan scroll的用途, 他们是用来解决获取大数据返回时的性能问题.  有兴趣的朋友可以回顾下 scan,scroll的作用一篇. http://xiaorui.cc/?p=3072 这次聊下elasticsearch python客户端的实现。 该文章写的...
阅读全文 1

源码分析elasticsearch python的scan及scroll实现

03-29 5,120 views

上篇文章已经讲过elasticsearch scan scroll的用途, 他们是用来解决获取大数据返回时的性能问题.  有兴趣的朋友可以回顾下 scan,scroll的作用一篇....
阅读全文 1

使用elasticsearch的scroll和scan解决深度分页问题

elasticsearch,python 6,869 views
使用ElasticSearch的scroll和scan解决大数据集合问题 我的连接,http://xiaorui.cc/?p=3072 内容概要, 主要是解决在ElasticSearch中大数据集合的查询需求,可以使用scroll scan可以较轻松的遍历elasticsearch的某个index. 深度分页那些事 我们知...
阅读全文 0

使用elasticsearch的scroll和scan解决深度分页问题

03-28 6,869 views

使用ElasticSearch的scroll和scan解决大数据集合问题 我的连接,http://xiaorui.cc/?p=3072 内容概要, 主要是解决在ElasticSearch中大数据集合的...
阅读全文 0

源码分析elasticsearch的pyes bulk批量实现

elasticsearch,python 4,839 views
关于elasticsearch的操作,我一般是使用python elasticsearch库的。 维护他人的代码所以间接的再研究下pyes。 我们的所有业务都是依赖于ElasticSearch数据库的,不说java,python关于es的模块有elasticsearch和pyes这两个库。  而我跟伟哥用的都是python...
阅读全文 0

源码分析elasticsearch的pyes bulk批量实现

03-25 4,839 views

关于elasticsearch的操作,我一般是使用python elasticsearch库的。 维护他人的代码所以间接的再研究下pyes。 我们的所有业务都是依赖于ElasticSearch...
阅读全文 0

探讨elasticsearch tribe跨机房日志收集的实现

elasticsearch,运维 5,232 views
这篇文章主要是闲扯跨机房日志收集的一些事,后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的? 使用Elasticsearch Tribe Node做es集群的代理? 但这也是个好问题. 对于全网的应用日志收集,我想做过运维的朋友都了解的.  不外乎就那么几种...
阅读全文 5

探讨elasticsearch tribe跨机房日志收集的实现

02-01 5,232 views

这篇文章主要是闲扯跨机房日志收集的一些事,后面会很疑惑的分析魅族跨机房\集群的日志是怎么收集存储的? 使用Elasticsearch Tribe Node做es集群的代理? ...
阅读全文 5

从kibana迁移到grafana作为elasticsearch的前端展现

elasticsearch,运维 10,308 views
今天说说,我们为什么会选择从kibana4迁移到grafana,并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面,勿喷. 最一开始使用kibana ElasticSearch的组合是为了集中式收集应用及系统日志.  后来由于业务方面...
阅读全文 14

从kibana迁移到grafana作为elasticsearch的前端展现

01-07 10,308 views

今天说说,我们为什么会选择从kibana4迁移到grafana,并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面,勿喷....
阅读全文 14

解决python elasticsearch的TransportError异常问题

elasticsearch,python 6,579 views
解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsearch数据延迟的微信报警。 通过看日志得知consumer进程异常了, ps aux f看了下进程状态貌似是正常.  我...
阅读全文 0

解决python elasticsearch的TransportError异常问题

01-06 6,579 views

解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsea...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

docker,elasticsearch,运维 5,057 views
      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前段时间我们遇到了个问题, 是由于docker容器最大文件打开数配置太小引起的,其实我们在linux本机已经配置了/...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

01-05 5,057 views

      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前...
阅读全文 0

elasticsearch如何修改mapping和template的方法

DB,elasticsearch 6,182 views
题目,elasticsearch修改mapping和template的方法 首先要说明下,template和mapping的关系,mapping默认是集成于template的,当然如果mapping有设定的话,就走自定义的mapping. mapping相当于字段描述,比如某个字段是float,某个字段需要分词,某个字段是date类...
阅读全文 2

elasticsearch如何修改mapping和template的方法

12-17 6,182 views

题目,elasticsearch修改mapping和template的方法 首先要说明下,template和mapping的关系,mapping默认是集成于template的,当然如果mapping有设定的话,...
阅读全文 2

纠结Kibana4的时区timezone配置问题

elasticsearch,运维 7,791 views
今天聊聊,我是如何被Kibana时区timezone问题搞得没脾气的… 前段时间跟大家聊过,我们开始使用metrices + kibana + elasticesarch集群的组合构建应用级性能监控,数据在es里面可以轻松的使用kibana画各种图表。 文章写的不是太严谨,后期...
阅读全文 3

纠结Kibana4的时区timezone配置问题

12-09 7,791 views

今天聊聊,我是如何被Kibana时区timezone问题搞得没脾气的… 前段时间跟大家聊过,我们开始使用metrices + kibana + elasticesarch集群的组合构...
阅读全文 3

Elasticsearch关于nested结构query和filter查询语法

DB,elasticsearch 5,646 views
什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.  需要注意的是,默认的嵌套形式的kv并不是nested类型的,要提前定义mapping . 文章有些地方写的不严谨,后期会更新, 请查看原文链接   http:/...
阅读全文 1

Elasticsearch关于nested结构query和filter查询语法

11-25 5,646 views

什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.  需要注意的是,默认的嵌套形式的kv并不是nested类型的...
阅读全文 1

如何使用Elasticsearch groovy script脚本更新数据

DB,elasticsearch 6,042 views
今天细说一下elasticsearch的update更新功能,以及如何利用script脚本更新数据。 想要使用script脚本功能,需要在配置文件elasticsearch.yml里设置 Python script.disable_dynamic: false 12 ...
阅读全文 0

如何使用Elasticsearch groovy script脚本更新数据

11-20 6,042 views

今天细说一下elasticsearch的update更新功能,以及如何利用script脚本更新数据。 想要使用script脚本功能,需要在配置文件elasticsearch.yml里设置 ...
阅读全文 0

elasticsearch的查询器query与过滤器filter的区别

DB,elasticsearch,运维 7,951 views
很多刚学elasticsearch的人对于查询方面很是苦恼,说实话es的查询语法真心不简单…  当然你如果入门之后,会发现elasticsearch的rest api设计是多么有意思。  说正题,elasticsearch的查询有两部分组成:query and filter 。  下面...
阅读全文 2

elasticsearch的查询器query与过滤器filter的区别

11-09 7,951 views

很多刚学elasticsearch的人对于查询方面很是苦恼,说实话es的查询语法真心不简单…  当然你如果入门之后,会发现elasticsearch的rest api设计是...
阅读全文 2

使用elasticsearch的fields和partial_fields自定义限制字段

elasticsearch,运维 6,221 views
为了提高python elasticsearch的调用性能,从各方面都要小心注意。首先是在大量数据查询及导数的时候,要尽量的精简下返回的结果,去除那些不需要的字段。 在通过elasticsearch查询数据时候,不想显示所有字段,就在request Dsl请求语句里面增加了fields字段进行控...
阅读全文 1

使用elasticsearch的fields和partial_fields自定义限制字段

11-05 6,221 views

为了提高python elasticsearch的调用性能,从各方面都要小心注意。首先是在大量数据查询及导数的时候,要尽量的精简下返回的结果,去除那些不需要的字段。...
阅读全文 1

使用nginx lua对elasticsearch权限控制

elasticsearch,运维 4,772 views
想法: 呵呵,我最近还真有些迷恋Elasticsearch DSL语法了,尤其他那设计起来很有道理的RESTful API ! 虽然几年前也折腾elasticsearch,但更多的是应付事,当时找了一堆DSL语句来回的套用。 现在我这边正在开发一个应用监控系统,包含各种报表及业务各种趋...
阅读全文 0

使用nginx lua对elasticsearch权限控制

4,772 views

想法: 呵呵,我最近还真有些迷恋Elasticsearch DSL语法了,尤其他那设计起来很有道理的RESTful API ! 虽然几年前也折腾elasticsearch,但更多的是...
阅读全文 0

聊聊python elasticsearch聚合计算的用法

elasticsearch,python 6,485 views
今朋友问我关于python elasticsearch aggs的问题,虽然我自己也经常使用es,但因为业务的关系,能用到的elasticsearch语句来来回回就那些,然后再来回套用那几个DSL局域就可以了…  趁着这次跟别人交流的机会,我也把elasticsearch aggs聚合计算也好好的...
阅读全文 0

聊聊python elasticsearch聚合计算的用法

11-01 6,485 views

今朋友问我关于python elasticsearch aggs的问题,虽然我自己也经常使用es,但因为业务的关系,能用到的elasticsearch语句来来回回就那些,然后再来回套用...
阅读全文 0

从源码分析python批量插入elasticsearch的实现

elasticsearch,python 5,566 views
看了elasticsearch python的一些源码,现在看到bulk批量操作.  发现网上对于elasticsearch批量插入的文章有些少,我在这里就简单描述下es bulk的各个接口。  最近爬虫太粗暴了,文章总是被转走. 这里标注下原文链接 http://xiaorui.cc/?p=2...
阅读全文 0

从源码分析python批量插入elasticsearch的实现

10-30 5,566 views

看了elasticsearch python的一些源码,现在看到bulk批量操作.  发现网上对于elasticsearch批量插入的文章有些少,我在这里就简单描述下es bulk的各个...
阅读全文 0

使用tornado实现elasticsearch的权限控制

elasticsearch,python 6,393 views
前言:     公司的应用监控平台又要有所变动了,准备把opentsdb给剔除,改用elasticsearch后端存储。去掉opentsdb的原因很简单,因为在数据量大的时候,hbase rowkey的效率达不到快速返回的需求,尤其针对聚合计算效率低。Opentsdb不支持二级索引...
阅读全文 1

使用tornado实现elasticsearch的权限控制

10-19 6,393 views

前言:     公司的应用监控平台又要有所变动了,准备把opentsdb给剔除,改用elasticsearch后端存储。去掉opentsdb的原因很简单,因为在数...
阅读全文 1

python elasticsearch高级组合查询及aggs聚合

elasticsearch,python 6,682 views
这两天和小朋友对elasticsearch进行死逼…  主要是纠结,我今天就上两个例子……   如果你的查询较为复杂就直接套用这个格式,shold里面的逻辑都是OR , must_not是非,must是必须要有的。  关于elasticsearch 组合查询和...
阅读全文 1

python elasticsearch高级组合查询及aggs聚合

09-18 6,682 views

这两天和小朋友对elasticsearch进行死逼…  主要是纠结,我今天就上两个例子……   如果你的查询较为复杂就直接套用这个...
阅读全文 1

通过elasticsearch批量创建kibana的visualize图表及dashboard

elasticsearch,运维,运维开发 9,891 views
      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没上线,SO,在这样监控不给力的情况下,就需要产品经理自己去统计下。 文章写的不是很严谨,欢迎来喷,另...
阅读全文 8

通过elasticsearch批量创建kibana的visualize图表及dashboard

06-09 9,891 views

      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没...
阅读全文 8