请注意,Zanblog并不支持低于IE8的浏览器,为了获得最佳效果,请下载最新的浏览器,推荐下载 Chrome

大数据ElasticSearch遇到ignore_above问题

elasticsearch,python 5,861 views
    以前有一个叫朱伟大神的人跟我聊过,凡是所谓的坑,都是因为你没看他的源码或者文档导致的。 这话听起来有道理,但问题ElasticSearch的各种文档很是乱,刚接触他的人只看es的dsl语句就会郁闷住的,不用说更深层的文档。  ElasticSearch的更新算是频繁,但我还在使用旧版的1.4,测试环境用2.0.  ...
阅读全文 0

大数据ElasticSearch遇到ignore_above问题

4-07 5,861 views

    以前有一个叫朱伟大神的人跟我聊过,凡是所谓的坑,都是因为你没看他的源码或者文档导致的。 这话听起来有道理,但问题ElasticSearch的各种文...
阅读全文 0

[译文] Elasticsearch的任务管理api

elasticsearch 4,270 views
心血来潮,又翻译了elasticsearch的一篇文章。 今才发现elasticsearch也有了任务管理api。这任务管理可以理解为mysql的show processlist; kill %task_id 。同样elasticsearch也有查询、取消任务的功能。  有了任务管理api,我们对于那种长时间的任务可以更好控制了。  该文章写的有些乱,欢迎来喷 ...
阅读全文 0

[译文] Elasticsearch的任务管理api

3-31 4,270 views

心血来潮,又翻译了elasticsearch的一篇文章。 今才发现elasticsearch也有了任务管理api。这任务管理可以理解为mysql的show processlist; kill %task_id ...
阅读全文 0

使用elasticsearch的scroll和scan解决深度分页问题

elasticsearch,python 7,699 views
使用ElasticSearch的scroll和scan解决大数据集合问题 我的连接,http://xiaorui.cc/?p=3072 内容概要, 主要是解决在ElasticSearch中大数据集合的查询需求,可以使用scroll scan可以较轻松的遍历elasticsearch的某个index. 深度分页那些事 我们知道ElasticSearch的深度分页是相当没有效率的,这根mon...
阅读全文 0

使用elasticsearch的scroll和scan解决深度分页问题

3-28 7,699 views

使用ElasticSearch的scroll和scan解决大数据集合问题 我的连接,http://xiaorui.cc/?p=3072 内容概要, 主要是解决在ElasticSearch中大数据集合的...
阅读全文 0

源码分析elasticsearch的pyes bulk批量实现

elasticsearch,python 5,327 views
关于elasticsearch的操作,我一般是使用python elasticsearch库的。 维护他人的代码所以间接的再研究下pyes。 我们的所有业务都是依赖于ElasticSearch数据库的,不说java,python关于es的模块有elasticsearch和pyes这两个库。  而我跟伟哥用的都是python elasticsearch模块。一个部门居然用不同的模块…...
阅读全文 0

源码分析elasticsearch的pyes bulk批量实现

3-25 5,327 views

关于elasticsearch的操作,我一般是使用python elasticsearch库的。 维护他人的代码所以间接的再研究下pyes。 我们的所有业务都是依赖于ElasticSearch...
阅读全文 0

解决python elasticsearch的TransportError异常问题

elasticsearch,python 7,216 views
解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsearch数据延迟的微信报警。 通过看日志得知consumer进程异常了, ps aux f看了下进程状态貌似是正常.  我们可以确定了41577 是主进程,剩下的都是由41577 spaw...
阅读全文 0

解决python elasticsearch的TransportError异常问题

1-06 7,216 views

解决python elasticsearch的TransportError异常问题 照例先扯闲话,今天的雾霾终于下去了,风很大,身体有些虚.  是时候该锻炼了.  收到elasticsea...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

docker,elasticsearch,运维 5,622 views
      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前段时间我们遇到了个问题, 是由于docker容器最大文件打开数配置太小引起的,其实我们在linux本机已经配置了/etc/security/limits.conf .  具体问题及解决方...
阅读全文 0

docker ulimit引起elasticsearch Too many open files报错

1-05 5,622 views

      国内业务方面重度使用elasticsearch的公司不是很多,我公司就是其一.   大多数是使用elk做日志收集展现.    前...
阅读全文 0

elasticsearch如何修改mapping和template的方法

DB,elasticsearch 7,089 views
题目,elasticsearch修改mapping和template的方法 首先要说明下,template和mapping的关系,mapping默认是集成于template的,当然如果mapping有设定的话,就走自定义的mapping. mapping相当于字段描述,比如某个字段是float,某个字段需要分词,某个字段是date类型,是否可以搜索 template,字面意思是模板,他所作的...
阅读全文 2

elasticsearch如何修改mapping和template的方法

12-17 7,089 views

题目,elasticsearch修改mapping和template的方法 首先要说明下,template和mapping的关系,mapping默认是集成于template的,当然如果mapping有设定的话,...
阅读全文 2

Elasticsearch关于nested结构query和filter查询语法

DB,elasticsearch 6,302 views
什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.  需要注意的是,默认的嵌套形式的kv并不是nested类型的,要提前定义mapping . 文章有些地方写的不严谨,后期会更新, 请查看原文链接   http://xiaorui.cc/?p=2376 下面是一个nested的数...
阅读全文 1

Elasticsearch关于nested结构query和filter查询语法

11-25 6,302 views

什么是nested结构, 简单可以理解为是嵌套数据类型… 嵌套类型需要实现定义好mapping.  需要注意的是,默认的嵌套形式的kv并不是nested类型的...
阅读全文 1

elasticsearch的查询器query与过滤器filter的区别

DB,elasticsearch,运维 8,781 views
很多刚学elasticsearch的人对于查询方面很是苦恼,说实话es的查询语法真心不简单…  当然你如果入门之后,会发现elasticsearch的rest api设计是多么有意思。  说正题,elasticsearch的查询有两部分组成:query and filter 。  下面是官方的query vs  filter的介绍,其实说的也是...
阅读全文 2

elasticsearch的查询器query与过滤器filter的区别

11-09 8,781 views

很多刚学elasticsearch的人对于查询方面很是苦恼,说实话es的查询语法真心不简单…  当然你如果入门之后,会发现elasticsearch的rest api设计是...
阅读全文 2

使用elasticsearch的fields和partial_fields自定义限制字段

elasticsearch,运维 6,830 views
为了提高python elasticsearch的调用性能,从各方面都要小心注意。首先是在大量数据查询及导数的时候,要尽量的精简下返回的结果,去除那些不需要的字段。 在通过elasticsearch查询数据时候,不想显示所有字段,就在request Dsl请求语句里面增加了fields字段进行控制,结果遇到提示 isn’t a leaf field 的问题。 ...
阅读全文 1

使用elasticsearch的fields和partial_fields自定义限制字段

11-05 6,830 views

为了提高python elasticsearch的调用性能,从各方面都要小心注意。首先是在大量数据查询及导数的时候,要尽量的精简下返回的结果,去除那些不需要的字段。...
阅读全文 1

聊聊python elasticsearch聚合计算的用法

elasticsearch,python 7,124 views
今朋友问我关于python elasticsearch aggs的问题,虽然我自己也经常使用es,但因为业务的关系,能用到的elasticsearch语句来来回回就那些,然后再来回套用那几个DSL局域就可以了…  趁着这次跟别人交流的机会,我也把elasticsearch aggs聚合计算也好好的看看。 最近文章总是被无情的转走,这里标注...
阅读全文 0

聊聊python elasticsearch聚合计算的用法

11-01 7,124 views

今朋友问我关于python elasticsearch aggs的问题,虽然我自己也经常使用es,但因为业务的关系,能用到的elasticsearch语句来来回回就那些,然后再来回套用...
阅读全文 0

从源码分析python批量插入elasticsearch的实现

elasticsearch,python 6,164 views
看了elasticsearch python的一些源码,现在看到bulk批量操作.  发现网上对于elasticsearch批量插入的文章有些少,我在这里就简单描述下es bulk的各个接口。  最近爬虫太粗暴了,文章总是被转走. 这里标注下原文链接 http://xiaorui.cc/?p=2245 http://xiaorui.cc/2015/10/30/%E4%BB%8E%E6%B...
阅读全文 0

从源码分析python批量插入elasticsearch的实现

10-30 6,164 views

看了elasticsearch python的一些源码,现在看到bulk批量操作.  发现网上对于elasticsearch批量插入的文章有些少,我在这里就简单描述下es bulk的各个...
阅读全文 0

使用tornado实现elasticsearch的权限控制

elasticsearch,python 6,999 views
前言:     公司的应用监控平台又要有所变动了,准备把opentsdb给剔除,改用elasticsearch后端存储。去掉opentsdb的原因很简单,因为在数据量大的时候,hbase rowkey的效率达不到快速返回的需求,尤其针对聚合计算效率低。Opentsdb不支持二级索引,只有一个基于hbase rowkey的主索引,可以按行的排序...
阅读全文 1

使用tornado实现elasticsearch的权限控制

10-19 6,999 views

前言:     公司的应用监控平台又要有所变动了,准备把opentsdb给剔除,改用elasticsearch后端存储。去掉opentsdb的原因很简单,因为在数...
阅读全文 1

python elasticsearch高级组合查询及aggs聚合

elasticsearch,python 7,361 views
这两天和小朋友对elasticsearch进行死逼…  主要是纠结,我今天就上两个例子……   如果你的查询较为复杂就直接套用这个格式,shold里面的逻辑都是OR , must_not是非,must是必须要有的。  关于elasticsearch 组合查询和aggs聚合查询。补充更新地址是,http://xiaorui.cc/?p...
阅读全文 1

python elasticsearch高级组合查询及aggs聚合

9-18 7,361 views

这两天和小朋友对elasticsearch进行死逼…  主要是纠结,我今天就上两个例子……   如果你的查询较为复杂就直接套用这个...
阅读全文 1

通过elasticsearch批量创建kibana的visualize图表及dashboard

elasticsearch,运维,运维开发 10,910 views
      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没上线,SO,在这样监控不给力的情况下,就需要产品经理自己去统计下。 文章写的不是很严谨,欢迎来喷,另外该文后续有更新的,请到原文地址查看更新. http:/...
阅读全文 8

通过elasticsearch批量创建kibana的visualize图表及dashboard

6-09 10,910 views

      最近系统因为几处连锁的bug造成数据的缺失,有个几百万条有效数据吧。 这边基于metric的报警还完善,自己写得关于量级判断还没...
阅读全文 8

elk调优之修改logstash写入elasticsearch按照时间分库

elasticsearch,运维开发 7,477 views
logstash index服务端又自己挂了,很让人发蒙…. 原因还没找到. 说下现在的问题…. 原本的logstash是按照每天一个库,这样在es集群环境下会做太多的sharding。   所以改成按照月切割,每月一个。 该文章写的有些乱,欢迎来喷 ! 另外文章后续不断更新中,请到原文地址查看更新。 xi...
阅读全文 0

elk调优之修改logstash写入elasticsearch按照时间分库

3-23 7,477 views

logstash index服务端又自己挂了,很让人发蒙…. 原因还没找到. 说下现在的问题…. 原本的logstash是按照每天一个库,这样在es集群环境下...
阅读全文 0

python elasticsearch创建连接时sniff探测和timeout的问题

python 8,064 views
elasticsearch的集群方式就那么几种,一个是直接用nginx、haproxy这样的负载均衡在集群的调度。另一种是用siniff方式自动嗅探。  这里简单说下,在python语言下创建elasticsearch连接时,遇到的一些小问题。 query filtered Traceback (most recent call last):   File “es.py”, line...
阅读全文 0

python elasticsearch创建连接时sniff探测和timeout的问题

3-02 8,064 views

elasticsearch的集群方式就那么几种,一个是直接用nginx、haproxy这样的负载均衡在集群的调度。另一种是用siniff方式自动嗅探。  这里简单说下,在...
阅读全文 0