ES问题整理

搜索引擎是对数据的检索,所以我们先从生活中的数据说起。 我们生活中的数据总体分为两种:结构化数据 和 非结构化数据。 结构化数据: 也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。...

ElasticSearch

ES mapping 的 dynamic 属性

false mapping 里没有 A 字段 这时候我更行用户1 的 doc 的时候,传入了 A 字段 这时候查询doc,会发现,可以查出 A 字段的值。但 A 并不能被搜索。 新建 mapping,加入 A 字段 这时候再去搜 A,会发现,原...

ElasticSearch

ES 与 ClickHouse 的对比

我只用过 ES,没用过 Clickhouse。这里记录下我对 Clickhouse 一些调研,主要是通过对比 ES ,在这二者之间需要选型时我想了解的内容。 数据量方面ClickHouse和ElasticSearch都可以处理PB级别的数据量。但是具...

ElasticSearch

mysql数据同步到ES

在公司里,使用公司的 DTS(数据传输服务) 可以帮你实现 MySQL 数据的变更自动同步到 ES,那么它是怎么实现并保证一致性的呢? 通过搜索,我发现这个问题的主流解决方案都是通过 MySQL 的 binlog, 我们都知道,binlog 是 My...

MySQL

ES 基础

ES简介ES简介// ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。ES的倒排索引// 通俗的讲: 倒排索引,是通过分词策略,形成了词和文章的映射关系表,...

ElasticSearch

ES 基础

基本搜索12345678910111213{ "query": { "bool": { "must": [ ...

ElasticSearch

ES update/upsert 性能

原文 https://elasticsearch.cn/question/10881 问题是 ES udpate upsert性能如何优化? ES版本5.6,数据量在3000万左右,数据更新频率比较频繁,总共的更新速度大概是1w/s-5w&...

ElasticSearch

ES Agg 聚合

使用cate去聚合 1234567891011{ "size": 0, "aggs": { "group_by_tags": { "...

ElasticSearch

ES 优化

3.5 使用过滤器上下文 原先使用的是query查询子句,优化后改成filter过滤器。 query查询子句用于回答“这个文档与此子句相匹配的程度”,而filter过滤器子句用于回答“这个文档是否匹配这个子句”,Elasticsearch只需要回答“...

ElasticSearch

ES 几个常见的上限

1、单个索引的字段数量上限参数:index.mapping.total_fields.limit阈值:1000解释:索引中的最大字段数。字段和对象映射以及字段别名计入此限制。默认值为1000。 此限制是为了防止映射和搜索变得过大。较高的值会导致性能下...

ElasticSearch
12