ELK结构-Elasticsearch

发布于 2022-08-12  12 次阅读


在 T-Pot 的实际应用中,各个蜜罐所产生的日志都会导入到 Elastic Search 中,因此可以使用 Elastic Search 来进行检索,同时也可以使用他对数据进行各种复杂条件的查询和导出等。

Elasticsearch的强大之处就是可以模糊查询,是使用索引的。

那么,索引是什么?简单了解一下

https://cloud.tencent.com/developer/article/1798732

索引的本质是一种排好序的数据结构。根据不同的数据结构可以分成hash索引,也就是根据key的hash进行查找,但是由于每个key的hash索引相同率很低,所以hash索引适合精确查找。还有就是二叉树结构,时间复杂度O(n),由于数据量的增大,二叉树的性能会明显降低,而Elasticsearch就是为了处理大数量级的数据量而设计的。B-树则是应对亿级别数据量,主存中存储不下的时候,通过块的形式从磁盘读取数据,和二叉树最大的不同就是B-树可以有多个孩子节点,每页的存储空间是有限的,如果 data 比较大,会导致每个节点的 key 存储的较少,当数据量较大的时候,同样会导致B树很深,从而增加了磁盘 IO 的次数,进而影响查询效率。

关于B-树https://zhuanlan.zhihu.com/p/146252512

B+树,数据记录节点按照键值大小存放在同一层叶子结点上,非叶子结点只存储key信息。在mysql存储数据的数据页之间通过双向链表关联,那么,mysql是如何定向到数据页的呢?每个数据页的页号和最小主键会形成一个主键目录。而当数据页过多的时候呢?主键目录结构就会演化成索引页的形式。

索引页过多的时候,再以数据页进行维护的方式,在最小主键→索引页进行维护。

Elasticsearch是如何做到模糊匹配的?

分词能力,根据不完整的条件再查找对应记录,叫做倒排索引。通过将搜索的关键词进行分割,再去文档中进行匹配,记录匹配次数较高的。Elasticsearch有内置分词器,中文分词器主要是IK。例如搜索Elasticsearch,就会将这个单词进行分词,分词形成一个Term Dictionary,通过分词找到的记录形成一个PostingList。由于Term Dictionary中会存储大量分词,Term index存储部分词的前缀,并存放在内存中。

结构

  • Index:Elasticsearch的Index相当于数据库的Table
  • Type:这个在新的Elasticsearch版本已经废除(在以前的Elasticsearch版本,一个Index下支持多个Type--有点类似于消息队列一个topic下多个group的概念)
  • Document:Document相当于数据库的一行记录
  • Field:相当于数据库的Column的概念
  • Mapping:相当于数据库的Schema的概念
  • DSL:相当于数据库的SQL(给我们读取Elasticsearch数据的API)

集群

一个Elasticsearch集群会有多个Elasticsearch节点,所谓节点实际上就是运行着Elasticsearch进程的机器。其中会有一个主节点Master Node。

index(相当于表)可以分发到不同的结点上存储,这个操作就是分片。多个被分片的数据合起来就是index数据。数据写入到主分片,副分片复制主分片,主副可读(这个结构已经很常用了)


间桐桜のお菓子屋さん