elasticsearch它是一个非常强大的开源搜索引擎，具有许多强大的功能，可以帮助我们快速从海量数据中找到所需的内容

· elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。广泛应用于日志数据分析、实时监控等领域

· elasticsearch是elastic stack负责数据存储、搜索和分析

[外链图片转存失败，源站可能有防盗链机制，建议保存图片并直接上传(img-71a4y0MY-1647326797236)(C:\Users\maybe3032\AppData\Roaming\Typora\typora-user-images\image-20220314141108276.png)]

什么是elasticsearch？

• 开源分布式搜索引擎可用于实现搜索、日志统计、分析、系统监控等功能

什么是elastic stack（ELK）？

• 是以elasticsearch核心技术栈，包括beats、Logstash、kibana、elasticsearch

什么是Lucene？

• 是Apache开源搜索引擎类库为搜索引擎提供了核心API

那么什么是正向索引呢？例如，给下表（tb_goods）中的id创建索引：

[外链图片转存失败，源站可能有防盗链机制，建议保存图片并直接上传(img-Dr141XS1-1647326797237)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720195531539.png)]

如果是根据id查询，那么直接走索引，查询速度非常快。

但如果是基础的话title模糊查询只能逐行扫描数据，流程如下:

1)用户搜索数据的条件是title符合"%手机%"

2)逐步获取数据，如id为1的数据

3)判断数据中的数据title是否符合用户搜索条件

4)如果符合，则放入结果集，如果不符合，则丢弃。返回步骤1

逐行扫描，即全表扫描，随着数据量的增加，其查询效率也会越来越低。当数据量达到数百万时，这是一场灾难。

倒排索引中有两个非常重要的概念：

• 文档（Document）：用个用于搜索的数据都是一个文档。例如，一个网页，一个商品信息
• 词条（Term）：对于文档数据或用户搜索数据，使用某种算法来划分单词，获得的有意义的单词是条目。例如：我是一个中国人，可以分为：我、是的、中国人、中国人和中国人

创建倒排索引是对正向索引的特殊处理，过程如下：

• 利用算法对每个文档的数据进行分词，逐个获得条目
• 每行数据包括条目和条目所在的文档id、位置等信息
• 由于条目的独特性，可以为条目创建索引，例如hash表结构索引

如图：

[外链图片转存失败，源站可能有防盗链机制，建议保存图片并直接上传(img-L7zEI5uh-1647326797238)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720200457207.png)]

倒排索引的搜索流程以下(搜索"华为手机"为例）：

1)用户输入条件"华为手机"进行搜索。

2)向用户输入内容分词，得到词条：华为、手机。

3)用词条在倒排索引中搜索，可以获得包含词条的文档id：1、2、3。

4）拿着文档id在正向索引中找到具体文档。

如图：

[外链图片转存失败，源站可能有防盗链机制，建议保存图片并直接上传(img-4BKVkSkW-1647326797238)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720201115192.png)]

虽然要先查询倒排索引，再查询倒排索引，但无论是词条还是文档id所有索引都建立了，查询速度非常快！无需扫描全表。

那为什么一个叫正向索引，一个叫倒排索引呢？

• 正向索引根据最传统的id索引的方式。但是，在查询条目时，必须逐一获取每个文档，然后判断文档中是否包含所需条目。根据文档找到条目的过程。

• 而倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文件根据条目找到文档的过程。

恰恰相反吗？

那两种方式的优缺点是什么呢？

正向索引：

• 优点：
  • 可以为多个字段创建索引
  • 根据索引字段搜索，排序速度非常快
• 缺点：
  • 在搜索非索引字段或索引字段中的一些条目时，只能扫描整个表。

倒排索引：

• 优点：
  • 根据词条搜索、模糊搜索时，速度非常快
• 缺点：
  • 它只能为条目创建索引，而不是字段
  • 不能按字段排序

· elasticsearch有许多独特的概念和mysql中略有差异，但也有相似之处

elasticsearch是面向**文档（Document）**存储的可以是数据库中的商品数据和订单信息。文档数据将被序列化为json格式后存储elasticsearch中：

[外链图片转存失败，源站可能有防盗链机制，建议保存图片并直接上传(img-Ce4KDw6Q-1647326797239)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720202707797.png)]

而Json文档通常包含很多字段（Field），类似于数据库中的列

索引（Index），是同类型文档的集合。

例如：

• 所有用户文档都可以组织在一起，称为用户索引；
• 所有商品的文都可以组织在一起，称为商品索引；
• 所有订单文档都可以组织在一起，称为订单索引；

[外链图片转存失败，源站可能有防盗链机制，建议保存图片并直接上传(img-pPjcSb8z-1647326797239)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720203022172.png)]

因此，我们可以将索引视为数据库中的表。

用于定义表的结构、字段名称、类型等信息的数据库表将有约束信息。因此，索引库中有映射（mapping），是索引中文档的字段约束信息，类似于表的结构约束。

我们统一把mysql与elasticsearch对比概念:

是不是说，我们学习了elasticsearch就不再需要mysql了呢？

并不是如此，两者各自有自己的擅长支出：

• Mysql：擅长事务类型操作，可以确保数据的安全和一致性

• Elasticsearch：擅长海量数据的搜索、分析、计算

因此在企业中，往往是两者结合使用：

• 对安全性要求较高的写操作，使用mysql实现
• 对查询性能要求较高的搜索需求，使用elasticsearch实现
• 两者再基于某种方式，实现数据的同步，保证一致性

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u26KoSjH-1647326797240)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720203534945.png)]

找文档

找文档

分词器的作用是什么？

• 创建倒排索引时对文档分词
• 用户搜索时，对输入的内容分词

IK分词器有几种模式？

• ik_smart：智能切分，粗粒度
• ik_max_word：最细切分，细粒度

IK分词器如何拓展词条？如何停用词条？

• 利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典
• 在词典中添加拓展词条或者停用词条

· 索引库就类似数据库表，mapping映射就类似表的结构。

我们要向es中存储数据，必须先创建“库”和“表”

mapping是对索引库中文档的约束，常见的mapping属性包括：

• type：字段数据类型，常见的简单类型有：
  • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
  • 数值：long、integer、short、byte、double、float、
  • 布尔：boolean
  • 日期：date
  • 对象：object
• index：是否创建索引，默认为true
• analyzer：使用哪种分词器
• properties：该字段的子字段

{ 
        
    "age": 21,
    "weight": 52.1,
    "isMarried": false,
    "info": "黑马程序员Java讲师",
    "email": "zy@itcast.cn",
    "score": [99.1, 99.5, 98.9],
    "name": { 
        
        "firstName": "云",
        "lastName": "赵"
    }
}

• 请求方式：GET
• 请求路径：/索引库名
• 请求参数：无

GET /索引库名

· 倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这简直是灾难。因此索引库一旦创建，无法修改mapping。

· 虽然无法修改mapping中已有的字段，但是却允许添加新的字段到mapping中，因为不会对倒排索引产生影响。

PUT /索引库名/_mapping
{ 
        
  "properties": { 
        
    "新字段名":{ 
         //需要是全新的字段名，不然会报错
      "type": "integer"
    }
  }
}

• 请求方式：DELETE
• 请求路径：/索引库名
• 请求参数：无

DELETE /索引库名

• 创建索引库：PUT /索引库名
• 查询索引库：GET /索引库名
• 删除索引库：DELETE /索引库名
• 添加字段：PUT /索引库名/_mapping

POST /索引库名/_doc/文档id
{ 
        
    "字段1": "值1",
    "字段2": "值2",
    "字段3": { 
        
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}

· 根据rest风格，新增是post，查询应该是get，不过查询一般都需要条件，这里我们把文档id带上

GET /{索引库名称}/_doc/{id}

• 全量修改：直接覆盖原来的文档
• 增量修改：修改文档中的部分字段

· 全量修改是覆盖原来的文档，其本质是：

• 根据指定的id删除文档
• 新增一个相同id的文档

注意：如果根据id删除时，id不存在，第二步的新增也会执行，也就从修改变成了新增操作了

PUT /{ 
        索引库名}/_doc/文档id
{ 
        
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

· 增量修改是只修改指定id匹配的文档中的部分字段

POST /{ 
        索引库名}/_update/文档id
{ 
        
    "doc": { 
        
         "字段名": "新的值",
    }
}

· 删除使用DELETE请求，同样，需要根据id进行删除

DELETE /{索引库名}/_doc/id值

• 创建文档：POST /{索引库名}/_doc/文档id { json文档 }
• 查询文档：GET /{索引库名}/_doc/文档id
• 删除文档：DELETE /{索引库名}/_doc/文档id
• 修改文档：
  • 全量修改：PUT /{索引库名}/_doc/文档id { json文档 }
  • 增量修改：POST /{索引库名}/_update/文档id { “doc”: {字段}}

创建索引库，最关键的是mapping映射，而mapping映射要考虑的信息包括：

• 字段名
• 字段数据类型
• 是否参与搜索
• 是否需要分词
• 如果分词，分词器是什么？

其中：

• 字段名、字段数据类型，可以参考数据表结构的名称和类型
• 是否参与搜索要分析业务来判断，例如图片地址，就无需参与搜索
• 是否分词呢要看内容，内容如果是一个整体就无需分词，反之则要分词
• 分词器，我们可以统一使用ik_max_word

PUT /hotel
{ 
        
  "mappings": { 
        
    "properties": { 
        
      "id": { 
        
        "type": "keyword"
      },
      "name":{ 
        
        "type": "text",
        "analyzer": "ik_max_word",
        "copy_to": "all"
      },
      "address":{ 
        
        "type": "keyword",
        "index": false
      },
      "price":{ 
        
        "type": "integer"
      },
      "score":{ 
        
        "type": "integer"
      },
      "brand":{ 
        
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{ 
        
        "type": "keyword",
        "copy_to": "all"
      },
      "starName":{ 
        
        "type": "keyword"
      },
      "business":{ 
        
        "type": "keyword"
      },
      "location":{ 
        
        "type": "geo_point"
      },
      "pic":{ 
        
        "type": "keyword",
        "index": false
      },
      "all":{ 
        
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

• location：地理坐标，里面包含精度、纬度
• all：一个组合字段，其目的是将多字段的值 利用copy_to合并，提供给用户搜索

地理坐标说明

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GfH3pMTS-1647326797240)(C:\Users\maybe3032\AppData\Roaming\Typora\typora-user-images\image-20220314153620442.png)]

copy_to说明

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B4HDDnhe-1647326797241)(C:\Users\maybe3032\AppData\Roaming\Typora\typora-user-images\image-20220314153630856.png)]

· 在elasticsearch提供的API中，与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中，必须先完成这个对象的初始化，建立与elasticsearch的连接

1. 引入es的RestHighLevelClient依赖

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>

2. 为SpringBoot默认的ES版本是7.6.2，所以我们需要覆盖默认的ES版本

<properties>
    <java.version>1.8</java.version>
    <elasticsearch.version>7.12.1</elasticsearch.version>
</properties>

3. 初始化RestHighLevelClient

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(
        HttpHost.create("http://192.168.150.101:9200")
));

• 1）创建Request对象。因为是创建索引库的操作，因此Request是CreateIndexRequest。
• 2）添加请求参数，其实就是DSL的JSON参数部分。因为json字符串很长，这里是定义了静态字符串常量MAPPING_TEMPLATE，让代码看起来更加优雅。
• 3）发送请求，client.indices()方法的返回值是IndicesClient类型，封装了所有与索引库操作有关的方法。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MHK8rEi7-1647326797241)(C:\Users\maybe3032\AppData\Roaming\Typora\typora-user-images\image-20220314155230408.png)]

1. 在hotel-demo的cn.itcast.hotel.constants包下，创建一个类，定义mapping映射的JSON字符串常量

package cn.itcast.hotel.constants;

public class HotelConstants { 
        
    public static final String MAPPING_TEMPLATE = "{\n" +
            " \"mappings\": {\n" +
            " \"properties\": {\n" +
            " \"id\": {\n" +
            " \"type\": \"keyword\"\n" +
            " },\n" +
            " \"name\":{\n" +
            " \"type\": \"text\",\n" +
            " \"analyzer\": \"ik_max_word\",\n" +
            " \"copy_to\": \"all\"\n" +
            " },\n" +
            " \"address\":{\n" +
            " \"type\": \"keyword\",\n" +
            " \"index\": false\n" +
            " },\n" +
            " \"price\":{\n" +
            " \"type\": \"integer\"\n" +
            " },\n" +
            " \"score\":{\n" +
            " \"type\": \"integer\"\n" +
            " },\n" +
            " \"brand\":{\n" +
            " \"type\": \"keyword\",\n" +
            " \"copy_to\": \"all\"\n" +
            " },\n" +
            " \"city\":{\n" +
            " \"type\": \"keyword\",\n" +
            " \"copy_to\": \"all\"\n" +
            " },\n" +
            " \"starName\":{\n" +
            " \"type\": \"keyword\"\n" +
            " },\n" +
            " \"business\":{\n" +
            " \"type\": \"keyword\"\n" +
            " },\n" +
            " \"location\":{\n" +
            " \"type\": \"geo_point\"\n" +
            " },\n" +
            " \"pic\":{\n" +
            " \"type\": \"keyword\",\n" +
            " \"index\": false\n" +
            " },\n" +
            " \"all\":{\n" +
            " \"type\": \"text\",\n" +
            " \"analyzer\": \"ik_max_word\"\n" +
            " }\n" +
            " }\n" +
            " }\n" +
            "}";
}

2. hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现创建索引

@Test
void createHotelIndex() throws IOException { 
        
    // 1.创建Request对象
    CreateIndexRequest request = new CreateIndexRequest("hotel");
    // 2.准备请求的参数：DSL语句
    request.source(MAPPING_TEMPLATE, XContentType.JSON);
    // 3.发送请求
    client.indices().create(request, RequestOptions.DEFAULT);
}

删除索引库的DSL语句非常简单：

DELETE /hotel

与创建索引库相比：

• 请求方式从PUT变为DELTE
• 请求路径不变
• 无请求参数

所以代码的差异，注意体现在Request对象上。依然是三步走：

• 1）创建Request对象。这次是DeleteIndexRequest对象
• 2）准备参数。这里是无参
• 3）发送请求。改用delete方法

在hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现删除索引：

@Test
void testDeleteHotelIndex() throws IOException { 
        
    // 1.创建Request对象
    DeleteIndexRequest request = new DeleteIndexRequest("hotel");
    // 2.发送请求
    client.indices().delete(request, RequestOptions.DEFAULT);
}

判断索引库是否存在，本质就是查询，对应的DSL是：

GET /hotel

因此与删除的Java代码流程是类似的。依然是三步走：

• 1）创建Request对象。这次是GetIndexRequest对象
• 2）准备参数。这里是无参
• 3）发送请求。改用exists方法

@Test
void testExistsHotelIndex() throws IOException { 
        
    // 1.创建Request对象
    GetIndexRequest request = new GetIndexRequest("hotel");
    // 2.发送请求
    boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
    // 3.输出
    System.err.println(exists ? "索引库已经存在！" : "索引库不存在！");
}

JavaRestClient操作elasticsearch的流程基本类似。核心是client.indices()方法来获取索引库的操作对象。

索引库操作的基本步骤：

• 初始化RestHighLevelClient
• 创建XxxIndexRequest。XXX是Create、Get、Delete
• 准备DSL（ Create时需要，其它是无参）
• 发送请求。调用RestHighLevelClient#indices().xxx()方法，xxx是create、exists、delete

为了与索引库操作分离，我们再次参加一个测试类，做两件事情：

• 初始化RestHighLevelClient
• 我们的酒店数据在数据库，需要利用IHotelService去查询，所以注入这个接口

@SpringBootTest
public class HotelDocumentTest { 
        
    @Autowired
    private IHotelService hotelService;

    private RestHighLevelClient client;

    @BeforeEach
    void setUp() { 
        
        this.client = new RestHighLevelClient(RestClient.builder(
                HttpHost.create("http://192.168.150.101:9200")
        ));
    }

    @AfterEach
    void tearDown() throws IOException { 
        
        this.client.close();
    }
}

我们导入酒店数据，基本流程一致，但是需要考虑几点变化：

• 酒店数据来自于数据库，我们需要先查询出来，得到hotel对象
• hotel对象需要转为HotelDoc对象
• HotelDoc需要序列化为json格式

因此，代码整体步骤如下：

• 1）根据id查询酒店数据Hotel
• 2）将Hotel封装为HotelDoc
• 3）将HotelDoc序列化为JSON
• 4）创建IndexRequest，指定索引库名和id
• 5）准备请求参数，也就是JSON文档
• 6）发送请求

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testAddDocument() throws IOException { 
        
    // 1.根据id查询酒店数据
    Hotel hotel = hotelService.getById(61083L);
    // 2.转换为文档类型
    HotelDoc hotelDoc = new HotelDoc(hotel);
    // 3.将HotelDoc转json
    String json = JSON.toJSONString(hotelDoc);

    // 1.准备Request对象
    IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());
    // 2.准备Json文档
    request.source(json, XContentType.JSON);
    // 3.发送请求
    client.index(request, RequestOptions.DEFAULT);
}

• 1）准备Request对象。这次是查询，所以是GetRequest
• 2）发送请求，得到结果。因为是查询，这里调用client.get()方法
• 3）解析结果，就是对JSON做反序列化

· 在hotel-demo的HotelDocumentTest测试类中，编写单元测试

@Test
void testGetDocumentById() throws IOException { 
        
    // 1.准备Request
    GetRequest request = new GetRequest("hotel", "61082");
    // 2.发送请求，得到响应
    GetResponse response = client.get(request, RequestOptions.DEFAULT);
    // 3.解析响应结果
    String json = response.getSourceAsString();

    HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
    System.out.println(hotelDoc);
}

• 1）准备Request对象，因为是删除，这次是DeleteRequest对象。要指定索引库名和id
• 2）准备参数，无参
• 3）发送请求。因为是删除，所以是client.delete()方法

@Test
void testDeleteDocument() throws IOException { 
        
    // 1.准备Request
    DeleteRequest request = new DeleteRequest("hotel", "61083");
    // 2.发送请求
    client.delete(request, RequestOptions.DEFAULT);
}

在RestClient的API中，全量修改与新增的API完全一致，判断依据是ID：

• 如果新增时，ID已经存在，则修改

• 如果新增时，ID不存在，则新增‘

• 1）准备Request对象。这次是修改，所以是UpdateRequest

• 2）准备参数。也就是JSON文档，里面包含要修改的字段

• 3）更新文档。这里调用client.update()方法

· 在hotel-demo的HotelDocumentTest测试类中，编写单元测试

@Test
void testUpdateDocument() throws IOException { 
        
    // 1.准备Request
    UpdateRequest request = new UpdateRequest("hotel", "61083");
    // 2.准备请求参数
    request.doc(
        "price", "952",
        "starName", "四钻"
    );
    // 3.发送请求
    client.update(request, RequestOptions.DEFAULT);
}

· 批量处理BulkRequest，其本质就是将多个普通的CRUD请求组合在一起发送

• IndexRequest，也就是新增

• UpdateRequest，也就是修改

• DeleteRequest，也就是删除

• 1）创建Request对象。这里是BulkRequest

• 2）准备参数。批处理的参数，就是其它Request对象，这里就是多个IndexRequest

• 3）发起请求。这里是批处理，调用的方法为client.bulk()方法

@Test
void testBulkRequest() throws IOException { 
        
    // 批量查询酒店数据
    List<Hotel> hotels = hotelService.list();

    // 1.创建Request
    BulkRequest request = new BulkRequest();
    // 2.准备参数，添加多个新增的Request
    for (Hotel hotel : hotels) { 
        
        // 2.1.转换为文档类型HotelDoc
        HotelDoc hotelDoc = new HotelDoc(hotel);
        // 2.2.创建新增文档的Request对象
        request.add(new IndexRequest("hotel")
                    .id<