• 高可用
• 海量数据搜索、PB级
• 便于扩展，可以很方便增加一个节点
• 实时的，延时低于1ms

• 文档(Document)： 索引和搜索时的主要数据载体，包含一个或多个现存有数据的字段
• 字段(field)： 文档的一部分，包含名称和值两部分
• 词(term): 一个搜索单元，表示文本中得一个单词
• 标记(token): 表示在字段中出现词得属性，又词得文本、开始和结束偏移量以及类型组成

• Github
• 维基百科
• 百度

• Solr利用zookeeper分布式管理，Elasticsearch自带分布式协调管理能力
• Solr支持更多的数据，ES仅支持json
• Solr官方提供的功能更多，es有很多第三方插件
• Solr在传统的搜索应用好于es,es处理实时应用搜索效率更好

• JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，不仅易于人们阅读和编写
• json基本数据类型
  • 数字：有符号的十进制数字，可能包含小数部分，也可能使用指数E表示法，但不能包括非数字，如NaN。该格式不区分整数和浮点数。
  • 字符串：0个或多个Unicode字符的序列。字符串用双引号分隔，并支持反斜杠转义语法。
  • 布尔值：为true或false的任一值。
  • 数组：0个或多个值的有序列表，每个值可以是任何类型。数组使用方括号符号，元素以逗号分隔。
  • 对象：名称/值对的无序集合，其中名称（也称为键）是字符串。由于对象旨在表示关联数组，推荐每个键在对象内是唯一的。对象用大括号分隔，并使用逗号分隔每对，而在每一对中，用冒号（:）将键或名称与其值分隔开
  • null：一个空值，使用单词null

• ES把输入文档和复杂的查询语法及输出的查询结果封装为XContent，数据就可以采用XML和JSON格式表示成可读的形式

• 使用RESTFul API隐藏Lucene的复杂性

• Lucene是由一个Java语言开发的开源全文检索引擎工具包。把Lucene用Netty封装成服务，使用JSON访问就是Elasticsearch，底层是Luecen

• 内置了对分布式集群和分布式索引的管理，所以相对Solr来说，不需要额外安装ZooKeeper，其更容易分布式部署

• 搜索系统整体架构

  

• 每一个运行的实例称之为一个节点，可以在同一台计算机上运行多个实例，也可以在每台计算机上只运行一个实例
• 多个运行的实例可以组成一个集群，集群中存在一个动态选举出的一个主节点（master）,主节点宕机，会自动选出新的主节点，所以不存在单点故障
• 为了实现容错，Elasticsearch把查询文档集合分解为多个小的索引，每一个小的索引称之为==分片（shard），每一个分片都可以有0到多个副本(replicas)，每一个副本==都是分片的完整复制品，这样提高了查询速度
• 通过**Gateway来管理集群恢复，可以配置集群加入多个节点才能启动恢复数据。网关配置用于恢复任何失败的索引，当节点崩溃重新启动时，Elasticsearch将网关读取所有的索引和元数据**
• Transport：内部节点或者集群客户端之间的交互方式，默认使用TCP协议进行交互，同时支持HTTP协议（JSON格式）、Thrift,Servlet,Memcached,ZeroMQ等多种传输协议
• 支持多种扩展插件

1. 索引(Index)

   • 逻辑数据的存储单元，相当于RDBMS的数据库
   • 其结构为快速有效的全文索引准备，不存储原始值
   • ES把索引放在一台或多台服务器上

• 每个索引有一个多个分片（Shards），每个分片可以有多个副本(replica)

2. 文档(document)

   • 存储在ES中的主要实体，相当于RDBMS中的一行记录
   • 在文档中，相同字段必须有相同类型
   • 多值字段（multivalued)：文档由多个字段组成，每个字段多次出现在一个文档里

3. 文档类型

   • 一个索引对象可以存储很多不同用途的对象

   • 相当于Mysql中的表

4. 映射

   • ES在映射中存储有关字段的信息，每一个文档类型都有自己的映射

1. 节点和集群

2. 分片

   • 作用:解决遇到大量文档时，内存限制、硬盘能力、处理能力不足、无法快速响应，可以把数据拆分成shard，存放在不同节点上，其中每个分片都是一个独立的索引，
   • 查询的索引分布在多个**分片**上，ES会把查询发送给每个相关的分片，并将结果合并在一起
   • 应用程序并不知道分片的存在，多个分片可以加快索引

3. 副本(replica)

   • 作用：为了提高查询吞吐量和实现可用性
   • replica是一个分片的精确复制，每个分片有零个或多个副本
   • 主分片(primary)：被动选择更改索引操作，其余成为副本分片(replica shard)
   • 主分片丢失，该分片数据在集群不可用，集群将提升副本为新的主分片

4. Query DSL

   • 查询语言

5. 时光之门

• Elasticsearch使用文档的唯一标识符来计算文档应该被放到哪个分片中

• 执行搜索请求

• 客户端发起一个到服务器指定端口的http请求，服务器端按指定格式返回网页或者其他网络资源

• URL

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.1-linux-x86_64.tar.gz.sha512
shasum -a 512 -c elasticsearch-7.8.1-linux-x86_64.tar.gz.sha512 
tar -xzf elasticsearch-7.8.1-linux-x86_64.tar.gz
cd elasticsearch-7.8.1/ ll

[2020-08-17T05:53:23,496][WARN ][o.e.c.c.ClusterFormationFailureHelper] [es-node1] master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster, and this node must discover master-eligible nodes [node1] to bootstrap a cluster: have discovered [{ 
        es-node1}{ 
        D73-QBgpTp-Q7RgailBDiQ}{ 
        o83R1VLyQZWcs8lAG9o1Ug}{ 
        node1}{ 
        192.168.199.137:9300}{ 
        dimrt}{ 
        xpack.installed=true, transform.node=true}, { 
        es-node2}{ 
        LghG7C8pRoamT1h9GYBtRA}{ 
        CskX0v3wTwGvUNNSp3Rg2A}{ 
        node2}{ 
        192.168.199.138:9300}{ 
        dimrt}{ 
        xpack.installed=true, transform.node=true}, { 
        es-node3}{ 
        BPDEwYozS4OWGkQGED-P2w}{ 
        toxtMJHXT1SOSmDUYz_tjg}{ 
        node3}{ 
        192.168.199.139:9300}{ 
        dimrt}{ 
        xpack.installed=true, transform.node=true}]; discovery will continue using [192.168.199.138:9300, 192.168.199.139:9300] from hosts providers and [{ 
        es-node1}{ 
        D73-QBgpTp-Q7RgailBDiQ}{ 
        o83R1VLyQZWcs8lAG9o1Ug}{ 
        node1}{ 
        192.168.199.137:9300}{ 
        dimrt}{ 
        xpack.installed=true, transform.node=true}] from last-known cluster state; node term 0, last-accepted version 0 in term 0

• 解决方法
  • 修改cluster.initial_master_nodes为es的node.name，不是服务器名称

java.lang.IllegalStateException: transport not ready yet to handle incoming requests
无需处理

[root@es1 ~]# adduser es
为这个用户初始化密码，linux会判断密码复杂度，不过可以强行忽略：

[root@es1 ~]# passwd es
更改用户 es 的密码 。
新的 密码：1q23lyc$%
无效的密码： 密码未通过字典检查 - 过于简单化/系统化
重新输入新的 密码：
passwd：所有的身份验证令牌已经成功更新。

• 赋予用户权限

  在root用户
  vi /etc/sudoers
  添加 ： USERNAME    ALL=(ALL)   ALL
  以下配置可以给sudo权限免密
  添加 ： USERNAME    ALL=(ALL)   NOPASSWD:ALL
  
  

• 目录结构

• 配置

  • elasticsearch.yml
    • 负责设置服务器的默认配置
    • 有两个值不能在运行时更改，分别是 cluster.name 和 node.name
  • logging.yml
    • 定义了多少信息写入系统日志，定义了日志文件，并定期创建新文件
    • 只有在调整监控、备份方案或系统调试时，才需要修改
    • 系统限制打开的文件描述符：32000个,一般在/etc/security/limits.conf中修改，当前的值可以用 ulimit 命令来查看。如果达到极限，Elasticsearch将无法创建新的文件，所以合并会失败，索引会失败， 新的索引无法创建。
  • JVM 堆内存限制:默认内存（1024M）
    • 志文件中发现OutOfMemoryError 异常的条目，把 ES_HEAP_SIZE 变量设置到大于1024
    • 当选择分配给JVM的合适内存大小时，记住，通常不应该分配超过50%的系统总内存

• 修改配置文件

  $ vim /opt/elasticsearch/elasticsearch5.6.5/config/elasticsearch.yml
      cluster.name: es   (集群名称，同一集群要一样)
      node.name： es-node1  (节点名称，同一集群要不一样)
      http.port: 9200  #连接端口
      network.host: node1   #默认网络连接地址，写当前主机的静态IP，这里不能写127.0.0.1
      path.data: /opt/elasticsearch/data   #数据文件存储路径
      path.logs: /opt/elasticsearch/logs    #log文件存储路径
      discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]#集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。
      bootstrap.memory_lock: true
      bootstrap.system_call_filter: false    # 因centos6不支持SecComp而默认bootstrap.system_call_filter为true进行检测，所以，要设置为 false。注：SecComp为secure computing mode简写
      http.cors.enabled: true  #是否支持跨域，默认为false
      http.cors.allow-origin: "*"   #当设置允许跨域，默认为*,表示支持所有域名
      discovery.zen.minimum_master_nodes: 2     #这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
  

• elasticsearch备份位置，路径要手动创建

  path.repo: ["/opt/elasticsearch/elasticseaarch-5.6.3/data/backups"]
  

• 如果安装elasticsearch-head插件，需要添加以下选项

  http.cors.enabled: true
  http.cors.allow-origin: "*"
  

• 如果安装x-pack插件，我们取消他的basic认证，需要添加以下选项

  xpack.security.enabled: false
  

• 修改jvm内存[这个配置项很重要，在现实生产中要配的大一些，但是最大不能超过32g]

  vim config/jvm.options  
  -Xms2g  ---> -Xms512m  
  -Xmx2g  ---> -Xms512m   
  

• 启动与关闭

每一台设备都要单独启动

前台启动 
$ ./elasticsearch 

后台启动 -d为守护进程运行
$ ./elasticsearch –d
$ ./elasticsearch & # 使用这种方式他会打印日志在前台

• 查看进程

  $ jps
  2369 Elasticsearch
  

• 验证是否安装成功

[2020-07-25T00:44:08,878][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [es-node1] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
        at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:125) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.1.1.jar:6.1.1]
        at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[elasticsearch-6.1.1.jar:6.1.1]
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
        at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:104) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:171) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:322) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[elasticsearch-6.1.1.jar:6.1.1]
        ... 6 more

ERROR: [2] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

• 解决方法

  vim /etc/security/limits.conf
  #在最后添加
  * soft nofile 65536
  * hard nofile 131072
  

  vi /etc/sysctl.conf 
  vm.max_map_count=655360
  

  • 执行：sysctl -p

org.elasticsearch.bootstrap.StartupException: BindTransportException[Failed to bind to [9300-9400]]; nested: BindException[Cannot assign requested address];
        at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:125) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.1.1.jar:6.1.1]
        at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[elasticsearch-6.1.1.jar:6.1.1]

• 解决：修改配置文件的host.name

[2020-07-25T02:00:20,423][INFO ][o.e.d.z.ZenDiscovery     ] [es-node2] failed to send join request to master [{ 
        es-node1}{ 
        Jqt6xka3Q6e_HM7HP7eazQ}{ 
        h6izGMXsQWWW8bOWfr-3_g}{ 
        node1}{ 
        192.168.199.137:9300}], reason [RemoteTransportException[[es-node1][192.168.199.137:9300][internal:discovery/zen/join]]; nested: IllegalArgumentException[can't add node { 
        es-node2}{ 
        Jqt6xka3Q6e_HM7HP7eazQ}{ 
        G5EKFO-WR0yZY5gbIKnDDA}{ 
        node2}{ 
        192.168.199.138:9300}, found existing node { 
        es-node1}{ 
        Jqt6xka3Q6e_HM7HP7eazQ}{ 
        h6izGMXsQWWW8bOWfr-3_g}{ 
        node1}{ 
        192.168.199.137:9300} with the same id but is a different node instance]; ]

• 原因：是因为复制的elasticsearch文件夹下包含了data文件中示例一的节点数据，需要把示例二data文件下的文件清空

• 解决方法：删除es集群data数据库文件夹下所有文件即可

• 安装nodejs

  mkdir /opt/nodejs
  wget https://nodejs.org/dist/v10.15.2/node-v10.15.2-linux-x64.tar.xz
  # 解压
  tar -xf node-v10.15.2-linux-x64.tar.xz
   # 创建软链接
  /opt/nodejs/node-v10.15.2-linux-x64
  
  #配置path环境变量
     vi ~/.bash_profile
              export NODE_HOME=/opt/nodejs/node-v10.15.2-linux-x64
              export PATH=$PATH:$NODE_HOME/bin
     source ~/.bash_profile
     
  # 执行 node -v 验证安装
  

• yum install git npm

• 克隆git项目，切换head目录启动head插件

  git clone https://github.com/mobz/elasticsearch-head.git 
  cd elasticsearch-head/
  ls
  npm install
  # 报错，执行
  npm install phantomjs-prebuilt@2.1.16   --ignore-scripts
  
  nohup npm run start &
  

• 安装成功

• 使用技巧

  • 参考链接：https://blog.csdn.net/bsh_csn/article/details/53908406

# 下载链接
https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip
# 切换到解压目录中的site-server
 npm install express --save  

#site-server/site_configuration.json配置文件中修改启动服务的端口

#重启es，再启动es-sql前端
node node-server.js &

# 更新
npm install -g npm 

#docker安装
 docker run -d --name elasticsearch-sql -p 9680:8080 -p 9700:9300 -p 9600:9200 851279676/es-sql:6.6.2

#可以选择rpm安装或者源码包安装：
#我这里为了方便快捷直接使用rpm
wget https://github.com/lmenezes/cerebro/releases/download/v0.8.5/cerebro-0.8.5-1.noarch.rpm

#安装：
rpm -ivh cerebro-0.8.5-1.noarch.rpm
#配置
rpm -ql cerebro-0.8.5-1
#可以看到配置文件
/usr/share/cerebro/conf/application.conf
#日志文件：
/var/log/cerebro
#配置：
#可以指定配置参数启动：
bin/cerebro -Dhttp.port=1234 -Dhttp.address=127.0.0.1
#可以指定配置文件启动:
启动：
bin/cerebro -Dconfig.file=/some/other/dir/alternate.conf
 
 
配置：
# vim /usr/share/cerebro/conf/application.conf
 
# A list of known hosts
hosts = [
  { 
        
   host = "http://192.168.8.102:9200"
   name = "ES Cluster"
  # headers-whitelist = [ "x-proxy-user", "x-proxy-roles", "X-Forwarded-For" ]
  #}
  # Example of host with authentication
  #{ 
        
  # host = "http://some-authenticated-host:9200"
  # name = "Secured Cluster"
  # auth = { 
        
  # username = "username"
  # password = "secret-password"
  # }
  }
]

cerebro的启动 状态查看和关闭：
# systemctl stop cerebro 
# systemctl start cerebro
# systemctl status cerebro
● cerebro.service - Elasticsearch web admin tool
   Loaded: loaded (/usr/lib/systemd/system/cerebro.service; enabled; vendor preset: disabled)
   Active: active (running) since Thu 2019-12-12 14:36:39 CST; 6s ago
  Process: 11484 ExecStartPre=/bin/chmod 755 /run/cerebro (code=exited, status=0/SUCCESS)
 
为了便于问题排除可以直接使用命令启动cerebro：
# /usr/bin/cerebro
默认启动的：
[info] play.api.Play - Application started (Prod) (no global state)
[info] p.c.s.AkkaHttpServer - Listening for HTTP on /0:0:0:0:0:0:0:0:9000
允许网络范围内的任意主机登陆访问：
 
 
登陆：
node1:9000

vi /kibana/config/kibana.yaml

server.host: "node3"
elasticsearch.url: "http://node3:9200"
# 配置防火墙5601端口
# 启动
./kibana -d

curl -O https://artifacts.elastic.co/downloads/kibana/kibana-7.8.1-linux-x86_64.tar.gz
curl https://artifacts.elastic.co/downloads/kibana/kibana-7.8.1-linux-x86_64.tar.gz.sha512 | shasum -a 512 -c - 
tar -xzf kibana-7.8.1-linux-x86_64.tar.gz
cd kibana-7.8.1-linux-x86_64/ 

• 常用的分词器有 standard、keyword、whitespace、pattern等。

• standard 分词器将字符串分割成单独的字词，删除大部分标点符号。keyword 分词器输出和它接收到的相同的字符串，不做任何分词处理。whitespace 分词器只通过空格俩分割文本。pattern 分词器可以通过正则表达式来分割文本。最常用的一般为 standard 分词器。

更多的分词器详见官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/2.4/analysis-standard-tokenizer.html

1. 下载中文分词器：https://github.com/medcl/elasticsearch-analysis-ik

2. 解压

3. 进入elasticsearch-analysis-ik-master/，编译源码

   mvn clean install -Dmaven.test.skip=true
   

4. 在es的plugins文件夹下创建目录ik

5. 将编译后的/src/elasticsearch-analysis-ik-master/target/releases/elasticsearch-analysis-ik-7.4.0.zip移到/opt/elasticsearch/plugins/目录下

6. 执行/.elasticsearch能够正常运行就说明成功了

   git clone https://github.com/medcl/elasticsearch-analysis-ik
   cd elasticsearch-analysis-ik
   #git checkout tags/{version}
   git checkout { 
             v6.1.1}
   
   mvn clean
   mvn compile
   mvn package
   

../bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.6.2/elasticsearch-analysis-ik-6.6.2.zip

• 安装成功之后，进行重启

docker restart container-id

curl -XPUT http://192.168.199.137:9200/ik_test
curl -XPUT http://192.168.199.137:9200/ik_test_1

curl -XPOST http://192.168.199.137:9200/ik_test/fulltext/_mapping  -H 'Content-Type:application/json'-d' { "fulltext": { "_all": { "analyzer": "ik_max_word", "search_analyzer": "ik_max_word", "term_vector": "no", "store": "false" }, "properties": { "content": { "type": "string", "store": "no", "term_vector": "with_positions_offsets", "analyzer": "ik_max_word", "search_analyzer": "ik_max_word", "include_in_all": "true", "boost": 8 } } } }'

curl -XPOST http://192.168.199.137:9200/ik_test/fulltext/1 -d' {"content":"美国留给伊拉克的是个烂摊子吗"} '
curl -XPOST http://192.168.199.137:9200/ik_test/fulltext/2 -d' {"content":"公安部：各地校车将享最高路权"} '
curl -XPOST http://192.168.199.137:9200/ik_test/fulltext/3 -d' {"content":"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"} '
curl -XPOST http://192.168.199.137:9200/ik_test/fulltext/4 -d' {"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"} '

curl -XPOST http://192.168.199.137:9200/ik_test_1/fulltext/1 -d' {"content":"美国留给伊拉克的是个烂摊子吗"} '
curl -XPOST http://192.168.199.137:9200/ik_test_1/fulltext/2 -d' {"content":"公安部：各地校车将享最高路权"} '
curl -XPOST http://192.168.199.137:9200/ik_test_1/fulltext/3 -d' {"content":"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"} '
curl -XPOST http://192.168.199.137:9200/ik_test_1/fulltext/4 -d' {"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"} '

curl -XPOST http://192.168.199.137:9200/ik_test/fulltext/_search?pretty  -d'{ "query" : { "match" : { "content" : "洛杉矶领事馆" }}, "highlight" : { "pre_tags" : ["<tag1>", "<tag2>"], "post_tags" : ["</tag1>", "</tag2>"], "fields" : { "content" : {} } } }'

7curl -XPOST http://192.168.199.137:9200/ik_test_1/fulltext/_search?pretty  -d'{ "query" : { "match" : { "content" : "洛杉矶领事馆" }}, "highlight" : { "pre_tags" : ["<tag1>", "<tag2>"], "post_tags" : ["</tag1>", "</tag2>"], "fields" : { "content" : {} } } }'