仓库源文站点原文


title: ElasticSearch之安装篇 toc: true date: 2019-10-02 15:26:42 cover: https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1570012601164&di=e7d7a24dc0375f5728f840b0722c89b0&imgtype=0&src=http%3A%2F%2Fpic2.zhimg.com%2Fv2-d6d239c55b93b2745b6c4ff516fa939f_1200x500.jpg categories: [ElasticSearch] tags: [ElasticSearch]

description: 本篇作为ElasticSearch学习的入门篇, 主要讲解了ElasticSearch的基本概念, 以及ElasticSearch的安装与简单配置, 主要是为接下来ElasticSearch热身.

本篇主要讲述了ElasticSearch的基本概念, 以及ElasticSearch的安装与简单配置, 主要是为接下来ElasticSearch热身.

主要内容包括:

<!--more-->

ElasticSearch之安装篇

一. Elastic Search相关介绍

1. ElasticSearch是什么

Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎,无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 <font color="#ff0000">但是,Lucene只是一个库。想要发挥其强大的作用,你需使用Java并要将其集成到你的应用中。Lucene非常复杂,你需要深入的了解检索相关知识来理解它是如何工作的。 </font>

Elasticsearch也是使用Java编写并使用Lucene来建立索引并实现搜索功能,但是它的目的是<font color="#0000ff">通过简单连贯的RESTful API让全文搜索变得简单并隐藏Lucene的复杂性。</font> 不过,Elasticsearch不仅仅是Lucene和全文搜索引擎,它还提供:

而且,所有的这些功能被集成到一台服务器,你的应用<font color="#ff0000">可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互</font>。上手Elasticsearch非常简单,它提供了许多合理的缺省值,并对初学者隐藏了复杂的搜索引擎理论。它开箱即用(安装即可使用),只需很少的学习既可在生产环境中使用。Elasticsearch在Apache 2 license下许可使用,可以免费下载、使用和修改。 随着知识的积累,你可以根据不同的问题领域定制Elasticsearch的高级特性,这一切都是可配置的,并且配置非常灵活。

<br/>

2. Elasticsearch中涉及到的重要概念

Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。

<font color="#ff0000">至于一个分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于作为用户的你来说,这些都是透明的。</font>

在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了。这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你<font color="#ff0000">创建分片的一份或多份拷贝,这些拷贝叫做复制分片,或者直接叫复制。</font>复制之所以重要,主要有两方面的原因:

总之,<font color="#ff0000">每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。</font><font color="#0000ff">一旦复制了,每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。</font>分片和复制的数量可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变复制数量,但是不能改变分片的数量。

<font color="#ff0000">默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个复制,这意味着,如果你的集群中至少有两个节点,你的索引将会有5个主分片和另外5个复制分片(1个完全拷贝),这样的话每个索引总共就有10个分片。</font><font color="#0000ff">一个索引的多个分片可以存放在集群中的一台主机上,也可以存放在多台主机上,这取决于你的集群机器数量。主分片和复制分片的具体位置是由ES内在的策略所决定的。</font>

<br/>


二. Elastic Search安装与配置

本教程主要讲解在Linux下ES7.4.0(截止到2019/10/2最新版本)的安装与配置, 其他平台可以参考官方文档: https://www.elastic.co/cn/downloads/elasticsearch

1. 下载

可以在Elastic Search官方网站下载.tar.gz格式的压缩文件.

2. 解压缩

然后通过命令解压压缩文件到指定目录, 我的是解压到/opt/目录下

sudo tar -zxvf elasticsearch-7.4.0-linux-x86_64.tar.gz -C /opt/

3. 修改用户权限或者文件所属

我是通过修改文件所属

cd /opt/
sudo chown zk:zk -R elasticsearch-7.4.0/

4. 修改环境变量

# 对当前用户有效, 若要对全部用户有效, 可修改/etc/profile
$ vi ~/.bashrc

# 添加以下内容
export ES_HOME=/opt/elasticsearch-7.4.0
export PATH=$PATH:${ES_HOME}/bin

# 使修改立即生效
$ source ~/.bashrc

<br/>

5. 测试运行

通过elasticsearch命令便可以直接运行!

运行时需要提前安装并配置好JVM环境, 因为ES是使用Java写的, 并且如果你的JDK版本为11以下, 则会有如下提醒:

future versions of Elasticsearch will require Java 11; your Java version from [/usr/lib/jvm/java-8-oracle/jre] does not meet this requirement

再打开另外一个控制台, 并输入:

curl http://localhost:9200/

或者使用浏览器打开: http://localhost:9200/

最终返回:

{
  "name" : "JasonkayZK",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "KUS8-G-XQMS2ZwsHPnR_UA",
  "version" : {
    "number" : "7.4.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "22e1767283e61a198cb4db791ea66e3f11ab9910",
    "build_date" : "2019-09-27T08:36:48.569419Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

则说明ES安装成功!

注:

<br/>


三. Kibana安装

仅仅使用ElasticSearch提供的命令终端来管理ES是很不方便的, 好在ES为我们提供了更加方便的可视化工具Kibana!

<font color="#00ff00">Kibana是一个开源的分析和可视化平台,设计用于和Elasticsearch一起工作。你用Kibana来搜索,查看,并和存储在Elasticsearch索引中的数据进行交互。</font>你可以轻松地执行高级数据分析,并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板,实时显示Elasticsearch查询的变化。

1. 下载

可以在Kibana官方网站下载.tar.gz格式的压缩文件.

2. 解压缩

然后通过命令解压压缩文件到指定目录, 我的是解压到/opt/目录下

sudo tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz -C /opt/

3. 修改用户权限或者文件所属

我是通过修改文件所属

cd /opt/
sudo chown zk:zk -R kibana-7.4.0-linux-x86_64/

4. 修改环境变量

# 对当前用户有效, 若要对全部用户有效, 可修改/etc/profile
$ vi ~/.bashrc

# 添加以下内容
export KIBANA_HOME=/opt/kibana-7.4.0-linux-x86_64
export PATH=$PATH:${KIBANA_HOME}/bin

# 使修改立即生效
$ source ~/.bashrc

<br/>

5. 测试运行

在终端输入kibana即可运行, 需要注意的是:

启动之后, 可以通过浏览器访问: http://localhost:5601

便可获得一个可视化的平台!

对于Kibana的使用本文不再赘述, 大家可以移步下面网站学习:

<br/>


四. 一些在安装时的坑

1. 通过 kibana 安装sense失败

通过官方教程进行学习的时候, 要求安装Sense插件, 其中的命令为:

# 在 Kibana 目录下运行下面的命令,下载并安装 Sense app:
./bin/kibana plugin --install elastic/sense

但是在7.x版本中已经不再支持这个命令了!

<font color="#0000ff">可以使用新的命令`kibana-plugin`进行安装</font>:

$ ./bin/kibana-plugin -h

  Usage: bin/kibana-plugin [command] [options]

  The Kibana plugin manager enables you to install and remove plugins that provide additional functionality to Kibana

  Commands:
    list  [options]                 list installed plugins
    install  [options] <plugin/url> install a plugin
    remove  [options] <plugin>      remove a plugin
    help  <command>                 get the help for a specific command

但是仍然无法安装sense插件, 原因是:

<font color="#ff0000">从5.x版本之后, 就已经有了sense的功能, 所以不再需要安装! es5.0以后的版本x-pack提供的DevTools代替了sense, 即上文访问的控制台!</font>

<br/>

2. 使用curl与head插件出现不能查询数据的异常

使用elasticsearch时,curl与head插件都出现不能查询数据的异常,具体原因如下

{
  "error" : "Content-Type header [application/x-www-form-urlencoded] is not supported",
  "status" : 406
}

<font color="#ff0000">此原因时由于ES增加了安全机制, 进行严格的内容类型检查,严格检查内容类型也可以作为防止跨站点请求伪造攻击的一层保护。</font>

具体原因见官网: 官网解释

<font color="#0000ff">es5没有严格检查的,可以设置参数,以增加安全性</font>

http.content_type.required

解决方法:

<font color="#ff0000">添加请求头即可正常查询</font>

 curl -H "Content-Type: application/json" http://localhost:9200/_search?pretty  -d ' {"query": {"match_all": {}}}'

<br/>


附录

参考文章