译点笔记 | 在云上，如何搭建属于自己的全文搜索引擎 Web应用~个人站点

附注：从上述可知，当前云主机的发行版本为CentOS，当然，若是对于系统访问并发高，业务数据量非常之大的话，除了系统前后台代码本身质量优化之外，服务器配置（物理机or虚拟机or云主机）还可选择更高配些！

系统环境准备：

首先，在云后台-防火墙配置好需要外网访问的端口（IP+PORT解析-公网IP或域名外网访问）。

当然，如需通过命令在终端执行，可参考如下，

查询防火墙：systemctl status firewalld开启防火墙：systemctl start firewalld查询指定端口是否已开: firewall-cmd --query-port=8089/tcp停止防火墙：systemctl stop firewalld.service关闭防火墙：systemctl disable firewalld.service防火墙开放指定端口：firewall-cmd --zone=public --add-port=8089/tcp --permanentfirewall-cmd --reload示例：开启MySQL端口firewall-cmd --zone=public --add-port=3306/tcp示例：查询MySQL端口firewall-cmd --query-port=3306/tcp查询防火墙已开放端口firewall-cmd --list-ports
复制

接着，ssh登录至云主机，配置好Java环境变量，

安装包：jdk-8u171-linux-x64.tar.gz解压到：/usr/下，为/usr/jdk1.8.0_171sudo tar zxvf jdk-8u171-linux-x64.tar.gz –C /usr/编辑：profilesudo vim /etc/profile 添加环境变量：export JAVA_HOME=/usr/jdk1.8.0_171export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:.生效：profilesource /etc/profile查看：jdk版本java –version
复制

描述：免费流行的关系型数据库管理系统，在WEB应用方面-RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。

yum源方式安装：示例：包存在yum install mysql-server示例：包不存在（镜像站RPM或源码编译方式）通过wget方式下载repo源：wget http://repo.mysql.com/mysql-community-***.***.rpm安装：rpmrpm -ivh mysql-community-***.***.rpm安装：mysqlyum install mysql-server启动：mysqlservice mysql start查看：mysqlps -ef | grep mysqld ps -ef | grep mysql netstat -anpt | grep mysql登入：mysqlmysql -u root -p示例：Navicat客户端外网连接创建用户（用于远程连接的用户）mysql>GRANT ALL PRIVILEGES ON *.* TO 'xxxx'@'%' IDENTIFIED BY 'xxxxxxxx' WITH GRANT OPTION;刷新权限表mysql>flush privileges;切记安全-开启服务器的防火墙systemctl start firewalld.service
复制

描述：基于Lucene搜索服务器，提供了一个分布式多用户能力的全文搜索引擎，基于RESTful Web接口，基于Java语言开发，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

温馨提示：为了保证正确安装和运行，如果可用内存过少，可能导致ES安装或启动失败。查看：RAM内存free -h检查：硬盘空间df -h查看：目录下各文件夹磁盘占用率（ES的data目录指定可根据实际资源情况挂载）du --max-depth=1 -h /***/***ES免安装：这里采用服务器间scp（互通）方式拷贝es安装包（若当前es中数据集较大-超出数10G，数据data目录也可一并离线迁移过来）scp -r root@ip:/home/elasticsearch-6.8.6 /***/***/云服务器：参数调整（root账户执行）echo "fs.file-max = 6553560" >> /etc/sysctl.confecho "vm.max_map_count=655300" >> /etc/sysctl.confecho "vm.swappiness = 0" >> /etc/sysctl.conf生效：sudo sysctl -p  修改limits.conf文件：可自行根据实际资源情况对linux系统底层的多线程调整，允许es最大可以并发线程数vim /etc/security/limits.conf*   soft   nofile   524288*   hard   nofile   524288*   soft   nproc   131072*   hard   nproc   131072*   -memlock   unlimited其中每个进程最大同时打开文件数太小，可通过下面2个命令查看当前数量，这里修改了需要重新登录su  - yd   ulimit -Hn   ulimit -Sn若是没有用户：新增用户yd（为减少对操作系统的影响以及安全问题，不建议以root系统用户来安装和运行ES实例，可按下述创建一个专用的用户） 为yd用户创建密码：passwd yd赋权：yd用户能够访问ES相关文件夹chown -R yd:yd /***/***/修改配置：集群节点等各参数设置项（cluster.name、node.name、network.host、http.port、path.data、path.logs、node.master、http.cors.allow-credentials...）vim /elasticsearch.yml 内存调整：最大堆内存，最小堆内存可自行根据实际资源情况调整vim jvm.options插件：IK分词可在plugins目录下，复制ik分词到当前路径/plugins/ik  漏洞：log4j版本升级可在lib目录下删除log4j-1.2-api-2.11.1.jar、log4j-api-2.11.1.jar、log4j-core-2.11.1.jar后找到相同名字，版本号不同的包进行替换启动：ES./elasticsearch  -d（后台启动方式，关闭终端服务正常运行）查看：ES进程，能看到则表示正常，也可在终端(curl+链接)访问验证，其中ES的http地址：当前服务器IP：9200，ES的tcp地址：当前服务器IP：9300）top -c 或 jps -l(查看java进程) 或 ps aux|grep ela(服务名)附：CPU调度基本单位-线程，线上CPU飙升排查或辅助JVM参数调优调整查找各个当前进程ID资源信息top -c查找当前进程内最耗费CPU的线程top -Hp 进程ID线程ID十六进制值转换printf "%x\n" 线程ID定位具体堆栈信息：输出进程ID的堆栈信息，然后根据线程ID的十六进制值grepjstack 进程ID | grep 进制值
复制

描述：数据可视化和挖掘工具，可以用于日志和时间序列分析、应用程序监控。

Kibana免安装：这里采用服务器间scp（互通）方式拷贝kibana安装包scp -r root@ip:/home/kibana-6.8.6-linux-x86_64 /***/***/修改配置：参数设置项（server.host、server.name、elasticsearch.url...）vim /kibana.yml启动：Kibananohup ./bin/kibana  &（后台启动方式，关闭终端服务正常运行）查看：kibana进程，能看到则表示正常，可在终端(curl+链接)访问验证，也可进入浏览器:当前kibana服务IP:5601）ps aux|grep kibana
复制

描述：开源、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API，当下较为热门的查询性能缓存。

yum源方式安装：示例：包存在yum install -y redis配置：/etc/redis.conf启动：redis/usr/sbin/redis-server /etc/redis.conf 或 redis-server & 后台运行(使用默认端口)日志：/usr/local/redis/logs/查看：redisps -ef | grep redisnetstat -tunpl|grep 6379登入：redisredis-cli -p 6379 --raw（中文数据正常显示）redis-cli --help（其他参数查看）关闭：redispkill redis附：如果命令 which 和whereis 都找不到安装目录，可使用以下办法ps -ef|grep redis 得到了进程号 xxxx 然后 ls -l /proc/xxxx/cwd
复制

描述：Nginx (engine x) 高性能、反向代理、轻量级web服务器。

yum源方式安装：示例：包存在yum install -y nginx ******配置：/usr/local/nginx/conf/nginx.conf启动：/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf日志：/usr/local/nginx/logs查看：ps -ef | grep nginx版本：/usr/local/nginx/sbin/nginx -v验证：nginx进入浏览器：http://公网IP Welcome to nginx!重启：nginx ./nginx -s reload关闭：pkill nginx附：系统自启动-nginx（该设置方法也适用于CentOS其他程序-设置开机自启动）vim /etc/rc.d/rc.local/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.confchmod +x /etc/rc.d/rc.local（设置运行权限）
复制

描述：创建WEB页面或APP等界面呈现给用户，HTML、CSS、JavaScript以及衍生出来的各种技术框架体系、解决方案等，来实现产品的用户界面交互。

开发：Visual Studio Code运行：npm run serve编译：npm run build解压：/***/***/dist配置：nginx加server配置，监听端口，域名映射访问：./nginx -s reload，浏览器访问验证
复制

描述：后端主要做的是业务逻辑，产品功能等模块，对于用户不可见，而更多的是与数据库进行交互以处理相应过程，功能实现、数据的存取、平台的稳定可用性以及性能。

开发：IntelliJ IDEA运行：nohup后台运行，正式生产环境-制作可执行sh脚本文件或容器自动化部署nohup java -XX:MetaspaceSize=*m -XX:MaxMetaspaceSize=*m -Xms*m -Xmx*m -Xmn*m -Xss*k -XX:SurvivorRatio=8 -XX:+UseConcMarkSweepGC -Duser.timezone=GMT+08 -jar ***.jar >/dev/null 2>&1 &附：JVM参数年轻代分为1个Eden和2个Survivor区（一个是from，另一个是to）。新创建的对象一般都会被分配到Eden区，若经过第一次GC后仍然存活，就会被移到Survivor区。Survivor区中的对象每经过一次MinorGC，年龄+1,当年龄增加到一定程度时，会被移动到年老代。Eden区域：占8份，两个survivor区域各占1份，即8:1:1（新生代中98%的对象很少存活下来，因此设定10％的空间来存放活下来的，详细日志(-XX:+PrintGCDetails)、比例(-XX:SurvivorRatio=8)、(Xms)堆内存最小值、(-Xmx)堆内存最大值、(-Xmn)堆内存分配给新生代、(-XX:PermSize)设置持久代堆空间的初始值和最小值、-XX:MaxPermSize=<n>[g|m|k]设置持久代堆空间的最大值）。大多数的新生代都是采用的复制清除法作为垃圾回收算法，当对新生代进行minor gc（发生在新生代的垃圾收集动作，java对象大多都具备"朝生夕灭"的特性，所以Minor GC非常频繁，一般回收速度也比较快）时，会把Eden中和Survivor中的存活对象复制到另一块survivor区域中。-Xms*m => Java Heap内存初始化值 -Xmx*m => Java Heap内存最大值 -XX:PermSize => 永久带的初始值 -XX:MaxPermSize => 永久代的最大值 -Xmn => 新生代
复制