一、前言

在日常ES运维过程中，经常会遇到一些业务需求，特别是会经常遇到一些故障需要紧急处理，所以这就需要我们平日多积攒一些运维脚本或命令，以便能快速定位和处理问题。今天分享两个自己整理的比较好用的脚本，我平时也经常在elasticsearch生产环境使用。

二、运维脚本

2.1、获取以xxx开头的索引及大小并按照索引前缀排序

有时为了统计某业务部门索引占用情况，可按照索引前缀获取所有索引索引名称和大小，并按照索引前缀进行排序。

#!/bin/bash

# 定义 Elasticsearch 地址、端口、用户名和密码
ES_HOST="192.168.xxx.xxx"
ES_PORT="9200"
ES_USER="elastic"
ES_PASS="xxxxx"

# 定义输出文件路径
OUTPUT_FILE="/home/esuser/xxxx_indices_info.txt"

# 临时文件存储
TEMP_FILE="/tmp/xxxx_indices_info.txt"

# 获取以 xxxx 开头的索引名称、大小并按索引名称排序，写入到临时文件
curl -s -u ${ES_USER}:${ES_PASS} "${ES_HOST}:${ES_PORT}/_cat/indices?h=index,store.size&format=json" | jq -r '.[] | select(.index | startswith("xxxx")) | "\(.index)\t\(.["store.size"])"' > ${TEMP_FILE}

# 检查临时文件是否生成
if [ ! -s ${TEMP_FILE} ]; then
    echo "No data found or failed to retrieve data from Elasticsearch."
    exit 1
fi

# 清空输出文件
> ${OUTPUT_FILE}

# 处理大小单位转换并写入输出文件
while IFS=$'\t' read -r index size; do
    # 检查大小是否为 null
    if [ "$size" == "null" ] || [ -z "$size" ]; then
        size_kb=0
    else
        # 将大小转换为 KB
        if [[ $size == *kb ]]; then
            size_kb=$(echo $size | sed 's/kb//')
        elif [[ $size == *mb ]]; then
            size_kb=$(echo $size | sed 's/mb//' | awk '{printf "%.0f", $1 * 1024}')
        elif [[ $size == *gb ]]; then
            size_kb=$(echo $size | sed 's/gb//' | awk '{printf "%.0f", $1 * 1024 * 1024}')
        elif [[ $size == *tb ]]; then
            size_kb=$(echo $size | sed 's/tb//' | awk '{printf "%.0f", $1 * 1024 * 1024 * 1024}')
        else
            size_kb=$size
        fi
    fi

    # 输出索引名称和大小（KB），追加到输出文件
    echo "${index} ${size_kb}" >> ${OUTPUT_FILE}
done < ${TEMP_FILE}

# 按索引名称排序并重定向到最终文件
sort -k1,1 ${OUTPUT_FILE} -o ${OUTPUT_FILE}

# 删除临时文件
rm ${TEMP_FILE}

复制

命令注释：

1. 定义 Elasticsearch 地址、端口、用户名和密码：将 ES_HOST、ES_PORT、ES_USER 和 ES_PASS 设置为你的 Elasticsearch 实例的地址、端口、用户名和密码。

2. 定义输出文件路径：将结果写入到 /home/esuser/xxxx_indices_info.txt 文件。

3. 获取以 xxxx 开头的索引信息：

4. 使用 curl 命令获取所有索引的信息，并以 JSON 格式返回。

5. 使用 jq 进行 JSON 解析并过滤出以 MIC 开头的索引，提取索引名称和大小。

6. 检查并处理大小字段：将大小单位（如 KB、MB、GB、TB）转换为 KB。如果大小为 null 或空，则设置为 0 KB。

输出结果：

• 1. 清空输出文件。
• 2. 使用 echo “${index} ${size_kb}” >> ${OUTPUT_FILE} 将每行结果追加到输出文件。
• 3. 按索引名称排序：使用 sort -k1,1 ${OUTPUT_FILE} -o ${OUTPUT_FILE} 按索引名称排序并重定向到最终文件。
• 4. 删除临时文件：清理临时文件。

2.2、填充空索引加速各节点索引分片数量平衡

在日常ES运维过程中，经常遇到因为节点宕，或者平时ES节点需要重启维护，为了快速达到各节点索引分片平衡，可向集群中插入一些空索引，以便快速达到分片平衡，待平衡后，再抽时间逐步删除这些创建的空索引。

#!/bin/bash

# Elasticsearch节点的IP地址和端口
ES_HOST="192.168.xxx.xxx:9200"

# Elasticsearch超级用户的身份验证凭据
USERNAME="elastic"
PASSWORD="xxxx"

# 索引名称的前缀和数量
INDEX_PREFIX="test-null-index"
INDEX_COUNT=10

# 索引的设置
INDEX_SETTINGS='{"settings": {"number_of_shards": 1, "number_of_replicas": 0}}'

# 循环创建索引
for ((i=1; i<xxxx; i++)); do
  INDEX_NAME="${INDEX_PREFIX}-${i}"
  echo "Creating index: $INDEX_NAME"
  
  curl -XPUT -u "$USERNAME:$PASSWORD" "http://$ES_HOST/$INDEX_NAME" -H 'Content-Type: application/json' -d "$INDEX_SETTINGS"

复制