本文记录Easysearch和Opensearch数据写入和数据存储方面的性能对比。数据存储方面，相同数据量经过Easysearch和Opensearch的压缩后，Easysearch占用的空间明显少于Opensearch，并且数据量越大越明显。

此次更新涵盖CocoAI、Easysearch等产品多项重要升级，重点提升AI搜索能力、易用性及企业级优化。CocoAIv0.3作为开源、跨平台的AI搜索工具，新增快捷键设置，支持多个聊天会话等功能。CocoAIServer新增连接器UI管理支持，允许用户通过请求头传递websocket会话ID。INFINIConsole、Gateway、Agent、Loadgen、Framework关键问题修复，优化Security处理与整体用户体验。CocoAI是一个完全开源、跨平台的统一AI搜索与效率工具，能够连接并搜索多种数据源，包括应用程序、文件、谷歌网盘、Notion、语雀、Hugo等本地与云端数据。通过接入DeepSeek等大模型，CocoAI实现了智能化的个人知识库管理，注重隐私，支持私有部署，帮助用户快速、智能地访问信息。CocoAIv0.3.0视频演示。INFINIConsole是一款开源的非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。

logformateslog'$remoteaddr$remoteuser[$timelocal]"$request"'.由于Easysearch开启了认证功能，需要给Nginx创建一个认证文件。示例为Nginx配置了admin用户，大家根据情况自行调整。至此Nginx已经配置完毕，启动Nginx服务。我们使用curl命令连续向Nginx发送6个查询请求，看看请求是否发送到Easysearch的所有节点。可以看到，如我们期待那样查询请求在所有节点间轮询。

INFINILabs产品更新发布！此次更新涵盖CocoAI、Easysearch等产品多项重要升级，重点提升AI搜索能力、易用性及企业级优化。CocoAIv0.2作为开源、跨平台的AI搜索工具，新增APP自动更新提示、APIToken管理、文档处理优化等功能。INFINIConsole、Gateway、Agent、Loadgen、Framework关键问题修复，优化WebSocket处理与整体用户体验。CocoAIServer增强WebSocket会话处理、支持RAG会话和动态配置，并新增图形化管理界面。CocoAI是一个完全开源、跨平台的统一AI搜索与效率工具，能够连接并搜索多种数据源，包括应用程序、文件、谷歌网盘、Notion、语雀、Hugo等本地与云端数据。通过接入DeepSeek等大模型，CocoAI实现了智能化的个人知识库管理，注重隐私，支持私有部署，帮助用户快速、智能地访问信息。INFINIConsole是一款开源的非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。

Easyearch为了防止索引将磁盘空间完全占满，使用磁盘水位线进行磁盘空间控制。之前有文章提过不同水位线的作用，以及如何使用INFINIConsole提前进行告警，提前进行处理。本篇主要探讨提前处理的情况。如果响应中分片的状态是RELOCATING，则表示分片仍在移动。建议使用索引生命周期进行管理，自动删除过期索引。以下命令按副本数量和主存储大小的降序排列索引。Easysearch支持ZSTD和sourcereuse功能，对比默认的压缩算法，可大幅降低磁盘消耗。避免使用默认的mapping类型，因为字符串类型的数据将得到text和keyword两个类型的mapping。分析指定索引各个字段占用磁盘的大小。Easysearch的rollup具备一些独特的优势，可以自动对rollup索引进行滚动而不用依赖其他API去单独设置，并且在进行聚合查询时支持直接搜索原始索引，做到了对业务端的搜索代码完全兼容，从而对用户无感知。

Easyearch为了防止索引将磁盘空间完全占满，使用磁盘水位线进行磁盘空间控制。具体来说有三条磁盘水位线：low、high、flood。也可设置成一个具体值，比如：400mb，代表须保留400mb空闲磁盘空间，否则就算超水位线。一旦节点磁盘使用率超过了低水位线，Easysearch集群不会将分片分配至该节点，但是不影响新建索引的主分片分配到该节点，新建索引的副本分配不能分配到该节点。只读锁会阻止新数据写入，当磁盘利用率低于高水位线时，只读锁会自动释放。针对节点磁盘使用率，我们可以使用INFINIConsole进行节点磁盘使用率告警，便于我们及时发现问题苗头，提前进行处理。

INFINILabs产品更新发布！此次更新，Easysearch增加了新的功能和数据类型，包括wildcard数据类型、Pointintime搜索API、异步搜索API、数值和日期字段的docvalues搜索支持，Console新增了日志查询功能。INFINIEasysearch是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch可以完美替代Elasticsearch，同时添加和完善多项企业级功能。Easysearch助您拥有简洁、高效、易用的搜索体验。INFINIConsole是一款开源的非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。基于INFINIGateway可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Easysearch1.10版本在IK词典部分增加了字段级别词典的功能。字段级别词典的功能支持用户对不同的字段设置不同的分词词库，用户既可以完全使用自己的词库，也支持在ik默认的词库上增加自定义的词库内容。在整体使用上，ik自定义词库的设计是比较灵活的，用户不仅可以通过分词器设置，自由的应用到各个字段。存储词典的方式也从固定文件和远程连接修改成了读取本地集群中默认的词库索引，减少了自定义词库的配置成本。好了，现在让我们具体看一下ik字段级别词典的使用方法吧。默认的词库索引是.analysisik索引，IK插件自动初始化的.analysisik索引。用户可以自定义使用某个索引替代.analysisik，但是要保持和.analysisik一个的mapping结构和使用同一个pipeline。dicttype：字典类型，可选“maindicts”,“stopwordsdicts”,“quantifierdicts”三个值。其中任意dictkey的"maindicts"必须存在。自定义词库的生效主要通过自定义tokenizer进行设置。

INFINILabs产品更新发布！此次更新，CocoAI正式亮相，可快速实现智能化的个人知识库管理；Easysearch增强Rollup能力，可自定义Rollup索引生命周期，支持更多的聚合方式；Console完善了Metrics的指标监控异常告警能力，支持指标数据变化横向对比；Agent进行了多处优化以及修复相关Bug，支持在Docker容器中开启探针进行指标采集等等。欢迎下载体验，探索更多可能！通过接入DeepSeek等大模型，CocoAI实现了智能化的个人知识库管理，注重隐私，支持私有部署，帮助用户快速、智能地访问信息。本次发布的是CocoAI第一个预览版本,支持MacOS12以上的操作系统,欢迎大家下载使用INFINIEasysearch是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。INFINIConsole是一款开源的非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。

随着企业信息化程度的飞速提升，海量数据正以前所未有的速度涌现，这些数据分散在内网Wiki、JIRA、GoogleWorkspace、Dropbox、Notion、GitHub等多个平台中，形成了一个个难以逾越的“信息孤岛”。员工们在跨平台检索信息时，常常陷入“大海捞针”的困境，不仅浪费了大量时间，还严重影响了工作效率。与此同时，AI技术的飞速发展为知识管理和信息检索带来了新的曙光。RAG技术的崛起，更是将传统搜索引擎与生成模型的优势完美融合，推动了办公自动化和协作智能化的全新变革。企业对高效智能搜索、知识管理及协作工具的需求，正以前所未有的速度增长，在此背景下，极限数据（北京）科技有限公司正式发布——CocoAI一站式企业搜索与AI智能中心产品，并与DeepSeek深度合作，共同打造下一代企业知识管理神器！CocoAI与DeepSeek的深度集成，正是为了将这一前沿技术带入企业办公场景，为企业提供更高效、更安全的知识管理解决方案。

周三晚7点，一起聊聊DeepSeek如何推动数据库智能化转型！

本文将探讨如何使用INFINIGateway阻止不合理的查询发送到Elasticsearch，此方法同样适用于Opensearch和Easysearch。在以往处理Elasticse

去年我们尝试过使用Easysearch千问2大模型打造一个企业内部知识问答系统，今年又有更加给力的大模型出现了–DeepSeek，性能对标OpenAIo1正式版。而且Easysea

有给ES系统导入过数据的小伙伴都知道，给一个正在执行查询的ES集群导入数据，可能会影响查询的响应时间。如果导入的数据量还比较大，那请将“可能”两个字去掉。这种操作通常被限定在业务低谷期执行，如

最近INFINILabs社区有Easysearch开发者反馈，其开发环境为Windows系统，安装部署Easysearch时初始化证书遇到麻烦。本文将介绍在Windows上创建自签名证书的7种不同方法。在允许生成自签名证书的在线服务中，CertificateTools是最先进的。首先，安装Certbot，这是Let’sEncrypt官方推荐的工具，用于自动化获取和续期SSL/TLS证书。选择Windows系统，下载并安装Certbot。打开命令提示符或PowerShell以管理员身份运行。Certbot会自动通过HTTP验证域名并生成证书。fullchain.pem：完整证书链。打开Windows证书管理器，选择个人文件夹。在证书管理器中，确认证书已成功导入并配置。OpenSSL是一个跨平台的工具，适用于各种操作系统，包括Windows。days365：

DataX是阿里开源的一款离线数据同步工具，致力于实现包括关系型数据库、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。本篇主要介绍DataX如何将数据写入到Easysearch，对于各种数据源的连接不会做深入的探讨，感兴趣的小伙伴可以访问DataX的Github仓库查看详情。DataX无需安装，下载后解压即可使用。每个数据同步的操作可称为一个任务，任务的配置文件定义了数据源、数据目的，以及任务的设置信息，如并发数、速度控制等。DataX集成了如此多的数据源，如果靠纯手工编写任务配置显然不现实。我们用streamreader构造了10000个文档，文档含三个字段，任务启动了50个channel进行数据发送，结果就是共计发送50w个文档。对于必须使用https的场景，可使用INFINIGateway代理ES服务，提供http通道给离线数据同步专用。不同的reader、writer对sliceRecordCount和channel会有不同的行为。

INFINILabs产品更新发布！此次更新，Easysearch增强Rollup能力，支持更多的聚合方式；Console完善了TopN的指标，支持自定义视图，并内嵌视图模板；Gateway进行了多处优化以及修复相关Bug等等。欢迎下载体验，探索更多可能！INFINIEasysearch是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch可以完美替代Elasticsearch，同时添加和完善多项企业级功能。Easysearch助您拥有简洁、高效、易用的搜索体验。关于Rollup具体如何使用，请查看这篇单独的博客：介绍Easysearch的Rollup.INFINIConsole是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。

在日志场景，还是有很多小伙伴在使用Filebeat采集日志的。今天我来实战下使用Filebeat8连接Easysearch。本次使用Easysearch1.9.0版本和Filebeat8.17.0版本做演示，也适用Filebeatoss8.17.0版本。Easysearch默认情况下未开启Elastic兼容功能。此时直接用Filebeat去连接Easysearch会失败，报错“couldnotconnecttoacompatibleversionofElasticsearch”，直译过来就是“无法连接到兼容的Elasticsearch版本”。在Easysearch1.9.0中关于Elasticsearch的兼容性参数有两个，我们先开第一个。这次Filebeat检测到了一个兼容的版本7.10.2，并导入了一个叫filebeat的索引生命周期管理策略，但最终因为无法导入模板而失败了。清理测试数据后，启动Filebeat连接。数据也成功写入。Filebeat必须关闭模板导入功能。

修改user.yml配置文件，需将.security索引删除，重启集群重新生成.security索引才能生效。直接使用admin用户进行删除报权限异常，这是因为.security是一个受保护的系统索引，对其进行操作需要使用管理证书。默认在Easysearch集群执行初始化脚本bin/initialize.sh时，会在config目录下生成证书文件，其中admin.crt、admin.key为管理证书。通过配置文件1、使用管理证书删除.security索引2、修改配置文件3、重启集群删除.security索引会导致所有的用户信息丢失；修改配置文件，对于多节点集群来说操作较多；重启集群影响较大。推荐使用API接口进行密码重置。

在日常使用Easysearch中，难免会遇到集群密码需要重置的情况。创建一个测试用户test，并进行访问验证。对test1、test2用户进行密码重置。用户test1重置失败是因为配置了reserved:true，将用户test1指定为内置用户，使用用户admin会因为权限无法进行密码重置，那就需要使用有更高权限的管理证书进行密码重置。默认在Easysearch集群执行初始化脚本bin/initialize.sh时，会在config目录下生成证书文件，其中admin.crt、admin.key为管理证书。INFINIEasysearch是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch可以完美替代Elasticsearch，同时添加和完善多项企业级功能。Easysearch助您拥有简洁、高效、易用的搜索体验。

INFINILabs产品全新发布！此次更新为大家带来了Console的全新TopN功能，让您能够更高效地定位最关键的节点或索引；Easysearch新增Rollup能力，大幅提升监控指标的存储周期并优化分析体验；此外，Framework还修复了多项缺陷并进行了多处优化。欢迎下载体验，探索更多可能！INFINIConsole是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。尽管Console提供了强大的高级分析功能，但面对大量指标时，加载速度较慢、指标过于密集，难以直观发现问题。TopN的推出，旨在解决这些痛点，为用户提供更加精准、高效的监控分析能力。TopN是Consolev1.28.0中新增的主要功能，用于快速识别排名前N的关键指标数据点。支持在Insight数据查询API中查询TopN指标。Easysearch可以完美替代Elasticsearch，同时添加和完善多项企业级功能。

为了解决这一问题，Rollup技术应运而生。本文将带你深入了解Rollup的概念、优势以及如何在Easysearch中使用Rollup来优化时序数据的存储和查询。Rollup是一种数据聚合技术，主要用于处理时序数据。简单来说，Rollup可以将大量的详细数据压缩为更小的、更具代表性的数据集，同时保留关键的业务指标。通过Rollup，可以将这些数据汇总为更粗粒度的指标，保留关键信息的同时减少存储压力。Rollup可以帮助你将日志数据汇总为更高层次的统计信息，便于长期存储和分析。exclude参数用于排除某些字段，使其不参与Rollup任务。filter参数用于过滤源数据，只有符合过滤条件的文档才会被Rollup任务处理。从Easysearch1.10.0版本开始，Rollup功能引入了一些新特性，进一步增强了其灵活性和易用性。

很多小伙伴都在使用Logstash，随着各家安全扫描、安全策略的加固，不少小伙伴已经开始使用Logstash8了。在使用Logstash8连接Easysearch的时候可能会遇到问题，比如下图。提示连接的不是兼容版本的Elasticsearch。使用此方法，Logstash连接的是INFINIGateway，由INFINIGateway“通过”Logstash8的检查。优点是对Easysearch版本无要求。默认的网关配置要稍作修改。连接成功后，如下图。Easysearch1.9.0已经增加了适配Logstash8.x的请求header，因此使用Easysearch1.9.0的小伙伴，只需打开对应的设置就可以了。注意Logstash配置中关闭自动导入模板功能。启动Logstash连接到easysearch后，Logstash日志会输出检测到版本8.9.0。好了，还有其他问题的小伙伴，欢迎加我微信沟通。

Easysearch的很多用户都有这样的需要，之前是用的ES，现在要迁移到Easysearch，但是业务方使用的是SpringBoot集成的客户端，问是否能平滑迁移。Easysearch是完全兼容SpringBoot的，完全不用修改，本指南将探讨如何将SpringBoot和ES的highlevel客户端与Easysearch进行集成，涵盖从基础设置到实现CRUD操作和测试的所有内容。首先，需要修改Easysearch节点的easysearch.yml文件，打开并配置这2个配置项：。然后，让我们设置Maven依赖。

在EasysearchJavaSDK2.0.x使用指南（一）中，我们介绍了EasysearchJavaSDK2.0.2的基本使用和批量操作功能。在EasysearchJavaSDK2.0.x使用指南（二）中，则详细介绍了索引管理相关的功能，包括索引的创建、删除、开关、刷新、滚动等操作，以及新版SDK提供的同步和异步两种调用方式。QueryString查询允许开发者以类似EasysearchQueryDSL的语法执行全文检索，非常适合处理用户输入的复杂搜索条件。defaultoperator：当查询字符串中未明确操作符时使用的默认逻辑操作符。analyzewildcard：是否对通配符查询进行分析。以下示例展示了如何通过新版Java客户端构建一个QueryString查询，用于检索标题和内容中同时包含easysearch和java的文档：。

使用阿里云上规格：ecs.u1c1m4.4xlarge，PL2:单盘IOPS性能上限10万.vCPU内存磁盘带宽数量。实例名内网IP软件vCPUJVM磁盘。单节点Easysearch集群，版本：1.9.0.4台压Easysearch，4台压Elasticsearch。

从Elasticsearch迁移到Easysearch需要考虑多个方面，这取决于当前使用的Elasticsearch版本、能容忍的停机时间、应用需求等。在此背景下，我们梳理了一下通用的升级指引，方便大家进行迁移工作。之前有同事做过相关测试，详情请移步这里。部署新的Easysearch集群，如果有使用插件，也一并安装。将备份仓库注册到Easysearch集群。在Easysearch中设置需要使用的用户名和密码信息。另部署一套应用连接Easysearch集群，进行数据、功能验证。部署INFINIConsole、Gateway程序。建立数据迁移任务，对业务索引进行迁移，建议启用压缩功能。如果要继续使用JavaHighLevelRESTClient，建议将版本调整到7.10.2。当然更建议的是使用Easysearch的客户端，更轻更快，构建查询，跟搭积木一样简单。极限科技一直致力于为开发者和企业提供优质的开源工具，提升整个技术生态的活力。除了维护国内最流行的分词器analysisik和analysispinyin，也在不断推动更多高质量开源产品的诞生。

使用EasysearchChart0.2.0之前的版本创建出来的集群，admin用户初始密码固定为admin，这样的集群存在安全隐患。INFINIEasysearch是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch可以完美替代Elasticsearch，同时添加和完善多项企业级功能。Easysearch助您拥有简洁、高效、易用的搜索体验。

在上一篇文章中，我们介绍了EasysearchJavaSDK2.0.x的基本使用和批量操作。本文将深入探讨索引管理相关的功能，包括索引的创建、删除、开关、刷新、滚动等操作，以及新版SDK提供的同步和异步两种调用方式。优点简单直观，但稍显笨重。Lambda方式不仅代码少，最大的优点是不用记那么多Builder类名。尤其是写复杂查询的时候，代码层次感特别强：。新版SDK在这块的设计特别贴心，同步异步都支持，用起来特别顺手。看代码就能明白，这些操作都特别直观，基本上方法名就能告诉你它是干啥的。而且返回的Response对象里都带着详细的执行结果，出了问题很容易排查。

各位Easysearch的小伙伴们，我们前一阵刚把easysearchclient更新到了2.0.2版本！借此详细介绍下新版客户端的使用。新版客户端和1.0版本相比，完全重构，抛弃了旧版客户端的一些历史包袱，从里到外都焕然一新！不管是刚入门的小白还是经验丰富的老司机，2.0.x客户端都能让你开发效率蹭蹭往上涨！类型安全，告别迷糊：常用的EasysearchAPI现在都配上了强类型的请求和响应对象，再也不用担心写错参数类型了，代码也更好看了，维护起来也更省心！同步异步，想咋用咋用：所有API都支持同步和异步两种调用方式，不管是啥场景，都能轻松应对！和Jackson无缝对接：可以轻松地把你的Java类和客户端API关联起来，数据转换嗖嗖的快！这部分教你怎么快速安装和使用easysearchclient2.0.2客户端，还会演示一些基本操作。easysearchclient2.0.2已经上传到Maven中央仓库了，加到你的项目里超级方便。连上Easysearch：我们要用HTTPS连接到本地的9200端口。