ES6.3版本踩坑之路-整型字段慢查询导致CPU负载飙升

摘要

本文讨论了在执行用户Elasticsearch(ES)数据合并过程中，从多个索引合并到一个宽表索引时遇到的线上环境崩溃问题。合并后的索引大约有148GB大小和4.31亿文档。作者介绍了合并的步骤，包括新索引的创建、增量数据消费、存量数据转移、灰度读切换、完全读切换、停止旧索引数据同步及旧索引删除。

问题发生在灰度切换时，线上环境下CPU使用率暴增至99%，导致作者紧急回滚项目。通过分析ES慢日志，发现整型值检索导致的慢查询问题是罪魁祸首。进一步测试证实，在ES 6.3版本中，低基数的整型字段检索性能较差。此问题可以通过将这些字段转换为keyword类型或升级至ES 6.8版本来解决。

最后，作者建议遇到问题时不应独自研究超过两个小时，而应及时向有经验的同事或朋友寻求帮助。文末推荐了一些有关程序猿生活和技术实践的文章。