扫码阅读
手机扫码阅读

TiDB 数据库开发规范很重要!

318 2023-09-06

文章总结了TiDB用户何傲在处理TiDB集群性能下降问题时的发现和解决过程。何傲发现应用端执行的大量全表删除SQL操作花费了绝大部分时间在Coprocessor阶段,即在TiKV执行的阶段。进一步分析显示,删除一个小表的数据竟扫描了近80万个key,而实际删除的数据只有9行,推断出引发性能下降的原因是由于执行了大量无效key的扫描。

文章指出问题的根源在于集群中gc_life_time设置的较大值(48小时),导致保留了大量历史数据版本,从而影响性能。文章强调理解TiDB的GC(垃圾回收)机制和MVCC(多版本并发控制)以及Region概念和Key结构是理解数据删除背后原理的关键。

文章还探讨了在数据频繁更新的场景下,GC设置不当可能导致的问题,如存储空间占用增加和历史数据影响性能。文中建议在涉及范围查询且无索引的情况下,应该关注GC对性能的影响,特别是在全表扫描的场景中。

在讨论正确删除数据的方法时,文章建议根据不同场景选择不同的删除方法,如按条件分批删除、使用truncate命令清空表数据、直接drop表或数据库。同时,文章提到在TiDB中执行大批量数据操作时需要注意的问题,强调应该在早期技术选型时考虑TiDB的开发规范,以及开发和运维人员应该继续落实执行TiDB的使用方式和限制条件。

文章最后指出,理解TiDB的原理和正确使用它是非常重要的,没有完美的产品,但通过扬长避短的方式使用,可以发挥其价值并提升效率。作者推荐TiDB社区的开发规范说明,希望大家认真阅读并时常回顾。

想要了解更多,点击 查看原文