Friday 2019-05-10

关键模块索引命中降低带来的部分应用服务响应慢

北京时间 5 月 10 日凌晨 02:02,知晓云工程师向所有集群全量推送了关于用户系统第三方授权一致性方面的功能更新。经一个小时的观察确认线上安全后结束当次部署工作。

北京时间 5 月 10 日 11:47 开始,随着流量高峰期来临,几个套餐集群发生不同级别的压力告警,值班工程师介入处理,发现系凌晨的部署引入了一个较为严重的索引命中问题,导致用户模块相关的某个特定条件查询性能降低 80%。工程师采取紧急处理措施,商用版集群于 11:50 全量恢复;个人版 11:51 ~ 11:52 全量恢复;教育版及开发版 11:53 全量恢复。