正在阅读:

腾讯云复盘用户数据丢失故障:存在人为不规范操作,将积极改进

扫一扫下载界面新闻APP

腾讯云复盘用户数据丢失故障:存在人为不规范操作,将积极改进

云服务并非100%万无一失。

8月7日晚,针对“前沿数控”数据完整性受损一事,腾讯云方面发出了文章,对事故本身从技术的角度进行了复盘,还原了数据未丢失始末。

文章中表示,该故障缘起于因磁盘静默错误导致的单副本数据错误,再加上数据迁移过程中的两次不规范的操作,导致云盘的三副本安全机制失效,并最终导致客户数据完整性受损。

对此,腾讯云强调,其自2016年3月以来一直在提供免费的快照功能,可以对重要数据进行定期备份。同时出于对客户数据隐私性和安全性的考虑,客户可以自由选择开启或者不开启这一免费功能。腾讯云呼吁客户开启这一功能,进一步提升自身数据的安全性。

界面新闻在昨日的报道中提到,7月20日20点左右,前沿数控方面发现,部署在腾讯云上的公司网站、小程序、H5突然打不开;到7月22日,腾讯云方面向前沿数控确认,丢失的数据已经找不回来。

为此,前沿数控方面对腾讯云提出了高达11016000元的索赔要求,并在后续沟通中提出希望以获得腾讯投资、腾讯官方引流等方式得到补偿。

腾讯方面给出的补偿措施是,补偿责任总额不超过腾讯云公司就违约服务收取的服务费用总额,另外提供13.29万元现金作为额外补偿。

类似的不规范操作导致的云端数据损坏事件,此前也曾发生在其他云服务提供商身上。今年6月27日,有用户反馈称,阿里云出现故障,MQ、NAS、OSS等产品的部分功能出现访问异常。

阿里云在6月28日凌晨给出了故障复盘,原因是6月27日下午,工程师团队在上线一个自动化运维新功能中,执行了一项变更验证操作。这一功能在测试环境验证中并未发生问题,上线到自动化运维系统后,触发了一个未知代码bug。错误代码禁用了部分内部IP,导致部分产品访问链路不通。后续人工介入后,工程师团队快速定位问题进行了恢复。

这一系列事件的发生,实际上意味着用户在关注服务提供商技术质量的同时,也需要提高自身的防患意识。一名大型云计算厂商的技术专家表示,云厂商提供给用户的,并不是一个一定不会出问题的服务;而是可以低成本、快速地搭建一个服务冗余、一定容灾的架构的能力。

“用户并不能认为云厂商会提供100%的可用性,也需要对服务做好充分的自我防护。”这名人士说道。

以下是腾讯云故障复盘的部分内容:

故障过程复盘

当天上午11:57,我们的运维人员收到仓库Ⅰ空间使用率过高告警,准备发起搬迁扩容;在14:05时,运维人员从仓库Ⅰ选择了一批云盘搬迁至新仓库Ⅱ,为了加速搬迁,手动关闭了迁移过程中的数据校验;在20:27 搬迁完成之后,运维人员将客户的云盘访问切至仓库Ⅱ,同时为了释放空间,对仓库Ⅰ中的源数据发起了回收操作;到20:30 监控发现仓库Ⅱ部分云盘出现IO异常。

故障原因复盘

本次事故起源自因磁盘静默错误导致的单副本数据错误,再由于数据迁移过程中的不规范操作,导致异常数据扩散至三副本,进而导致客户数据完整性受损。

数据搬迁过程中的违规操作主要如下两点:

第一是正常数据搬迁流程默认开启数据校验,开启之后可以有效发现并规避源端数据异常,保障搬迁数据正确性,但是运维人员为了加速完成搬迁任务,违规关闭了数据校验;

第二是正常数据搬迁完成之后,源仓库数据应保留24小时,用于搬迁异常情况下的数据恢复,但是运维人员为了尽快降低仓库使用率,违规对源仓库进行了数据回收。

因这些错误操作的连续影响,导致该客户数据完整性受损,给客户的正常业务运行造成影响,腾讯云对此再次表示最诚恳的歉意。

改进措施

经过技术复盘,腾讯云技术团队深入到每个环节,通过责任到人与流程闭环的双管齐下,相应作出如下的加强和改进措施:

首先,我们将全面审视所有的数据流程,涉及数据安全的流程自动化闭环,进一步提升我们常规运维自动化和流程化,降低人工干预。同时把全流程的数据安全校验作为系统的常开功能,不允许被关闭。

其次,针对物理硬盘静默数据错误,在当前用户访问路径数据校验自愈的基础上,我们优化现有巡检机制,通过优先巡检主副本数据块、跳过近期用户访问过的正确数据块等方法,加速发现该类错误,进行数据修复。

进一步建议

腾讯云自2016年3月以来一直在提供免费的快照功能,可以对重要数据进行定期备份。同时出于对客户数据隐私性和安全性的考虑,客户可以自由选择开启或者不开启这一免费功能。腾讯云在这里也呼吁客户开启这一功能,进一步提升自身数据的安全性。

未来,本着对客户数据最大的敬畏,腾讯云将继续探索更科学的机制,避免类似事件再次发生。

未经正式授权严禁转载本文,侵权必究。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

腾讯云复盘用户数据丢失故障:存在人为不规范操作,将积极改进

云服务并非100%万无一失。

8月7日晚,针对“前沿数控”数据完整性受损一事,腾讯云方面发出了文章,对事故本身从技术的角度进行了复盘,还原了数据未丢失始末。

文章中表示,该故障缘起于因磁盘静默错误导致的单副本数据错误,再加上数据迁移过程中的两次不规范的操作,导致云盘的三副本安全机制失效,并最终导致客户数据完整性受损。

对此,腾讯云强调,其自2016年3月以来一直在提供免费的快照功能,可以对重要数据进行定期备份。同时出于对客户数据隐私性和安全性的考虑,客户可以自由选择开启或者不开启这一免费功能。腾讯云呼吁客户开启这一功能,进一步提升自身数据的安全性。

界面新闻在昨日的报道中提到,7月20日20点左右,前沿数控方面发现,部署在腾讯云上的公司网站、小程序、H5突然打不开;到7月22日,腾讯云方面向前沿数控确认,丢失的数据已经找不回来。

为此,前沿数控方面对腾讯云提出了高达11016000元的索赔要求,并在后续沟通中提出希望以获得腾讯投资、腾讯官方引流等方式得到补偿。

腾讯方面给出的补偿措施是,补偿责任总额不超过腾讯云公司就违约服务收取的服务费用总额,另外提供13.29万元现金作为额外补偿。

类似的不规范操作导致的云端数据损坏事件,此前也曾发生在其他云服务提供商身上。今年6月27日,有用户反馈称,阿里云出现故障,MQ、NAS、OSS等产品的部分功能出现访问异常。

阿里云在6月28日凌晨给出了故障复盘,原因是6月27日下午,工程师团队在上线一个自动化运维新功能中,执行了一项变更验证操作。这一功能在测试环境验证中并未发生问题,上线到自动化运维系统后,触发了一个未知代码bug。错误代码禁用了部分内部IP,导致部分产品访问链路不通。后续人工介入后,工程师团队快速定位问题进行了恢复。

这一系列事件的发生,实际上意味着用户在关注服务提供商技术质量的同时,也需要提高自身的防患意识。一名大型云计算厂商的技术专家表示,云厂商提供给用户的,并不是一个一定不会出问题的服务;而是可以低成本、快速地搭建一个服务冗余、一定容灾的架构的能力。

“用户并不能认为云厂商会提供100%的可用性,也需要对服务做好充分的自我防护。”这名人士说道。

以下是腾讯云故障复盘的部分内容:

故障过程复盘

当天上午11:57,我们的运维人员收到仓库Ⅰ空间使用率过高告警,准备发起搬迁扩容;在14:05时,运维人员从仓库Ⅰ选择了一批云盘搬迁至新仓库Ⅱ,为了加速搬迁,手动关闭了迁移过程中的数据校验;在20:27 搬迁完成之后,运维人员将客户的云盘访问切至仓库Ⅱ,同时为了释放空间,对仓库Ⅰ中的源数据发起了回收操作;到20:30 监控发现仓库Ⅱ部分云盘出现IO异常。

故障原因复盘

本次事故起源自因磁盘静默错误导致的单副本数据错误,再由于数据迁移过程中的不规范操作,导致异常数据扩散至三副本,进而导致客户数据完整性受损。

数据搬迁过程中的违规操作主要如下两点:

第一是正常数据搬迁流程默认开启数据校验,开启之后可以有效发现并规避源端数据异常,保障搬迁数据正确性,但是运维人员为了加速完成搬迁任务,违规关闭了数据校验;

第二是正常数据搬迁完成之后,源仓库数据应保留24小时,用于搬迁异常情况下的数据恢复,但是运维人员为了尽快降低仓库使用率,违规对源仓库进行了数据回收。

因这些错误操作的连续影响,导致该客户数据完整性受损,给客户的正常业务运行造成影响,腾讯云对此再次表示最诚恳的歉意。

改进措施

经过技术复盘,腾讯云技术团队深入到每个环节,通过责任到人与流程闭环的双管齐下,相应作出如下的加强和改进措施:

首先,我们将全面审视所有的数据流程,涉及数据安全的流程自动化闭环,进一步提升我们常规运维自动化和流程化,降低人工干预。同时把全流程的数据安全校验作为系统的常开功能,不允许被关闭。

其次,针对物理硬盘静默数据错误,在当前用户访问路径数据校验自愈的基础上,我们优化现有巡检机制,通过优先巡检主副本数据块、跳过近期用户访问过的正确数据块等方法,加速发现该类错误,进行数据修复。

进一步建议

腾讯云自2016年3月以来一直在提供免费的快照功能,可以对重要数据进行定期备份。同时出于对客户数据隐私性和安全性的考虑,客户可以自由选择开启或者不开启这一免费功能。腾讯云在这里也呼吁客户开启这一功能,进一步提升自身数据的安全性。

未来,本着对客户数据最大的敬畏,腾讯云将继续探索更科学的机制,避免类似事件再次发生。

未经正式授权严禁转载本文,侵权必究。