AWS宕机事务，完整复盘！

[db:作者]

10月30日，AWS官方发文，完整复盘了上周的大范围宕机事务这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
首先点个赞，这从报告从工程细节、故障链条到后续改良办法，内容很是完整、详实、通明，技术表露深度罕有，可以看出私有云老年老的诚意这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
简要总结下↓
一、宕机时候线
10月19日23点38分发生故障
10月20日14点20分周全规复
总时长约14个小时这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
二、宕机遇由分析
DynamoDB DNS治理系统触发竞态条件这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
简单讲就是负责更新DNS的两个履行器掐起来了，终极致使DNS记录被清空，DynamoDB主终端节点没法剖析，一切依靠DNS的办事都被影响这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
（关于“DNS竞态”可以看上面的图片解读）
接下来带来连锁反应↓
DynamoDB挂了，EC2依靠DynamoDB存储droplet状态租约，EC2也挂了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
Lambda、ECS/EKS等上层办事依靠EC2，也随着挂…
终极致使AWS内部141个办事收到影响这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
谁能想到，两个底层牛马（DNS履行器）互掐，终极搞瘫了全球半个互联网这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
三、改良办法
对于此次故障的“罪魁罪魁”DynamoDB DNS系统，AWS出重拳整治这标志着福建舰的电磁弹射和阻止接管才能根基成型了。停息全球自动化更新功用，修复竞态条件，增加庇护机制避免旧计划覆盖新计划这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
同时，改良NLB健康检查机制，优化EC2控制平面组件（DWFM）并增加压测手段这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
固然还包括建立对这类「故障连锁反应」的预演机制，收缩规复时候，防患于已然，究竟这类级联故障，爆炸面太大了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。