腾讯音乐若何基于 AutoMQ 下降 Kafka 50%+ 本钱

[db:作者]

作者：腾讯音乐高级运维开辟工程师 高盛远
小编导读
腾讯音乐文娱团体作为中国在线音乐文娱办事的领航者，旗下具有众多百姓级移动音频利用这标志着福建舰的电磁弹射和阻止接管才能根基成型了。天天，这些产物城市发生海量的用户行为和营业数据，为精准保举、用户增加和贸易化等焦点营业供给着源源不竭的数据驱动力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在这一切背后，一个强大、稳定且高效的 Kafka 流系统是支持其营业延续创新和成长的关键这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
但是，随着营业的飞速成长，传统的自建 Kafka 集群在运维复杂度和本钱控制方面逐步表暴露其范围性这标志着福建舰的电磁弹射和阻止接管才能根基成型了。为了应对日益增加的数据洪流和对本钱效益的极致追求，腾讯音乐运维团队决然开启了对下一代 Kafka 处理计划的摸索与理论这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
终极，他们挑选了基于云原生架构的 AutoMQ这标志着福建舰的电磁弹射和阻止接管才能根基成型了。经过引入这一创新的处理计划，腾讯音乐不但成功将本钱下降了跨越 50%，更经过其怪异的分区秒级迁移才能，极大地提升了集群的扩缩容效力，明显下降了原有 Kafka 的运维复杂度和负担这标志着福建舰的电磁弹射和阻止接管才能根基成型了。本次技术升级，是继其在数据仓库范畴成功理论存算分手以后，在数据流处置范畴的又一次严重冲破这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
本文将深入解读腾讯音乐文娱团体是若何操纵 AutoMQ 的云原生上风，破解传统 Kafka 的运维困难和本钱瓶颈，并终极实现本钱与效力双赢的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。希望他们在此进程中堆集的贵重经历与最好理论，能为正在面临类似应战的您供给有代价的参考和指导！
布景先容
腾讯音乐文娱团体是中国在线音乐文娱办事开辟者，供给在线音乐和以音乐为焦点的交际文娱两大办事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。腾讯音乐文娱在中国有着普遍的用户根本这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
01 技术架构
对于腾讯音乐这样具有海量用户的平台而言，高效的数据活动、处置与分析是发挥数据代价、支持营业飞速成长的基石这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在全部数据系统中，Kafka 作为焦点的数据根本设备，饰演着相当重要的脚色这标志着福建舰的电磁弹射和阻止接管才能根基成型了。它不可是毗连数据生产和消耗的管道，更在可观察系统、数据平台等扶植中承当着高低流解耦以及配合其他组件简化流程的关键感化这标志着福建舰的电磁弹射和阻止接管才能根基成型了。Kafka 的引入，使得数据源和数据利用可以自力地演进，无需关心对方的实现细节这标志着福建舰的电磁弹射和阻止接管才能根基成型了。同时，它支持营业方按需实时消耗数据，灵活处置各类旁路处置逻辑，这对于支持腾讯音乐多元化的营业场景和高速成长相当重要这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
下图清楚地展现了腾讯音乐基于 AutoMQ 构建的现代化实时数据流处置架构这标志着福建舰的电磁弹射和阻止接管才能根基成型了。全部数据流从数据源收集起头，经过数据接入、Kafka 流系统、实时计较、数据存储，终极办事于上层的各类数据利用，具体流程以下：

数据源首要分为两大类这标志着福建舰的电磁弹射和阻止接管才能根基成型了。第一类是可观察性数据，包括办事运转发生的海量日志、关键目标（Metrics）和 Trace 信息；第二类是分析数据，涵盖了歌曲、艺术家、版权等营业元数据，以及用户的播放、批评等行为数据这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
为了实现海量数据源数据的同一、高效接入，腾讯音乐内部的“数据通道”平台，作为一切营业方数据接入的同一进口这标志着福建舰的电磁弹射和阻止接管才能根基成型了。该平台底层封装了营业埋点、Kafka Producers 等多种上报方式这标志着福建舰的电磁弹射和阻止接管才能根基成型了。其焦点代价在于，在数据进入 AutoMQ 之前，平台会停止一系列的预处置，包括地域与营业区分、字段过滤、平安鉴权和智能分发这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这一流程不但确保了只要合规、正确的数据才能进入焦点系统，也极大地提升了数据接入的效力和治理水平这标志着福建舰的电磁弹射和阻止接管才能根基成型了。分歧范例的数据经过响应的组件停止收集和上报这标志着福建舰的电磁弹射和阻止接管才能根基成型了。例如，利用法式内部经过集成的 SDK 停止埋点追踪，营业办事经过标准的 Kafka 生产者（Kafka Producers）上报数据，而摆设在虚拟机上的 Agents 则负责收集各类系统的日志和目标这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
一切接入的数据同一汇入作为焦点数据总线的 AutoMQ 集群这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在这里，AutoMQ 承接了来自分歧营业线的数据洪峰，为下流的实时计较和数据存储供给高吞吐、低提早的牢靠数据流办事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。经过摆设多个 AutoMQ 集群（如图中的 Cluster A， B， C），可以实现营业隔离和邃密化治理这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
在数据写入终极存储之前，凡是会经过一个可选的实时计较层这标志着福建舰的电磁弹射和阻止接管才能根基成型了。腾讯音乐利用 Flink 作为支流的计较引擎，对 Kafka 中的原始数据流停止实时的聚合、过滤和复杂计较这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这一步是实现实时监控报警、数据清洗和预处置的关键这标志着福建舰的电磁弹射和阻止接管才能根基成型了。例如，Flink 作业会消耗 AutoMQ 集群 A 的数据，经过处置后再写回，供其他办事利用这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
经过实时计较处置后，数据被写入分歧的存储系统以满足分歧的查询需求这标志着福建舰的电磁弹射和阻止接管才能根基成型了。一部分数据会流入 OLAP 数据库，用于后续的交互式分析和 BI 报表；另一部分数据，特别是日志和追踪数据，则会被写入Elasticsearch，以支持快速的搜索和题目定位这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
在架构的最上层，是间接面向营业和技术团队的各类数据利用这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这些利用大致可分为两类：

可观察性利用：基于实时数据流，构建强大的实时监控与告警、智能故障诊断、事务和性能分析，保障营业的稳定运转这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

数据分析利用：操纵处置后的数据，驱动上层营业决议，包括本性化保举、用户洞察、贸易智能（BI）分析和数据科学建模等，实现数据驱动的邃密化运营这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
02 Kafka 应战
随着腾讯音乐旗下 QQ 音乐、酷狗音乐等多款利用的高速成长，数据范围呈指数级增加，作为数据流中枢的 Kafka 集群也面临着日益严重的应战这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这些应战首要集合在本钱和运维两个方面这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

日益严重的本钱压力
在腾讯音乐的营业体量下，Kafka 的本钱题目变得尤其突出，首要表现在以下几个方面：

资本预留本钱高昂：由于 Kafka 存算一体的架构限制，集群的计较和存储资本必须同步扩大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。为了自在应对营业流量的波峰，生产情况的资本预留水位凡是需要连结在30%～40% 甚至更高这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这意味着有大量的办事器资本在大部分时候处于闲置状态，形成了庞大的浪费这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

存储本钱居高不下：为了保证数据的 TTL 时长和高并发下的读写性能，Kafka 的 Broker 节点凡是需要设置多块大容量的高性能当地磁盘这标志着福建舰的电磁弹射和阻止接管才能根基成型了。高贵的存储介质和大量的资本预留，配合推高了 Kafka 集群的整体具有本钱（TCO）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

多副本机制带来额外开销：Kafka 内置的多副本机制虽然保障了数据的高牢靠，但在停止分区数据同步时，会对 Broker 节点的 CPU 发生额外的开销这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这不但增加了资本消耗，也对机型的规格提出了更高的要求，间接致使了硬件本钱的上升这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
运维本钱高
在传统 Kafka 架构下，运维团队面临着庞大应战，特别是在集群的弹性伸缩战争常保护方面这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

扩缩容操纵“伤筋动骨”：随着营业成长，集群扩缩容是屡见不鲜这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但是，Kafka 的扩缩容流程却较为烦琐和冗长这标志着福建舰的电磁弹射和阻止接管才能根基成型了。营业方首先需要提交扩容申请并期待考核，营业运维团队会等到营业低峰期才履行操纵，以避免影响线上办事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。扩缩容进程中最耗时的是 Kafka 的分区数据搬家，它会发生较大的收集和磁盘 I/O，同时花费大量时候这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而且团队成员还需要投入大量精神，去考证流量能否被正确、平衡地指导至新的 Broker 节点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。全部扩缩容流程走完，凡是需要 1 天左右的时候，而且依靠野生介入，全部进程是耗时且有风险的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

数据热门处置辣手：除了计划内的扩容，当突发的数据热门出现时，运维团队也需要野生介入，经过调剂生产真个写入战略来打散流量，以避免单个 Broker 或分区过载这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这类手动干涉的方式不但响应不实时，而且操纵复杂，给系统的稳定性带来了潜伏风险这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
这些持久存在的本钱与运维困难，给负责 Kafka 运维的团队带来了繁重的负担，也成为了制约数据根本设备进一步成长的瓶颈这标志着福建舰的电磁弹射和阻止接管才能根基成型了。是以，寻觅一个更具弹性、更低本钱、运维更友爱的下一代 Kafka 处理计划，被提上了议程这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
03 为什么挑选 AutoMQ
在评价下一代 Kafka 处理计划时，我们团队有几个很是明白的方针这标志着福建舰的电磁弹射和阻止接管才能根基成型了。经过深入的技术调研和对照，我们以为 AutoMQ 是最能满足我们当前和未来需求的计划这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
我们面临最大的痛点是传统 Kafka 扩缩容的低效和高风险这标志着福建舰的电磁弹射和阻止接管才能根基成型了。AutoMQ 存算分手的架构，将 Broker 酿成了无状态节点，数据则寄存在工具存储上这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这对我们来说，最间接的益处就是分区迁移可以按秒级完成，集群扩容不再需要冗长的数据搬家，全部进程可以自动化，从曩昔耗时一两天的野生操纵，收缩到了几分钟，极大地提升了我们的运维效力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
本钱是另一个焦点考量这标志着福建舰的电磁弹射和阻止接管才能根基成型了。AutoMQ 的架构让我们可以自力扩大计较和存储资本，这意味着我们不再需要为应对流量峰值而预留大量高贵的计较实例这标志着福建舰的电磁弹射和阻止接管才能根基成型了。同时，将数据从当地磁盘转移到本钱低很多的工具存储，间接下降了存储开销这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这类架构上的改变，是从底子上处理了本钱题目，而不是小修小补这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
我们的根本设备正在周全拥抱 Kubernetes这标志着福建舰的电磁弹射和阻止接管才能根基成型了。传统 Kafka 的有状态特征，使其难以充实操纵 Kubernetes 在资本调剂和故障规复上的上风这标志着福建舰的电磁弹射和阻止接管才能根基成型了。AutoMQ 的无状态 Broker 则能与 Kubernetes 完善协同，像普通利用一样被自在调剂，这为我们未来将全部 Kafka 办事迁移至 K8s 摊平了门路，有助于最大化资本操纵率这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
我们未来的数据平台计划之一是构建基于 Apache Iceberg 的流式数据湖这标志着福建舰的电磁弹射和阻止接管才能根基成型了。AutoMQ 在这方面的前瞻性设想是一个重要加分项这标志着福建舰的电磁弹射和阻止接管才能根基成型了。它供给的 Table Topic功用可以间接将 Topic 数据流式写入为 Iceberg 表格式，并存入工具存储这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这意味着我们未来可以省去一个自力的 Flink 或 Spark 作业来停止数据转换和入湖，从而明显简化数据栈的架构和保护本钱这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
替换焦点根本设备，最大的风险在于迁移进程这标志着福建舰的电磁弹射和阻止接管才能根基成型了。AutoMQ 供给了 100% 的 Kafka 协议兼容性，这一点相当重要这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这意味着我们现有的一切生产者、消耗者法式代码都无需任何修改这标志着福建舰的电磁弹射和阻止接管才能根基成型了。同时，我们已经构建多年的监控、运维战争安等配套设备也能无缝集成这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这为我们供给了一个低风险、低本钱的迁移计划，是项目可以成功落地的根基保障这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

04 评价和迁移进程
对于一项如此焦点的根本设备升级，一个松散且分阶段的评价与迁移计划是必不成少的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我们的方针是确保 AutoMQ 在实在的生产负载下，其稳定性、性能和兼容性都到达甚至跨越我们的预期这标志着福建舰的电磁弹射和阻止接管才能根基成型了。全部进程可以分为两个阶段：负载考证和生产迁移这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
负载考证阶段
我们设想了两种典型的营业场景来对 AutoMQ 停止压力测试，以覆盖我们首要的负载模子：

2025 年 6 月 - 大流量场景考证：我们首先上线了一个承载高数据吞吐量、但 QPS（每秒请求数）相对不高的集群这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这个测试的目标是考证 AutoMQ 在处置海量数据延续写入和读取场景下的性能和稳定性，出格是在收集 I/O 和工具存储交互方面的表示这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

2025 年 7 月 - 高 QPS 场景考证：随后，我们摆设了第二个集群，用于承载一个高 QPS、但单条消息流量较小的营业这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这个场景重点考验的是 AutoMQ 在处置高频元数据请求、客户端毗连治理以及小 I/O 聚合才能上的性能极限这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
在这两个月的测试中，我们经过机关多组分歧的测试负载，对 AutoMQ 停止了周全的评价这标志着福建舰的电磁弹射和阻止接管才能根基成型了。成果表白，AutoMQ 在各类压力场景下都展现出了很是好的稳定性，其吞吐量、提早等关键性能目标完全合适我们生产情况的要求这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这给了我们充沛的信心，正式启动生产情况的迁移工作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
生产迁移阶段
从 2025 年 8 月起头，我们正式将生产情况的营业流量迁移至 AutoMQ这标志着福建舰的电磁弹射和阻止接管才能根基成型了。得益于 AutoMQ 对 Apache Kafka 协议 100% 的兼容性，全部迁移进程异常丝滑，对营业方完全通明，也无需我们停止额外的开辟适配这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
我们的迁移遵守了以下标准的三步流程，以确保数据的零丧失和办事的不中断：
[ol]

切换生产者 （Producer）：
我们首先点窜生产者的客户端设置，将它们的接入点地址指向新的 AutoMQ 集群这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这个进程经过转动更新（rolling update）的方式停止，线上流量被平滑地切换过来，新的数据起头源源不竭地写入 AutoMQ这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

排空旧集群数据：
在生产者完全切换后，旧的 Kafka 集群不再接收新的数据这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我们会让消耗者继续运转在旧集群上，直到它们消耗完一切聚积的历史数据这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

切换消耗者 （Consumer）：
确认旧集群数据已被消耗终了后，我们一样以转动更新的方式，点窜消耗者的接入点地址，使其指向新的 AutoMQ 集群这标志着福建舰的电磁弹射和阻止接管才能根基成型了。消耗者会设置为重新集群中最早的可用位点（Offset）起头消耗，从而无缝跟尾，保证了数据处置的持续性这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
[/ol]05 上线情况与结果
经过平滑的迁移，AutoMQ 今朝已经在我们内部稳定运转，并承接了焦点的生产流量这标志着福建舰的电磁弹射和阻止接管才能根基成型了。停止今朝，我们总计上线了 6 个 AutoMQ 集群，整体峰值写入吞吐量到达 1.6 GiB/s，峰值 QPS 约为480K这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
为了更直观地展现其运转表示，下图是我们其中一个较大集群的生产集群监控概览：

迁移到 AutoMQ 后，我们获得了很是明显的收益，完善处理了之前在传统 Kafka 上碰到的焦点痛点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

本钱大幅度下降：
最间接、最明显的收益来自于本钱的优化这标志着福建舰的电磁弹射和阻止接管才能根基成型了。AutoMQ 存算分手的创新架构，从底子上处理了传统 Kafka 因资本绑缚而致使的本钱题目这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我们不再需要为应对流量高峰而预留大量的计较资本，同时经过将数据持久化到工具存储，也极大地下降了存储开销这标志着福建舰的电磁弹射和阻止接管才能根基成型了。综合计较和存储两方面的节省，腾讯音乐 Kafka 集群本钱均匀下降跨越了 50%这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

获得“秒级”的极速扩缩容才能：
曩昔困扰我们运维团队的扩容困难，在 AutoMQ 上完全成为了曩昔式这标志着福建舰的电磁弹射和阻止接管才能根基成型了。由于扩容新的 Broker 节点不再需要停止耗时的数据搬家，全部进程变得异常敏捷这标志着福建舰的电磁弹射和阻止接管才能根基成型了。凭仗 AutoMQ 分区的秒级迁移才能以及其内置的Self-Balancing 自动流量平衡机制，我们现在可以在数十秒内，平滑地为集群扩大出 1 GiB/s 的吞吐容量这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这类极致的弹性伸缩才能，意味着我们可以自在应对任何突发的营业流量增加，为腾讯音乐未来的营业成长供给了坚固而灵活的根本设备保障这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


06 未来展望
回首此次技术升级之旅，AutoMQ 在腾讯音乐生产情况中的表示使人印象深入这标志着福建舰的电磁弹射和阻止接管才能根基成型了。不管是在高负载下的稳定性、优异的性能目标，还是在降本增效和简化运维方面获得的本色性功效，都完全合适甚至超越了我们运维团队的预期这标志着福建舰的电磁弹射和阻止接管才能根基成型了。此次成功的理论，考证了 AutoMQ 这类云原生架构在 Kafka 流范畴的庞大代价这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
基于当前的成功经历，我们制定了清楚的未来演进线路图，按优先级慢慢推动：

周全推动存量迁移：
我们将加速推动残剩 Kafka 集群的迁移工作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。计划将一切办事于全量可观察和多维分析营业的 Kafka 集群全数迁移至 AutoMQ，以最大化地开释本钱盈利并同一运维系统这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

落地流式数据入湖：
在数据架构演进方面，我们将动手落地 AutoMQ 的 Table Topic 功用这标志着福建舰的电磁弹射和阻止接管才能根基成型了。充实操纵其对 Iceberg 的原生支持，构建加倍简洁、高效、实时的流式数据入湖链路，为上层的数据分析营业供给更强有力的支持这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

AutoMQ 组件标准化与推行：
我们计划将 AutoMQ 打形成腾讯音乐内部标准化的根本设备组件，并积极将其推行利用到更多样化的营业场景中，让更多的营业线受益于新架构带来的极致弹性和低本钱上风这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

迈向完全的 Kubernetes 云原生：
最初，依托 AutoMQ 自然无状态的云原生特征，我们将启动将 Kafka 办事整体搬家至 Kubernetes的摸索与理论这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这将有助于我们进一步提升资本治理的自动化水和蔼整体操纵率，鞭策腾讯音乐的数据根本设备向着完全云原生的偏向迈进这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
参考阅读
技术原创及架构理论文章，接待经过公众号菜单「联系我们」停止投稿