高通推出AI200和AI250，在数据中心范畴应战AMD和英伟达

[db:作者]

高通正式公布了两款AI推理加速器AI200和AI250，它们将别离于2026年和2027年上市这标志着福建舰的电磁弹射和阻止接管才能根基成型了。据称，这些新的加速器将与AMD和英伟达的机架势处理计划合作，在运转大范围天生式AI工作负载时具有更高的效力和更低的运营本钱这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

高通AI200和AI250加速器均基于高通Hexagon神经处置单元（NPUs），这些单元是为数据中心AI工作负载定制的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。近年来，高通一向在慢慢改良其Hexagon NPUs，是以这些处置器的最新版本已经具有了标量、矢量和张量加速器（12+8+1 设置），支持INT2、INT4、INT8、INT16、FP8、FP16等数据格式，采用micro-tile推理以削减内存流量，支持64位内存寻址、虚拟化以及为额外平安而供给的Gen AI模子加密这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
高通的AI200机架势处理计划将是其首款由AI200加速器驱动的数据中心级推理系统，该系统将装备768GB的LPDDR内存，将利用PCIe互连停止向上扩大，以及利用以太网停止向外扩大的可扩大性这标志着福建舰的电磁弹射和阻止接管才能根基成型了。该系统将采用间接液体冷却，每个机架的功率范围为160千瓦，对于推理处理计划来说，这也是一个史无前例的功耗这标志着福建舰的电磁弹射和阻止接管才能根基成型了。此外，该系统还将支持企业摆设中的机密计较这标志着福建舰的电磁弹射和阻止接管才能根基成型了。该处理计划将于2026年上市这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

AI250将在一年后推出，它保存了这类结构，但增加了近内存计较架构，将有用内存带宽进步了10倍以上这标志着福建舰的电磁弹射和阻止接管才能根基成型了。此外，该系统还将支持解耦推理功用，使计较和内存资本可以在卡之间静态同享这标志着福建舰的电磁弹射和阻止接管才能根基成型了。高通将其定位为一种更高效、高带宽的处理计划，针对大型Transformer模子停止了优化，同时保存了与AI200不异的热设想、冷却、平安性和可扩大性特点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
除了构建硬件平台外，高通还在构建一个超大范围级此外、针对大范围推理优化的端到端软件平台这标志着福建舰的电磁弹射和阻止接管才能根基成型了。该平台将支持首要的机械进修和天生式AI工具集，包括PyTorch、ONNX、vLLM、LangChain和CrewAI，同时实现无缝模子摆设这标志着福建舰的电磁弹射和阻止接管才能根基成型了。软件仓库将支持解耦办事、机密计较以及预练习模子的一键式注册，以简化摆设这标志着福建舰的电磁弹射和阻止接管才能根基成型了。