Intel三条线优化阿里云通义千问2模型：720亿参数轻松拿捏
快科技6月7日消息，Intel官方宣布，旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2（Qwen2）的全球发布提供支持，已取得ModelScope、阿里云PAI、OpenVINO等诸多创新成果。
为了最大限度地提升诸通义千问2等大模型的效率，Intel进行了全面的软件优化，包括高性能融合算子、平衡精度和速度的先进量化技术等。
Intel还采用KV Caching、PagedAttention机制和张量并行，提高推理效率。
Intel的硬件也可利用软件框架和工具包进行加速，并获得出色的大模型推理性能，包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging Face库、vLLM。
首先看Intel Gaudi AI加速器，专为生成式AI、大模型的高性能加速而设计，最新版的Gaudi Optimum可以轻松部署新号的大模型。
Intel使用Gaudi 2，对70亿参数、720亿参数的通义千问2模型的推理和微调吞吐量进行了基准测试，以下为详细性能指标和测试结果：
70亿参数通义千问2在单颗Gaudi 2加速器上的推理
720亿参数通义千问2在八颗Gaudi 2加速器上的推理
通义千问2 FP8在Gaudi 2加速器上的推理
通义千问2在Gaudi 2加速器上的微调
再看Intel至强处理器，作为通用平台具有广泛的可用性，适用于各个规模的数据中心，对于希望快速部署AI解决方案、没有专项基础设施企业非常理想。
至强处理器的每个核心都内置了Intel AMX高级矩阵扩展，可以处理多样化的AI工作负载，并加速AI推理。
以上是在五代可扩展至强上运行阿里云ecs.ebmg8i.48xlarge实例，通义千问2的下一个推理token延迟情况。
最后是消费级的AI PC，可以在本地部署大模型，既然可以使用处理器内置GPU核显、NPU AI引擎，也可以搭配独立的锐炫显卡。
以下展示了AI PC运行15亿参数的通义千问2：
酷睿Ultra 7 165H上的通义千问2推理
酷睿 Ultra 7 165H上的通义千问2下一个token延迟
锐炫A770 16GB显卡上的通义千问2下一个token延迟
来源：快科技
原文标题 : Intel三条线优化阿里云通义千问2模型：720亿参数轻松拿捏
分享
最新活动更多
-
11月22日立即报名>> 【线下论坛】华邦电子与莱迪思联合技术论坛
-
12月19日立即报名>> 【线下会议】OFweek 2024（第九届）物联网产业大会
-
7.30-8.1马上报名>>> 【展会】全数会 2025先进激光及工业光电展
-
精彩回顾立即查看>> 【线下论坛】华邦电子与恩智浦联合技术论坛
-
精彩回顾立即查看>> 【线下巡回】2024 STM32 全球巡回研讨会
-
精彩回顾立即查看>> 2024先进激光技术博览展
-
10 携程集团，彻底爆了！
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论