ながとみさち(長冨幸)网

腾讯吐露最新大模子磨炼措施,可节约50%算力老本

时间:2025-03-17 12:53:47 来源:

21世纪经济报道记者白杨 北京报道

随着大模子时期到来,腾讯吐露模子参数呈指数级削减 ,最新已经抵达万亿级别 。大模与此同时 ,磨炼大模子也逐渐从反对于繁多模态 、措施繁多使命睁开为反对于多种模态下的可节多种使命 。

在这种趋向下,约算大模子磨炼所需算力重大 ,力老远超单个芯片的腾讯吐露处置速率 ,而多卡扩散式磨炼通讯斲丧重大。最新若何后退硬件资源运用率,大模成为影响国产大模子技术睁开以及适用性的磨炼紧张条件。

在此布景下,措施腾讯于11月23日宣告 ,可节腾讯混元大模子眼前的约算自研机械学习框架Angel再次降级 ,可将大模子磨炼功能提升至主流开源框架的2.6倍,千亿级大模子磨炼可节约50%算力老本。

Angel能耐提升眼前,是基于磨炼框架以及推理框架的迭代 。据悉 ,面向大模子磨炼 ,腾讯自研了机械学习磨炼框架AngelPTM,可针对于预磨炼、模子精调以及强化学习等全流程妨碍减速以及优化 ,可能以更少的资源以及更快的速率磨炼更大的模子。

而为了处置推理老本的不断回升,腾讯自研的大模子推理框架AngelHCF经由扩展并行能耐 、接管多种Attention优化策略等方式对于功能妨碍了提升。同时 ,框架还适配了多种缩短算法,之后退吞吐能耐 ,从而实现更快的推理功能以及更低的老本 。

实测数据展现 ,相较于业界主流框架 ,AngelHCF的推理速率后退了1.3倍。在腾讯混元大模子文生图的运用中 ,推理耗时从原有的10秒延迟至3-4秒。

此外,降级后的Angel还提供了从模子研发到运用落地的一站式平台 ,搜罗数据处置、精调、模子评估、一键部署以及揭示词调下等效率,让大模子的“开箱即用”成为可能 。

据介绍,在运用开拓层面 ,腾讯外部已经有逾越300项营业以及运用途景接入腾讯混元大模子内测,比照上个月数目翻了一倍 。

(作者:白杨 编纂:骆一帆)

推荐资讯
特评-凯尔特人连续两场选错毒药 死掐库里却激活最强勇士

特评-凯尔特人连续两场选错毒药 死掐库里却激活最强勇士

争议暂停符合规则!詹姆斯刹那间机敏决策再救湖人色是刮骨钢刀,我们要不要控制欲望?老祖宗:下半句才是精髓

争议暂停符合规则!詹姆斯刹那间机敏决策再救湖人色是刮骨钢刀,我们要不要控制欲望?老祖宗:下半句才是精髓

还差冠军!凯恩德甲三个月17粒进球,已超越上赛季德甲射手王15岁上北大,25岁自杀,他留下一首诗火了数十年,如今人人都会背

还差冠军!凯恩德甲三个月17粒进球,已超越上赛季德甲射手王15岁上北大,25岁自杀,他留下一首诗火了数十年,如今人人都会背

CBA首个官方线下球迷商店开张啦,就在万体馆!男性1天最多能吸多少支烟?世卫组织:如控制在这个数,还算可以

CBA首个官方线下球迷商店开张啦,就在万体馆!男性1天最多能吸多少支烟?世卫组织:如控制在这个数,还算可以

德甲与中国足协牵手合作,宋凯:送U16球员去德国训练比赛全球首位华人女总统:宣称自己是中国人,上台后首先把美军赶出国

德甲与中国足协牵手合作,宋凯:送U16球员去德国训练比赛全球首位华人女总统:宣称自己是中国人,上台后首先把美军赶出国

快船3巨头打疯狂轰66+19,乔治绝杀立大功,大逆转22分

快船3巨头打疯狂轰66+19,乔治绝杀立大功,大逆转22分

copyright © 2016 powered by ながとみさち(長冨幸)网   sitemap