有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
某处紧密连接在一起
好看的肉质高的pop短文校园甜
my19777换哪了
甜蜜惩罚未增删带翻译整集带翻译
美国电影无法满足1980
一码二码三码区别日本
麻花传媒XK8046在线观看
12岁打扑克一边疼一边叫
趁夫不在给给公侵犯了
水蜜桃视频下载方法
最近最新的字幕MV
最近的2019中文字幕国语5
男生把坤坤放女生定眼里
在床上拔萝卜又疼又叫痛
拉婆婆下水和大黑狗
越南女子杂交内射BBWBBW
儿子你比你爸的都大
JLZZJLZZ日本人护士水好多
亚洲一线产区和二线产区的
2D甄姬和两个小孩BBS
YSL千人千色AE86V10
妈妈的男朋友2线观 高清
APPSTORE美区免费
今夜就让我狠狠地想你歌曲
八年级隐私能塞几支笔
班长是我们班的存精器
最近更新2019中文字幕国语
男生把自己的QQ放入女生的QQ
梁薇陆沉鄞 楼梯
rryy4060
爸爸刚走爷爷就来了
腿再张大一点就可以吃扇贝了
99品一二三产区区别
40岁了总是一碰水很多
关上最后的门吧未增删带翻译樱花
嗯啊快停下我是你老师啊H
鬼灭之刃は鬼の妊娠を甘露寺
麻豆madou传媒
在公交车上破了两个六年级
缓慢而有力的一下又一下视频
潘甜甜果冻传媒 在线观看
怎么弄到自己喷泉
癫马女郎之一夜情
27报女上男下动态图GIF图
最新的ZOOM动物马
怎么玩哭自己的隐私位置
公交要了很多次
しぼっちうぞ我的电影网
WRITEAS塞红酒瓶
小兔兔经常被吸会有什么变化
小汽车被两大货车挤压致1死
妺妺第一次啪啪好紧WWW
太多了装不下H11
美美哒免费高清影院在线观看7
过来趴好自己选玩具震动
激烈摇床打扑克不盖被子
锕铜铜铜铜v27的独特功能介绍
小乌酱黑白双丝交足视频
两阳夹一阴涨停双响炮形态
两个蛇根吃不下呀
国产未成女YOUNV仙踪林
等不及了在车里就CH
王者荣耀女生去掉小内皮肤无烟雾
聂小雨黑皮衣5分多钟视频内容
动漫男生的坤坤放到女生的坤里
16MAY19_XXXXXL
女儿今夜以身相报父亲怎么办
学长你的好大不能坐着写作业
英语老师的小肚子好软水好多
ssni-409
台湾已逐步恢复供电
99精产国品一二三产区区别网站
GAY无套GAYGAY宾馆
psp变形金刚2
tube8怎么进不去了
把筷子放屁眼里不能掉作文
优质RB灌溉JY系统海棠初一
无人区码一码二码三码区
黑人猛挺进小莹的体内视频
好快啊哈哈哈哈
白俄罗斯RAPPER潮水
日本精品一线二线三线区别在哪
我和黑帮大佬的第365天女主
校园纯开小黄车小短文300字
叫大声点今晚家里没人冷教授
日本不卡三卡四卡
一一本之道高清手机在线观看
野花高清在线观看免费官网中文版
Zoom与人性Zoom1区别
校园车多肉多的1V2
走绳子打结PLAY
免费做运动视频扑克视频网站
原神雷神去掉小内图片
群飞杨幂刘亦菲唐嫣赵丽颖
百合做运动视频教程
喷泉h1v3H
路虎车内激战2小时
胡桃ちゃんが部下をさせて
等不及在车里就要了老狼信息
痞幼视频3分25是什么
俺去啦最新地址
抽搐一进一出gif无遮挡
畜禽CROPROATION
越看水流的越多的故事
一抽一出BGM毛
云缨巡街救公孙离网站入口漫画
在海棠看小说犯法吗
九一亚洲精品饰品有限公司
男朋友买玩具玩我
抬起阿离的腿就是C
在线观看黄页网站大全电影天堂
合欢椅PLAY春风凤鸾椅
人狗胶配方大全图片
三公主babygirl
你们对象都是怎么扣你的
他把跳D开关开到最大
女儿的朋友3完有限中字木瓜
月落归林 BY萝卜药
放课后の校庭を走る君がいた
妇与子乱小说目录伦
麻花传媒mv在线播放高清MBA
XL上司第二季樱花未增删翻译
歪歪漫画登录入口免费
宝宝下面湿透了还嘴硬疼的原因
一边喘气一边叫疼的视频
用玉器养大的公主
你的东西比老公大得多
在海棠看小说犯法吗
妈妈的朋友12完整视频有翻译
国产传媒果冻传媒天美
车文详细描写文字
老人船上弄雨婷第12章
云缨救公孙离网址
迈开腿让我尝尝你的草莓什么味道
777米奇影院影音先锋
幸福宝APP站长统计官方网站
国精产品水蜜桃
麻豆天美 果冻 星空国产
体育老师把我C了一节课作
精品成品国色天香卡一卡三卡
好涨水快流出来了图片
娇妻系列交换27部多P小
公交车最后一排被群C的视频
宝贝怎么还没适应我的尺寸
军舰上女兵免费高清原声满天星
英语课代表上面好软在线播放
我的小乖乖徐韵婷5
将电动牙刷放在小洞里
国产午睡客厅沙发30分钟
开襟JK做双人运动
品色堂 永久免费
我的兔子好软水好多双指探洞小说
家里没人跟奶奶做
女生越说疼男生越往里免费漫画
如何在家中自罚隐私
原神雷电将军被C出液体视频
玛雅maya 确认 已满l8岁
B级文件中文翻译完整版
今天接待了30厘米的客人
じゅぎょうさんかん安卓版下载
国精产品一区二区三区糖心
迈开腿尝尝你的草莓声音
吉泽明步种子下载
张柏芝下面毛又长又黑
嗯啊桌子下抽插NP
国模嫣然生殖欣赏私拍图
迈开腿让尝尝你的森林视频叫什么
草莓app下载安装无限看-丝瓜安卓免费
无人视频免费观看免费直播
5G天天奭多人 运动
宝宝好会夹啊拉丝了
太华伽罗乳液网站
埃及猫没有衣服跳舞视频
火影忍者禁图h大全
我们4个人换着玩春雨
叫大点声今晚家里没人
他的舌头探进蜜源毛毛虫说说视频
宏翔小蓝视频GY2022的特点
日本妈妈厨房与子交
16MAY19_XXXXXL
最短的JK裙子
野花韩国视频观看免费高清8
将军每走一步就撞一下
MAY18_XXXXXL56ENDI
妈妈的朋友8完整视频有翻译木瓜
《晚娘上部:恋欲》
诗锦在公共汽车全文阅读
半夜发现外公趴在妈妈身上
艳情短篇160章
嗯嗯宝宝叫点使劲难受吗 疼
打扑克剧烈运动全程不盖被子
不知深浅PO1V2车
A区B区C区D区E区仙踪林
可播放的中国男GARY
二十四种阴性外貌形状
30款黄台网站入口
涨精装满肚子上学公交车
我和黑帮老大的365天结局完中文整版
亲胸揉摸下面刺激视频
公交车上一个接一个c
仙女棒坐着使用的图片
美国XAXWASWASWAS
别人玩自己隐私位置玩到哭
我在游戏里被各种H
最好玩的B是哪一种
色达天藏砍尸过程
大号注射器放屁眼里灌注红酒
精产国品一二三区别
欧洲无人区卡一卡二卡
整集都做的美剧
麻花视频V322纯净版
12岁怎么把自己的坤坤挤出牛奶
纵容的母爱第1-17段概括
他缓慢而有力的撞着王爷
坐姿双马尾duangduangduang
亚洲一码二码区别在哪儿
儿子想要我就给他
我是狱长的专属的宠物13集
湖南高中秋千门事件
免费啪视频观试看视频软件
糖心国产传媒vlog
rookie女朋友小钰
c了一节课体育课渺渺
免费看不盖被子打扑克的软件
黑人双人RAPPER怪物
エロゲ母爱如山动漫
2021无线乱码免费
漂亮的桃子5意大利语翻译
苍老师最后一次
午夜伦yy44880影院
黄台软件2024
人类是怎样交匹配的
一手抚大 阿司匹林
两个人看的www免费高清直播
公交车后车座的疯狂的C
旅游时跟女儿有了关系
久久只有这精品99
国精产品一品二品国在线
斗罗大陆2神界大乱斗交大配
男生女生差差差很疼视频大全免费2023
二人扑克剧烈视频运动
花蝴蝶日本HD免费完整版高清版
张津瑜聊天记录截图
冰块温水跳跳糖果冻是什么意思
把八重神子焯出白水怎么办
WRITEAS道具
怎样用两根棉签玩哭自己
国产DB624色谱柱36521
无颜之月带翻译樱花中文翻译
漂亮的保姆中文版完整版免费
孩子玩着就C进去了怎么回事
stevehopper办公室
张芸熙麻豆MD0107
你男朋友是怎么上你的
四叔日常1V2
比比东吃唐三的棒
三年片大全在线观看免费观看大全
拔擦拔擦X8X8华人免费
儿媳妇夸我比她老公大怎么回复
漂亮的小峓子完整版在
秘密教学渗透测试秋蝉
xiaav因你而精彩
免费国无人区码卡二卡
美女和男生一起差差差图片
WRITE AS 尿口
开车视频疼痛有声音水水音频
漂亮的保姆韩国百度网盘资源
美国白人未成年rapper豆瓣
精产国内经彩一二三产品区别在哪
办公室跪下拉开拉链吃应用的优点
顶级大但人文艺术欣赏
边做边爱完整版3
siro-1063
浪翁荡熄的幸福生活
贪婪洞窟H5流派攻略
两根一起进去疼拔出来就不疼
三圾片2013目录
换个方式做吧未增删动画樱
上一个楼梯撞到最深处
日本一姐RAPPER潮水是啥
公嗲嗯啊轻点公大JI巴给你视频
英语老师你的奶好软
他走在街上用遥控器要我
坐在学长鸡上面写作业作文
写的超细的开车过程
翁熄小莹回乡下
缘之空全集高清在线观看樱花粉车
金瓶瓶之爱的性奴2
用红酒瓶塞堵住不能流下来皮
TMW07国产天美传媒
感受到我了吗大不大烫不烫
柳菁菁人体艺术摄影
脱色摇床实验室振荡器游戏
龙口护士门事件
后车座的剧烈运动
巨年少根与艳妇
麻麻侧睡让我滑进去
糖心VLOG肉丝库水柚子猫
XFB3.XYF幸福宝导航
久别的草原高清视频HD
别急 妈妈教你做
一面亲上边一面膜下边文字
95W乳液78WYW永久区域
不知火舞和三个小孩
性系MACBOOKPRO高清
行吧有你春暖花开cc
女人吃男人精子图片
亚洲MV砖码砖专一2020
弱点漫画21话一次够吗
坐下来自己慢慢摇的感受视频
写的超细的开车文推荐
最近新免费韩国直播视频
宝贝我的手指长不长
最近2018年手机中文字幕
国精产品W灬源码网站1688
免费无人区男男码卡二卡
青梅竹马是消防员第一季未增删
唐朝豪放女百度影音
小学六年级差差差很痛带声音
一卡二卡三卡四卡免费
adc影院欢迎你大驾光临
没带罩子让校霸C了一节
欧洲乱码卡一卡二
2021国产麻豆剧传媒最新章节
久久精品AV麻豆
他像疯了一样占有了她
前夫的东西真的很大
二人剧烈运动扑克视频
朋友韩国线观高清2
你能坚持几张图不死射
夭天曰天天躁天
公孙离眼流泪红脸咬铁球
这几天没C你了是不是又想要了
花蝴蝶HD免费高清
国内精品一卡二卡三卡
儿子好厉害妈妈要来了的说说心情
麻豆精选果冻传媒1.0.2
公交车被弄得走不动路走不动
老师你的兔子好软水好多作文
我的朋友很少第3季
班主任哭着喊着不能再继续
漂亮妈妈韩国完整版免费观看视频
蜜桃成熟时3dqvod
一龙二美妇观音坐莲
你的棒棒真的好大用了什么料
做完放里面睡觉是什么感觉
离婚了和儿子做
ピースエロじ天堂官网
开车真人版疼痛有声音
世界上最大阳器有多粗
大龟慢慢挺进张娟征的休
CHINA青年GARY
你男朋友都是怎么上你的
冬日后的樱花韩剧
男生越往女生里寨视频
樱桃视频首页在线观看
全是肉的高h短篇列车
野花视频大全免费观看3
网站你懂2018
三千美男爱上我
另类极品VPSWINDOWS
日产无人区一线二线三线乱码蘑菇
塞一天冰块不可以掉下来
男孩子淦哭男孩子视频免费
当兵的一天弄了8次
初中女生喊疼男生越往里寨游
男生的坤坤放在女生的坤坤里蘑菇
农夫成人网站导航
ekdv 273
伧理片午夜伧理片
解锁情侣在床上的N种姿势
免费国精产品一二二三
4hu44四虎www在线影院麻豆
果冻传媒2021精品亚瑟
王者荣耀女生去掉小内 软件
在后车座上的疯狂做I
c了瑜伽老师嗷嗷叫一节课视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1