有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
班长是我们班的存精器作文
WRITE AS 女生
老司机带带我高清版
一个人被3个人同时C了怎么办
山东猛1体育生打桩机1S
mide-007
妹妹中考前让我C了1次作文
免费夜间做运动视频扑克网站
HENTAINATRUAL
原神申鹤乳液狂飙翻白眼流口水
东莞技校门下载
男生说吃兔兔的过程
日文中字乱码一二三区别在
斗罗大陆唐三爆桶波塞西3
男朋友说他有更大的棒棒糖
班里的公交车小诗的高中日记
才几天没做你就叫成这样
半夜妺妺叫我满足她
宝宝腿开大点就不疼了免费视频
男神插曲女生完整免费
处钕膜被捅烂m图片
6080新觉伦午夜
野花高清在线观看免费官网中文版
毛都没长就开了包
学渣坐在学霸的棒棒上写作业视频
老师塞跳D开最大挡不能掉XS
彩虹男孩GARYMBA入口
被C哭是一种什么感受
WRITEAS掰腿
天美传媒MV免费观看软件特色
韩国三圾片在线观看
开的比较细的车文章
天美传媒免费观看MV天美网
用注射器打水放屁眼里
刘耀文让宋亚轩夹领带
电车之狼r 去马赛克
农村人乱弄一区二区的处罚方式
王多鱼打扑克免费高清视频
济宁郑媛媛 ed2k
旗袍全开襟做运动
缘之空第4集开始开的车视频
国精品产品推荐
麻婆豆传媒一区二区三
爱如潮水免费观看日本
开车晚上看有痛痛的声音视频免费
腿张大点就能吃扇贝了
水都这么多了还装
阿宾之房东太太
三根一起会坏掉的...哈
篮球队的公共玩具正伟
国产第一页浮力影院入口
忘了戴胸罩被同学摸了一节课
汤姆叔叔最新地域网名
网站大家懂我的意思吧
粉色视频观看高清声音
刘耀文往宋亚轩塞TD
小泽玛利亚电影种子
李白夹小玩具出门WRITEAS
国精产品一区二区三区四区糖心
用红酒瓶塞堵住不能流下来
求你别在阳台有人看见
娘王virgin
14岁学腿迈开腿打扑克正常吗
上楼梯时故意一点一点
一边膜上面一边下面膜韩国
看见你的棒棒就想吃是什么歌
家里有什么能代替棒棒
领导每天都要喝我的奶
坏老师百度影音
两个乳房像兔子一样跳出
ed2k2分28秒江疏影
中国人免费高清的视频大全
把毛笔放到洞里写字不准掉HL
男朋友如何搞你的
你看的这么多水了还说不要
YW193龙物新地
王者荣耀黄化网站入口
鹡鸰女神第3季
亚洲无人区码一二三码区别图片
中国新疆XXXXXL19免费看
三叔一次又一次索要
体育老师拉着我做了一节课
体育老师在单杠C了我一节课网
情不自禁 百度影音
炎のおっぱい身体检测仪器
慈禧的秘密生活高清完整视频
潘甜甜3段视频免费看
粉色视频高清免费版观看
THERMO脱色摇床
被深顶得说不出话
第一次3q大战的经过
bgmbgmbgm老头野外
美国ZOOm人狗欢迎你
八戒八戒视频资源
母亲とが话していま在线观看免费
中文字字幕乱码电影1
海角HJ9DB5免费进入
人妻妺妺窝人体色WWW聚色窝
write as 水果
4人个人换着玩感受
深度按摩BY鸦鸦吃肉不吃是素笔
向涟苍士献上纯樱花
爸爸说家里没人可以C
安琪拉翻白眼流眼泪流口水
鲸鱼夫妇120114
C到哭不止水好多视频
老卫干淑荣完整版
大尺寸的小黄说说推荐
最近最新在线观看免费高清完整版
把腿把开学长都给你高
大胸的丰年经的继拇了
花蝴蝶日本大全免费观看3高清版
不知节制地索要
舔下面好舒服都是水
中文弹幕日产无线码一区
HJ3DCHJ海角论坛
输了下面随便处置
小洞饿了想吃香肠有声音作文
小东西几天没做喷得到处都是
公交车轮C系列
最好玩的B是哪一种L
女人自卫慰做法图片
男朋友喜欢看别人玩自己
文轩上体育课课用跳d的感觉
被窝里的公息第十三章mip
往下边塞玉器见客人
她舔我阴部好爽69式
我被继亲开了苞
年轻的母亲6在完整有限中字
乌克兰10一12x video
甘雨被盗宝团挤椰奶
数学课代表趴着让我c
任你爽任你鲁任在线视频
打扑克视频用点力有声音
没做过的能放进几个指节
18款禁用APP网站进入口
5g天天奭多人运动 在线观看免费
冰块一粒一粒往下边塞图片
日本精产国品一二三产品区别
宝宝我们到卫生间里做动漫
韩国一线高清免费观看
妇女是指什么年龄段
咬住下唇动漫在线播放完整版
147大但人文艺术37大但人文艺术
宁波蜜桃文化传媒有限公司招聘
国内精品一卡二卡三卡公司
分手那天我们做了八次
两个人一前一后一左一右
我和大佬的三百六十五天
催熟PO1V3
他一次又一次的索要
小诗的玩具日记笔趣阁
从后面是不是要紧一些
我的好妈妈5中文
你是我的女人HD
水蜜桃文化传媒有限公司
MINUS8法老猫
中国windows野外
情侣剧烈做运动的表情包
好男人视频社区2019
精品日产卡一卡二卡国色天香
野蛮秘笈演员表
他C过你这里嘛
你的东西比我老公大好多
日韩一卡2卡3卡无卡新区乱码
色吧有你 春暖花开
在线おっさんとわたし天堂
男女差差差很痛带声音
一面亲上边一面膜下边文字的含义
总裁求你饶了我
爸爸刚走爷爷就来抱妈妈来了
我想触碰你的深处未增删樱花
金银瓶1-5美国
超级肉禽系统的小说推荐
HonKai Impact 3rd Kiana R2
倒插莲花是什么意思
农场ZOOM与人性ZOOM区别
扑克牌又疼又叫的什么含义
山东龙口护士门
富二代APP软件下载安装
野花视频在线观看免费最新
18C.MICIOS禁慢天堂18C.MIC北北北砂
随时随地都能干的学校教师的特点
搞机time下载不用不收钱嘉兴
小区老王的春天
宝宝腿分得开点才不疼
国精产品一区二区三区有限公司
可C可拔萝卜女生小游戏
接电话对象插的说不出话
太久永久回家地址TAI9.VIP 保存永不迷路
非洲人与性动交CCOO
适合夫妻看的哔哩哔哩电视剧
希儿的乳液狂飙天堂W78
分手炮是不是都特别卖力
迈开腿让我尝尝你的小扇贝APP
MD豆传媒一二三区进站口
迈开腿让尝尝你的小鸡的视频
闫凤娇厕所门事件
朋友的朋友6中汉字
和游泳教练的水下运动
新红楼梦 艳情版
帮帮我爱神豆瓣
厨房运动剧烈老师的大兔子鹿
ZOMBIE视频SUPREME
老公带我去跟别人玩两次正常吗
老八吃屎奥利给原视频不遮挡
别墅轮换游戏五对情侣图片
客厅H伦亲女小芳小雪视频
北北北砂禁慢天堂 云缨图片
侵犯小少爷(H)np
一边做饭一边躁狂怎么办呀
男孩子和男孩子做到哭图片
野草乱码一二三区别
妈妈的朋友10完整有限中字一
欧洲无人区卡一卡二卡
双男主有车车的视频w
一个人免费观看的WWW哔哩哔哩
无人区码一码二码三MBA智库
狗狗射速好烫太怕了
体育课被c了一节课怎么办
日本1卡2卡卡3卡乱码
亚洲乱码一卡二卡卡3卡4卡
云缨拿枪奖励自己核心图
精品卡一卡二卡三免费
93W乳液78W78W永久
大唐之妻妾成群
超碰caoporen国产
又大又硬又粗再深一点
上边一面亲下边一面做连续剧
流了那么多水还说不要
人丑B不丑是真的吗
全部都在那个地方在线观看
bgmbgmbgm毛多多胖老太太
XRK1_3_0ARK无限观看IOS网站
14MAY18_XXXXXL56ENDIA免费
两个男孩子开车声音
八重神子露副乳
让人看了想要做的文章1000字
她舔我阴部好爽69式
逆爱 再爱我一次
被自己家的狗上瘾了怎么办
女的越疼男的越往里寨的应用
精产国品一二三产品在哪
我年轻善良的继4
掌中之物何妍被多少人轮
少妇BBB搡BBBB搡BBBB
几天没C水这么多公交车
BGMBGMBGM老太太交视频
两个男人一个前面一个后面
沈芯语天美传媒免费看
14MAY18_XXXXL56ENDIAN
色母UN2025
幼儿HIPHOP仙踪林的
亚洲一线产区二线产区区别在哪
花季v3.0.2
tokyo hot n0750
变态生理研究会
一直按小豆豆为啥浑身发麻
彩虹男孩GARY视频
刘耀文在水里做哭宋亚轩
狗狗的东西一放里就变大
78MAP打扑克视频
A最大但人文艺术
97夜夜澡人人爽人人模人人喊
GGY钙2023入口
坤巴塞小洞里视频
能让你流污水的作文
被窝里的公息第十三章mip
宝宝你好会夹啊都拉丝了作文视频
J8又粗又硬又大又爽又网站
儿子把坤坤放入妈妈的坤坤里的
玛雅maya发信
咬住下唇动漫在线播放完整版
日本最大胆的人文体艺术
抱胁西班牙篇PV资源
涨精装满肚子上学体育课免费视频
双杠分腿坐前进
无人区码一码二码三码区
院子里公开惩戒(下)WRITE
9420高清视频在线观看国语
男孩子淦哭男孩子黄文
仙踪林 老狼信息
当兵的老公回来不停的索要
优质JY灌溉系统
爱情岛论坛网亚洲品质
野花香在线视频免费观看第一集
污到你那里滴水不止的文章1000字过程
三个人我是怎么C你的
overflow在线未增删带翻译
交口的30个图片
不知火舞海滩h
把这个放进去自己按下开关
中国人を嫌う日本人
老湿机免费体检三分钟十八岁
车后车座的疯狂的做细节描述
三门齐开女人疼苦吗
女看了会流污水的段子网站
木马木棒动得好快bl
为什么女的干一炮就老实了
啦啦啦 中文 中国 免费 高清在线
极品教师全文阅读无删减
他缓慢而有力的在车里撞着视频
未来超模15季
粉色视频高清免费版观看
WRITEAS强制标记
女角色翻白眼流口水流眼泪的游戏
两人在车里疯狂打扑克
小龙女只感觉那只巨大的火龙枪1
语文课代表穿着JK让我C
麻花传MD0174苏蜜清歌在线
流了这么多还嘴硬这是在车上
男生被男生C哭是一种什么体验
怎么把自己扣的全是水喷泉
卫生间6分34秒
羞羞漫画在线看免费阅读破解
往子宫里尿一泡会怎么样
无耻家庭凯伦的爸爸
差差差很疼30分钟无掩盖视频
八重神子的神罚
喷泉h1v3海棠
人类是怎样交匹配的
JAPONENSISFES老师
打开腿吃你的扇贝什么意思污
妈妈的朋友在完整有限中字第4
饭桌上故意张开腿让公H视频
俄罗斯6一12泑女精品
晚上开车又疼又叫的故事
韩剧我女朋友的男朋友不是我
朋友的母亲7在完整有限中字第
翁止熄痒苏钥第9章
中国speakingathome宾馆
当兵的晚上太猛
一体六交怎么弄
做AJ的姿势视频教程图片高清版
公与妇仑乱HD
三叶草欧洲码和亚洲码怎么换算
家风贞静(禁忌GH)结局
女士不遮阴内搭图片高清图
无人区一码二码高高
镜子中我们的结合处发出
写得很细的开车秒湿故事作文
厨房里的激战2POP
老婆的扇贝张开口了还能吃吗
亚洲一线产区二线产区区别在哪
年轻的阿姨1在观整有限中字
镜子里看我怎么进入你
小船摇曳大船h
妈妈刚开始拒绝后来配合
澳门无人区码一码二码三码区别
草699一码二码三码四码
校花被绑到男厕当尿器
仙踪林直接入口RAPPER
696969大但人文艺术主题
2人轮换玩的感觉
别怕放松我这是在爱你
三个人弄得我走不了路晚上
吸小兔兔是什么感觉
50岁女人下面还紧吗
残忍cheapwindowsvps风险
3根一起会坏掉的好疼
南京交通职业技术学院4p刘梦亿
吃男朋友的棒棒糖
农夫导航永久地址
看镜子里我们的结合的地方
好刺激的打扑克软件
深度按摩BY鸦鸦吃肉不吃是素笔
走一步撞一下连在一起
赤裸羔羊4蜜桃迷色
精华液一区二区区别
他的手放在了我的珠穆朗玛峰上
师娘求放过韩国电影
快猫记录生活记你
天降女子第一季未增删带翻译樱花
黑帮少爷爱上我
尤物已满18点击进入在线
精产国品一二三产区999999
打扑克直播软件APP免费下载安装
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1