有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
东西小东西这才一根手指
至尊宝用金箍棒桶紫霞小鸡
色翁荡息又大又硬又粗视频
公交车上玩两个小朋友
丁香花大型成人社区
一边膜上面一边下面膜韩国
我的兔子好软水好多H15阅读
三个人每人C我半小时的故事
后车座的疯狂全文阅读
老妈和我一起嫁
男男车的车车图
让你尝尝我的尺寸
香蕉菠萝黄瓜草莓樱桃榴莲茄子
刘嘉玲被强奸视频
八重神子的乳液狂飙视频
父母儿女一家狂I目录
坐在木马的木棒上公主
免费网站在线观看人数在哪里
女人和公豬交交30
AAA传媒有限公司
幸福宝8008app隐藏入口
当着别人的面要了我
我朋友把我C成了喷泉怎么办
坐着震动器写作业是什么感觉
两阳夹一阴后期走势
迈开腿让我看看你的动漫视频
韩国最大但人文艺术
天美传媒剧国产MV网站入口下载
manta haya 17
14may18_XXXXXL56endian个
父亲的东西又长又黑
最近2018年中文字幕免费图片
越看水流的越多的故事
jy浇灌系统公交车
日韩卡一卡二卡乱码新区
开始可以和女生那个的游戏
真人打扑克的免费软件
大巴车上最后一排被草
日本无人区码卡二卡三卡
日本水蜜桃身体乳的美白效果
花木兰站在凳子上给刘禅做作业
在英语课上用鸡插英语课代表
国岳夫妻的真实身份
我坐在学长的鸡上写作业长篇文字
过程1v2PO
津渝视频完整版第一集
魅力研习社吹避孕套
啊轻点灬公大JI巴又大又
霍雨浩手撕唐舞桐的衣服
做错了事就往下面塞一个冰球
从后面是不是要紧一些
国精产品一区一区三区糖心
上官婉儿翻白眼流口水流眼泪
最近最新在线观看免费高清完整版
免费可以看亏亏的软件大全
欧美人马狗八AB8ZOZO
宝贝我的手指长不长
都生了宝宝了还那么紧
娘王 virgin
不要再进去了会被撑坏的
火影忍者鸣人搞纲手
孤注一掷在线观看免费高清王传君
孩子玩着玩着就进去了怎么回事儿
他的手探到我的衣服在做什么
51无人区码一码二码
607080老太太AW
超碰免费视频公开人人
中日乱码卡一卡二仙踪林
外国XXXXXL19WASWAS
对象一直掐我的奶奶小故事
草莓榴莲未满十八岁的做法大全
w永久939w乳液78
冰块和棉签弄出牛奶(黄)视频
用我的手指搅乱吧未增删卡卡
一下又一下撞到最里面文章
女士不遮阴内搭图片高清大图大全
WRITEAS塞猫尾巴
怎么用一根棉签弄自己
顾氏双生子的玩具2V1
扑克牌又疼又叫的什么含义
美国1984忌讳第4集愈演愈烈
一面亲上边一面膜下边文字表达
有翡在线播放免费观看
韩国女主播种子
一层一层一层的剥开我的衣服
迈开腿尝尝你的小扇贝
无翼乌全彩集漫画
免费夜里18款禁用软粉色
聊斋艳谭之孽欲孤鬼
大叔你好坏大叔摇起来是什么歌
野花视频手机免费观看完整版
最近最新中文字幕MV免费
家里什么东西可以当阳具用
chengrenwenxue
引导儿子上自己的办法
国产AV精品一区二区三区夏竹
公交车上的小黄说说1000字
大尺寸的小黄说说1000字多肉
欢乐颂5高清免费
00xx动态图
抖音奶片故意走漏
黄鳝21分钟40秒完整版
午夜天堂一区人妻
BGMBGMBGM老太太80岁毛多多
埋在体内恶意地顶了顶
家里没人叫大点声干湿你小说7
春雨直播免费视频观看
是不是想被C很久了阅读
东北大炕乱欲狂
上课用跳D的经历
小喜含不下了先出来吗
长月烬明全集泄露了
迈开腿让我看下你的小
我们结婚了20131026中字
成品网站源码1288隐藏通道
zjy卫生间6分35秒夸克百度
肚子里全是JY鼓起来了
桃花视频在线观看免费
老师裸露胸被强挤奶漫画
逆徒快把你的东西拔出来
免费体验120秒视频
快穿之女配紧致h
桃花洞口开香蕊落莓苔意思
才三个指头就撑不住了
菊内留香金银花原文开车
zljzljzlj日本人水多
全世界最好的你免费观看
日出水了好深好涨
英语老师的兔子好软水好多
国精产品一区二区三区有限公司
女朋友在上方会摇是什么体验
用笔怎么自己弄自己的小花园
高铁上要她了好几次
榴莲视频在线观看视频 1080P
在公交车上被撞了八次
两个月不见老公跟疯了一样
水渍声和撞肉声连成一片
人伦亲情父母儿女的句子有哪些
JAKEANDRICH.手冲
ultimatespecialfx
俺也去老色官网
无人区3DMAX
老妈和我一起嫁
BBW与WB和老妇女
女人的阴性图片
咋能把女友弄成小喷泉呢
草莓榴莲未满十八岁的做法大全
BBOX残忍BASS马
为什么越往里越得劲的APP
春纪我们约会吧
边摸边亲奶边做爽视频在线观看
黑帮大佬和我的365日2第二部
泰国淫乐园实录
离婚后干前妻什么感觉
韩国演艺圈悲惨qvod
Naruto Hennatai
FREEZEFRAME丰满少妇
人狗锁在一起的原理是什么
日本一线二线三线四线五线
俄罗斯人和欧洲人的性格差异
榴莲官方网站进入
B痒了多久没C了
雷电将军乳液voiux网站
欧亚乱码天美传媒
缘之空无删减资源在线
最好看的最新的中文字幕3
宝贝帮我拉开拉链它想你了
次次到肉杆杆到底
老公弄我的时候婆婆看到了
CHINA中国东北GARY2022
仙女棒坐着使用方法图片
公共厕所POOPING
公交车一次又一次
YW193COC永久入口特点
最大但人文艺术网站
野花视频在线观看免费高清6
女生的小雏菊到底长什么样
黑龙江教室视频完整版
麻花传媒剧国产剧情MV的优势
成品人直播推荐
麻豆视传媒官方直接进入
TOBU16TOBU18
最近免费韩国电影HD无吗
一直喝水不让尿的高黄车
我的年轻继坶7中字
25岁的女高中生
日本产品和韩国产品的区别
久亚洲一线产区二线产区三线产区
写作业写着写着就插起来了
坐在学长的棒棒上写作业文章视频
小东西你的水都拉丝了
1v3多肉小公主
精产国品一二三产区区别麻豆
老婆的扇贝张开口了还能吃吗视频
2021年4虎的新地址是多少
媛媛和老赵在厨房做
性 爱 免费 视频
拔萝卜 全程不盖被子拔萝卜
在线高清电影理论片4399
无人区乱码三卡四卡
女人扒开屁股爽桶30分钟
台湾果冻传媒在线观看
最近中文字幕免费大全8
一亲二膜三叉四强五注射30分钟
冲气娃娃有什么用
男生越往里越有劲声音
人与畜禽共性关系
太鼓达人dx dlc
qvod 蜜桃成熟时
《年轻的护士电影完整版》
男女在一起翻雨覆雨的比喻意义
老湿机一分钟免费观看
三客优理论全新版
沈芯语老师家访MD0076
51吃瓜今日吃瓜入口
日本动漫扑克牌动画片mv
一本大道色卡1卡2卡3
jy浇灌系统公交车
吃自己的丁丁的方法
仙踪林大豆行情网老狼
压在女朋友身上是件很幸福的事
国精产品 自偷自偷
兽兽门全套照片
GAY空少被体育生开菊
宝宝的骚水喷的到处都是
韩国娱乐圈事件
黑色的很粗很大的蘑菇头
阿峰与老板娘修理厂
漂亮的保姆7完整版免费二
天降女子从2楼掉下了
无人区码一码二码三MBA
原神八重神子掀开副乳网站
大白屁股缝里浓黑的毛
热久久最新网站获取
糖心vlog柚子猫内射频
精产国品一二三产品区别在哪里呢
东北那旮瘩母与子
公天天吃我奶躁我的比视频
蜜桃成熟时期33d在手机观看
校霸写错一题学霸就放一支笔
乱码中字芒果视频一二三多人
手机的秘密潘甜甜
大神同学想吃掉我 樱花
男按摩师用嘴亲我下面口述
迈开腿让学才尝尝你的
家庭大杂乱经典说说大全
伊援中文日产幕无线码6区
可以看张津瑜视频的浏览器夸克
班长是我们班的存精器GH
撕裂BBOX入门头交
亚洲无人区码一码二码三码区别
黄到让你那里滴水的作文门卫
怎么把自己扣的全是水喷泉访页
绞的他低吼了一声
他的白月光HvH桔子糖水
姐弟拔萝卜又疼又叫高新
他不让我断奶他要接着吃知乎
他带我去没人的地方吃我豆腐
在没人的教学楼走廊里做
黑人猛挺进小莹的体内视频
没人的地方让你弄一下
液体收集器系统HH
王者荣耀女英雄去掉小内无爱心图片
XL上司2第二季带翻译未增
海角国精产品一二三产品区别
向涟仓式献上纯洁
内衣柜办公室1-3怎么看
亚欧乱码卡一卡二卡新
5g天天奭5g天天运动破解版
日本水蜜桃身体乳与韩国美白对比
我的XL上司第2季未增删带翻译
和孩子一起睡觉没控制住
在车上就要了你
把下面能看湿的句子
父母儿女互换干对家庭成员的影响
往下边塞玉器出门write
爸爸我怀了你的孩子免费阅读
两根入一洞群交
3个学长一起上我会坏的作文
男生把坤坤放女生坤坤里开元
学生的妈妈8中字巴巴鱼汤饭惹人
和儿媳发生不该发生
始料未及的软1v2
日本一卡二卡三卡四卡无卡高清视频下载
妈妈的朋友2在线观完整版看中文字
老公带我去跟别人玩两次正常吗
原神女角色翻白眼流眼泪流口水
もし祢豆子が悪いった
家里没人儿子就弄我了什么意思
两个吃上面一个人下试看
棉签PLAY文
欧美尺码专线欧洲B1B1
好刺激的打扑克软件
小汽车被两大货车挤压致1死
最近2019中文字幕免费版视频
吸和夹有什么不一样
宝贝低头看看我是怎么爱你的
16MAY20_XXXXXL56ENDIAN
真实血淋淋处破女流血
黑土ちゃんが腿法娴熟を视
妈妈说戴了才可以
一边做饭一边躁狂
zhangjinyu视频网盘
滋润BBWWBWWBBWW
为什么狗狗放我里面就变大图片
在家不准穿衣服想做就做
贺朝用笔把谢俞捅哭
林念修是谁的秘书
每天被C醒是一种怎样的体验
亚洲一码二码区别在哪儿啊
WRITEAS丁程鑫性器丰年
朋友的妈妈2观有限中字
善良的小峓子67中字巴巴鱼汤饭
日本顶级rapper潮水老娘
男生把自己的QQ放进女生的QQ
八戒八戒视频中文
父亲的东西比老公的好用
1000部未年禁止勿入免费
VODAFONEWIFI与黑人
每个月老板都要玩我几次
日产2021乱码
爆肝工程师的异世界狂想曲
南昌一中掏脑子挖眼睛
公天天吃我奶躁我的
局长从后面握住我的奶
打开腿我想尝尝你那里的水
免费b站推广网站入口202
水蜜桃1997
等不及在车里做一次
电动木棒动得好快
刻晴被盗宝团C的不能自理
公交车上的诗请10
日本最大但的人文体艺术
韩漫漫画页面登录漫画弹窗
天美传媒免费观看MV天美网
厨房里的激战2剧集
538porm在线播
5g天天奭5g天天运动破解版
打扑克牌男女剧烈运动原声音频
过来自己趴好选工具小视频
西方37大但人文艺术人山踪林
韩国电影办公室3免费完整版百度
天海翼家庭教师
诱人的女医生中文字幕
日美韩大片高清免费观看
腿再开大一点就不痛了正常吗
声声奶酥1V办公室
拔擦拔擦8X永久华人网址
往下边塞冰棒感觉
日韩欧洲亚洲SUV
巨年少根与艳妇
瘾欲欢愉作者半块小饼干
xl上司带翻译樱花动漫带翻译
几天没C你是不是痒了好多水作文
写作业错一题就插一下
中韩高清无专码区2021曰
欧亚专线S码和M码的区别图片
父子tck完整版
双胞胎姐妹齐上阵许多说许多
四虎永久地域网名2023知乎
爸爸家里没人用点力
成品网站w灬源码入口
年轻漂亮的女教师2
用...用点力一点快到了
许仙终于把小青日服J
神奇宝贝ag132
啦啦啦免费视频播放在线
重一点啊再重一点
被他从身后撞得浑身散
太子被暗卫C到合不拢腿N男男
女人的各种鲍鱼
漂亮的三年经的继拇4
不遮挡打扑克剧烈运动直播
亲爱的老师韩国5看的电影
为什么你越叫顶的越猛
原神雷电将军乳液vx网站进入
自己玩r头给我看
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1