有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
最近免费中文字幕MV视频7
老外和中国女人毛片免费视频
老谢小区保安赵敏老师
渴了就喝水别扒拉我腿
W到你那里滴水流爆水的作文
小苹果日本影院
啦啦啦韩国视频免费观看
好男人观看免费TV
易感期爱哭到脱水
大哥二哥你们谁先来
边做饭一边躁狂怎么办
无翼乌口禁全彩漫画
对象都是怎么顶的
动物胶配方大全高清
漂亮的保姆3完整版
免费夜间做还运动视频扑克软件
使劲抬东西突然腰猛然一疼
宝贝是不是欠C很久了视频
一边喘气一边叫做摸小兔兔推荐
rh男男车车的车车视频
把跳d放在里面坐公交车
china野外18:19
叫吧宝贝我想听你叫什么
午夜dj免费视频观看在线动漫
开车真人版疼痛有声音
qvod 蜜桃成熟时
男男车车好快的车车有点污
我可以上你吗日剧
涨精装满肚子用塞子堵住照片
跳D放在里面走路感受描述
年轻的老师滋味5在观整有限中字
公交车上两人双指探洞天气网
acca少女网课视频
男人的坤坤穿进女人的甜甜圈
エロドラえもん
斗罗大陆人物3D黄化视频
翁熄小莹回乡下
无翼乌邪恶彩色无摭挡电车痴汉
夫外出被公侵犯日本电影
天美传媒国产电视推荐
老旺的大肉蟒进进出出BD高清版
无翼乌全彩无遮挡漫画大全
3d 无尽 动漫 可爱 得到
考的好妈妈就给你一次
男朋友在没人的地方脱我
我老公告诉我想睡我妈
如何自罚隐私又不伤害隐私
西方447大但人文艺术
npc误入游戏中尽情做攻略
女子初尝黑人巨嗷嗷叫
啊用点力对就是那里视频
麻花豆传媒剧国产MV的发展前景
开小黄车详细描写
B的几种类型图例
HAIJIAONET海角社区论坛
男生把坤坤放女生定眼里云开
51cg7.today吃瓜群众网
bgmbgmbgm老太太毛16
扬思敏全集1一5集正版
在厨房里两只乳头被吸肿了
姬小满的乳液狂飙天堂W98
腿张大点我就可以吃到扇贝了
女生暑假自辱下面30天计划
公交车女子上演疯狂2
初次见面四秒就合体
言教授要撞坏了第二季笔趣阁
跳DAN是放在哪里的示意图
25岁女高中生的相亲对象是问题
年轻老师的滋味5在观整有限中字
天海里红和橘和希
啊公交车坐最后一排被C
一小孩和妈妈打扑克(黄)
妈妈的朋友13在完整视频带翻译
女生说痛男生越往里寨的文字
开会被塞跳d开最大挡不能掉作文
跟他做了1V2
老阿姨哔哩哔哩b站肉片入口
黑帮大佬和我的365未删减
入禽太深麻花影院
抱着边走边撞水流了一地的
喜欢和大肚子孕妇睡觉
宿主被GUAN满的日常自走棋
小东西几天没做水这么多视频
GAY大陆年轻帅小伙2022
我女朋友的母亲15完整视频有翻译
系统之魅姬养成(莫紫弦)
blued01片免费看视频
数学课代表趴下让我桶免费放
这么快就有反应了
极品教师未删减完整版
王者荣耀公孙离捅到流口水
同时被几人C是一种怎样的体验
刮伦后心理咨询
中文精品一卡2卡3卡4卡国色
强壮的公么征服我1一60
Jessica Jaymes女猎人
按摩师坐在两腿中间按摩
tttzzz传送门2023
用过仙女棒的说下感觉
我想吃你的r头叫出来
它变大了你感觉到了吗
两个奶头被吃得又翘又痛
仙踪林18岁RAPPER潮水偷轨
闫凤娇 厕所门
肥大BBBWBBW小便
妹妹长大了终于可以c了作文
国语对白露脸XXXXXX
流了这么多还嘴硬
爸爸说家里没人的时候可以做
顶级RAPPER潮水仙踪林
原神凌华内无布料无小爱心
xxxholic春梦记
麻花豆传媒剧国产MV入口
星空传媒XK8012妻子
车肉短文300字左右
深度了解1V3
柳州莫菁门事件
麻豆果冻传媒新剧国产杜鹃
成品网站W灬源码1688游戏
无耻家庭凯伦的爸爸
撑起伽罗的腿疯狂输出的视频网站
公主葡萄不能夹烂也不能掉出来
天媒蜜桃传媒在线观看
公交车双指探洞醉汉
车肉短文300字左右
埃及猫没有衣服跳舞动画片原版
痞幼视频3分25是什么
我的漂亮女房东中字
家规犯错就打隐私超严的家规
在车后面和岳坶做第一章
拔深一点今天老师随你
妈妈的朋友的4在观完整有限中字
一支笔C哭自己自W到高C
考好妈妈说做一次
最新的ZOOM动物马
致青春百度影音高清
灰熊最后6分钟在哪可以听
最近中文字幕无吗
适合夫妻之间看的麦片
c了一节课体育课渺渺
马人配驴杂交种好吗图片
翁止熄痒苏钥第9章
红色一片免费版
走路还在体内恶意顶
剧烈摇床运动视频
永久免费品色堂
抽出含了一整夜的性器液体流
夜里18款禁用B站大全
WRITEAS黎朔涨奶
宝宝看镜子里我们的结合
上官婉儿翻白眼流口水流眼泪
妈妈的朋友4在观有限中字
READ[长弓燧龙] 甘雨 (原神)
公主车上荫蒂添的好舒服
妻3蜜中蜜动漫观看
今天接了一个30厘米的单子
王者荣耀女生去掉小内游戏
bgmbgmbgm胖老太太视频
嫩叶草m码和欧洲码的区别
韩国论理性电视2021
老婆和别人做完以后再和我做
草榴新时代的我们
成绩好妈妈就给我一次作文
奥利给吃粑粑原视频
怎么把自己弄到喷泉
年轻的嫂子3韩版带中译
对象一直掐我的奶奶
品色堂永远免费论坛
男生被男生C哭是一种什么体验
白洁一夜被爽了七次
小小水蜜桃3视频在线观看
久别的草原在线影院日本
打扑克视频又疼又叫原声
公交车6人轮换C白月
加多宝公益战略发布
善良的秘书滋味2
生姜切成小块放菊花里作文
终于你离开我的世界
吃胸下面激吻娇喘黄禁
津渝视频完整版1
同学的妈妈5观整有限中字
欧美三根一起进三P
喜爱夜蒲2 粤语
可以把火腿肠放里面睡觉吗
唐三插曲比比东不亦乐乎MBA
一女被两根凶猛挺进动态图
台湾果冻传媒在线观看
医手遮天小妾太难驯
在英语课上强插英语课代表作文
无人视频免费观看免费直播下载
TPU色母和PA6色母的区别
JEALOUSVUE成熟50
坐在木马的木棒上公主
1377大但人文艺术
tttzzz传送门2023
无人区码卡二卡3卡4
大地日本韩国电影免费看
部队里被咬住花蒂吹潮军人
车文超细过程长图片
寄宿日记82话用喉咙帮充电
51精产国品一二三产区
纯情罗曼史3 动漫
全国AAAA和AAAAA景区
清宫性史之名妓风流
ZOOMDOG13
课代表让我吃它的小兔兔
每集都打扑克的美剧
电动牙刷自w高c特别快
大团圆结白结的故事
都生了宝宝了还那么紧
年轻的保姆5线观高清
对准了自己动不然不给你
老外和中国女人毛片免费视频
麻花豆传媒剧国产MV
为什么越往里越得劲的APP
一本二卡三卡四卡无卡免费高
免费网站在线观看人数在哪里
同时被几人C是一种怎样的体验
女生男生一起差差差差带疼声
淋浴喷头gc自w车文
老师忽然渐渐放慢了进度视频
一个奶下面一个鼎是什么字
日本产品和韩国产品的区别
网红打扑克牌网站
善良妈妈的朋友10完整有限中字木
嘴巴吃鸡的正确方式图片
我姐姐的朋友完整有限中字
无翼乌全彩无漫画挤奶
涨精装满肚子用塞子堵住上学
久别的草原高清视频HD
老师的蕾丝小内内湿透了
是不是好久没人弄你了
撑起伽罗的腿疯狂输出是什么意思
富二代国app产下载
痞幼视频3分25是什么意思
处处吻全程拉丝舌头
糖心VLOG产精国品免费老
一直按小豆豆为啥浑身发麻
原神免费正能量网站安全
中国speakingathome宾馆
中文字幕无线码中文字幕
妈妈的朋友7完整视频有翻译木瓜
宝宝才三根手指就受不了
公园里的老年镖客视频
我捅了英语课代表一节课
喷泉H1V3HL
为什么抽的越快就会叫
2021乱码精品公司
里面塞着小玩具坐地铁有什么感觉
yy111111手机在线观看琪琪
公交车后车座的疯狂的做细节知乎
他的手抓住了我的小兔子动图
扣那里的手势图
比比琼斯qvod
男孩子淦哭男孩子动图
体育生GARY猛烈GARY
心疼儿子可以给他一次吗
甜蜜惩罚未增删带翻译樱花接
女儿的朋友中字头
两个人一前一后的上我
低头看我们结合的地方小说
美女露出尿口让男生爽痛
14may18_XXXXXL56endian个
无翼乌无遮挡全彩漫画大全漫画
日本视频高清一道一区
学长不行这是地铁
黄沙视频在线观看WWW官网
桃花在线观看视频播放免费
越碰人人在线公开视频
无翼乌无彩无漫画
处破女轻点疼丨8分钟
公交车上一路被C
上自己妈妈是什么感受
b站免费建网站
爱情鸟视频论坛在线观看
拔萝卜软件APP软件开发大全
中国XXXXXL 18
小雪把双腿打开给老杨看5
大婶的肥沃的土地类型
国精产品一二二区传媒有哪些
年轻漂亮的继坶5
最美情侣免费观看视频芒果TV
原神申鹤开襟乳液狂飙
水蜜桃色314
动漫男生把坤坤放女生坤坤里开元
一二三四日本高清无吗
日本LINODEIPHONE6
日本2和搜子同居的日子
津渝视频完整版第一集
我好像找到你的敏感点了宝宝
深度开发1v6笔趣阁
蜜芽忘忧草二区大豆行情网烧仙草
五个黑人玩一个女5P的小说
饭桌上故意张开腿让公在线看
大沢佑香 浣肠
公交车多肉短文300字左右
爱你24小时不打烊
最近新免费韩国视频图片
魔鬼公交车上的小黄说说
小猪草莓丝瓜深夜释放自己
开车视频小黄车视频免费下载
色即是空1高清
花蝴蝶免费版高清版
中国XXXXXL19学生
非洲人与牲动交CCOO
福林儿初试云雨情
交口30个图片
一面亲上边一面膜下边的免费
女家教 林佩佩
日本一姐潮水RAPPER 太多
蘑菇影视 我妈妈的职业
成长人雏鸟pro19幼儿版特色
W乳液939永久W78
10种禁用的漫画软件
被扣的时候腿抖是怎么回事
用你的舌头搅拌我的dj
狗狗射速好太可怕了sun
单亲妈妈4电影韩剧在线观看
荡秋千荡得越来越深
新版金银瓶1一5
校霸被学霸拿遥控器控制
野花视频在线观看最新免费
老师下面太紧拔不出来怎么矫正呢
男生把坤巴扎进女生的坤巴里Q
给我播放片高清MV清晰在线观看
歪歪漫画登录页面免费漫画入口首页漫画
女人受到双指探洞会叫嘛
坐着轮流提双腿能起到什么效
破数学课代表的处
国内女RAPPER
相府千金1v3
做运动打扑克视频声音
妈妈刚开始拒绝后来配合孩子
徐文荣接受审查调查
吕瑶门事件完整照片
美国十次啦色播
斗罗大陆动画片免费观看完整版
被七个爱豆翻来翻去1V7
免费3圾片在线观看
父亲缓慢而有力的撞着
老公不在儿子当老公妈妈帮
人物动物交互狗漫画
9420高清视频在线观看国语
欲望之翼完整版在线观看
糖心精产国品免费老版
WINDOWSCHANNEL孕妇3D
第一次挺进苏雨萌
太紧了夹得我的巴好爽欧美
污到你那里滴水不止的文章
男人大鸟硬起来图
父亲与女儿传宗接代的句子
野花免费观看日本电视剧
年轻漂亮的岳坶9
你的棍棍可以通通我的草莓吗
不如各自安好(1V1)
润色红叶吻蛇枝小说
雷电将军乳液VX免费网站
在公交车上弄到高c的数据
一对多校园pop
看我是怎樣把你C的叫出來的
顶的速度越来越快越
八重神子P图全光图片
横冲直撞 肉车
2019久草原国产
乳液狂飙图片奖励自己一发
从厨房一路顶撞到卧室好吗
粗糙的要了一次又一次
插曲的痛的视频免费
和儿媳发生不该发生
japonensis成熟
又大又黑又长的蘑菇头
老湿机影院免费观看十分钟
gaogao8
赵露思乳液头实出
满清十大刑酷之凌迟快播
做我的爱人3在线观看
武大内野CAMPBUDDY
sdde-318
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1