有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
爱情鸟在线论坛1在线观看
妈妈的朋友2在线中文字幕看免费完整版
欧亚专线欧洲S码WMY不知所措
18款夜里禁用b站
100位未成年RAPPER
工囗囗番漫画大全全彩
14MAY18_XXXXXL56ENDIAN日本
张津瑜 最新视频
狗狗的东西一放里就变大
2013年3月里番
做错了事就往下面塞一个冰球
WRITEAS震动器
自w的时候看的小短文
你的水喷得到处都是
妇女被深耕过后有哪些表现
新任女教师剧场版
英语课代表下课让我诵30分钟
OVERFLOW在线未增删带翻译樱花 中文翻译
一口一口把奶从胸口吃掉B站
美式1984雪莉和保罗谁厉害
情侣运动前看的电影推荐
顶的速度越来越快越
好妈妈5免费观看中字直播
只因爱你by欲语还休
新版猫咪目前的地址入口
打扑克时刚进去疼不疼
性姿势48个动图
东京热456大交乱高清视频
美女校花被老汗狂肉的故事
终极强奸ii原始兽性
变形记化不开的网
最近韩国日本免费观看百度
秘密教学82这次换我教你了土豪
6人轮换C一个过程
漂亮的邻居交换2
迷情娇妻第104章
欧美无人区码卡二卡3卡
无人区一码二码三码四码区
凌晨三点看的片日本
小东西是不是又想吃棒棒糖了
公交车女子上演疯狂2
在线おっさんとわたし天堂
00xx动态图
班长趴下让我C了一节课作文
jmcomicron mic18c mic 入口
在街上他突然按了遥控器作文
《男团共享物》by:不必南下
缘之空哪几集开过车具体
是不是每一个b都一样感觉
xfplay365每日稳定资源站姿
ぱらだいす天堂中文网.WWW
办公室的交易 韩国电影
台湾佬娱乐中文22vvvv
友善的好邻居2
跳蛋的用法示意图
日本BOOKPRO
如何在家中自罚隐私
精彩无人区一码二码三码四码
老扒和他三个星妇全集
WRITEAS强制
激烈啪啪啪动态图
清楚看到我C你过程
没带罩子让他c了一节课作文韩剧
宝贝我想看你的喷泉了什么意思
第16话想进来就努力吧欢迎你
天美麻花豆产区
戴着电动玩具逛超市
办公室内衣樱花未增删翻译
love可儿的秘密花园
好妈妈韩国中字7
入禽太深高清视频韩国
花火のエロドラえもん
一面亲上边一面膜下边打扑克
精产一二三产区别在哪里
被学长C了一节课作文
交换温柔妈妈的朋友在线观看
人物动物交互狗3D
快穿之女配取液之旅H
九阴真经野草坐标
宝宝家里没人叫大点声
108式春床图片欣赏
亚洲和欧洲一码二码区别在哪儿
对准了自己动不然不给你下一句
跪下拉开拉链含着吸出来
没带罩子让他C了一节课怎么办
什么样的B型好干
走绳子打结PLAY
塞跳D开最大挡不能掉老师现场看
中国人免费高清的视频大全
榴莲视频在线观看视频 1080P
writeas尿道口
迈开腿让学长尝尝你的草莓是什么
大黑阴BBBWBBW
搞机time恶心直接打开的网站不用下载
雷电将军与丘丘人繁衍后代
胡桃玩旅行者的小坤坤网站
in treatment
旅游途中夫妻换着玩的说说心情
汉服齐胸襦裙啪啪
美丽的小峓子4中字巴巴鱼汤饭W
麻花传MD0174苏语棠
10_10_汤唯七分二十秒视频
蜜桃传媒天美传媒京东传媒DO
啊灬啊别停灬用力啊男男
免费做运动视频扑克视频网站
一边做饭一边躁怎么回事
二人扑克剧烈运动视频
中国乱码一二三区别免费
善良的老师3完有限中字木瓜
国产卡二卡3卡4卡四卡
女人越喊男人越往里寨的电视剧
苏家小媳妇1V3小说
羞羞漫画入口页面在线登录
妈妈说以后不用戴了
妈妈的朋友3线在完整有限公司中字
清纯校花被脔日常H
为什么黑人睡过的人没人要
侍卫把贵女怼树干
欧亚精品卡一卡二卡三737
宝宝腿抬高点坐下来自己动
这两个球球一直摇晃个不停
新农夫成人导航
MD豆传媒一二三区进站口
中国老人mandaddyertv
midd-962
晚上睡不着看B站
浇灌妈妈肥沃的土地上架感言
日韩欧洲亚洲SUV
天美传媒MV在线看免费下载安装
雷电将军乳液VX免费网站
变形计温暖之痛
兽王ZOOM CLOUD MEETINGS
亲爱的老师4日本高清百度云
亚洲欧洲卡1卡2新区
蜜桃文化传媒有限公司招聘
农场主三姐妹美国1976
比我老公的大了一圈
日本人AA制是不是很凉薄
鞠婧祎打扑克又哭又叫视频大全
日产韩版精品一线二线三线区
李宗瑞继母是谁
苍老师最后一次
宝贝对着摄像头自己做
在床上拔萝卜又疼又叫
14may18_XXXXXL56endian个
差差漫画网站页面入口弹窗秋蝉
略国精产品W灬
接电话插的说不出话怎么办
菠萝蜜国际通道一区麻豆
国色天香精品一卡2卡3卡
丰满大爆乳波霸奶
父母儿女媳妇一起来的寓意
YW193龙物新地
麻豆传播媒体入口下载免费版官网
男朋友平时都是怎么上你的
探秘亚洲XXXXXLMEDJYF
老婆同意再找个男的
成品网站nike
3根一起会坏掉的好痛
考的好妈妈随你上
情侣做运动的动态表情包
马总喜欢我的两颗小葡萄
亚洲1卡2卡三卡4卡2021
老八吃奥利给原视频不遮挡
帮老师通下水道
女教师的诱感5
最近最新中文字幕MV免费
男朋友是怎么玩你的
吃到自己的小鸡最简单办法
歪歪漫画登录页面免费漫画入口韩漫
麻婆豆传媒一区二区三
同学的妈妈2中韩双字
输了让对方随便玩一个月的作文
叔父和爸爸谁更大
公交车上两人双指探洞天气网
国产麻花豆剧传媒精品MV
highschool dxd
BBOX撕裂BASS孕妇欢迎您!
一次又一次的索取
宝宝我们对镜子C好不好
楼梯c到哭不止
任你干精品视频免费
一面膜上边一面膜下电视剧
5g天天奭5g天天运动破解版
你是不是就喜欢我站着弄你
939W乳液78W78WY3
yellow动漫网
旅游和父亲开一间房间做了
陪儿子读书发生的事是真的吗
后入式曰女人pp
奶酪陷阱在线观看
natr-241
大奉打更人插花弄玉成语意思
和爸爸早餐的时候连在一起
14may18XXXXXL女
女子学校储物柜3.0
YSL千人千色T9T9T9最新
成都4片p视频
XL司樱花未增删翻译
女人洗澡沐浴露全身
大武当之天地密码迅雷下载
国精产品一二三区别在哪里
含羞草MYHANXIUCAO
2021中文日产幕无线
AI人脸替换脸杨幂在线播放
WRITE AS干蒙了
哇他怎么这么猛啊
最新果冻传媒MV在线观看视频
适合自W看的文段
课代表让我桶她30分钟作文
都市传说系列未增删带翻译樱花
日韩砖码砖专码2023
武易传奇登陆器
具体描写被C的过程
世子很凶插花弄玉前进后
关晓彤被华晨宇做出了水车
美满天伦家庭交响曲1
张津瑜卫生间1080P
夜夜春2008旧址
青青草国产视频免费线观看
卫老汉与淑蓉第一次
JEALOUSVUE厕所
我的极品岳坶34章
laurenphilips老妇人
春暖花开吧cc
大哥二哥你们谁先来
疯狂厨房2双人3-5视频
保守娇妻被别人开发成功
缓慢而有力的往里挺送
柳青青人体艺术
女儿今夜以身相报父亲怎么办
男人和女人香蕉网线看
我被两个男人玩到早上
如果抱过亲过吃过摸过算什么关系
被大叔C哭是一种怎样的体验
湖南高中秋千门事件
亚瑟首页YASEE
人和畜禽Croproation
WRITEAS震动器
挪威的森林打扑克又叫疼
密桃成熟时33d国语
我把我的肥岳日出水来
47大但人文艺术
xl上司带翻译中文版
野花社区日本最新免费
嫦娥狂飙乳液奖励自己一发
够了够了已经满c了高c了
打扑克直播下载软件免费
WRITE AS蕾丝
30分钟你看个够
火影忍者禁图片
GAY大陆年轻帅小伙2022
国色天香A区与B区
美女脱个精光露出奶头和尿口
在公交车上被蹭流水了怎么办
4虎的新地址是多少
14MAY18_XXXXXL56ENDIAN美V
在教室里把跳d开到最大
金银瓶1-5普通话
亚洲一线产区二线产区
家里没人跟奶奶做
中文字幕无线在线视频
男生吃小兔兔的细节描写知乎
你下水好多下水道BD
教室里英语课上插英语课代表
甘雨乳液狂飙图片黄XMAN
僧侣之夜动漫未删减在线观看免费
100种禁用的视频软件
久久大香伊蕉在人线免费
被机器人C的停不下来
我把英语课代表按在桌子上抄
美女露100%双奶头无遮挡免费
上边一个日下边一个非念啥电影
444奇米影视四色
51cg7.today吃瓜群众网
十天的爱人韩语
2021蜜芽美国无吗
一下下的撞着公主
嘼皇妓院BESTIALITYSEX
天天想你视频免费观看高清在线
做错一题就往下面插一支笔
去姥姥家进入妈妈身体的说说
8小8X华人免费2020
迈开腿打扑克没有马赛克还有牛奶
玩滑梯吗越往下越疼那种视频
我哥把我拉到一个没人的地方
Zoom与人性Zoom1区别
医生听诊器PLAY羞耻PLAY
野花日本HD免费高清版7一
ZOOM与人性ZOOM23
SSNI-674
太多了装不下H11
向涟苍生士献上纯洁
和女儿弄了好多年了
他缓慢而有力的撞着内容
蜜芽miya188.mon牢记无限观看
成色AU99.9
国产精华液一线二线三线
爱情鸟免费论坛一
你弄得人家里都是水好大
电车之狼r 去马赛克
离婚跟儿子搞过吗
三个人一起C感觉
旅游途中夫妻换着玩的说说搞笑
日本乱码卡1卡2卡三卡重新
WRITE AS 大腿内侧
女医生让我舔她BB
r车禁闭室润滑剂
r头怎么玩教程
帮帮我爱神豆瓣
韩国妈妈的朋友2020整有限中字
他那里早已支起了帐篷
五行书院在线观看完整版
九阴真经野草版
用玉器养大的公主么么
小苹果日本影院
一面膜上边一面膜下电视剧
吃女朋友的扇贝是什么感觉
朋友的母亲3在观有限中字
一前一后的动了起来
gtv全球最好g平台推广链接最新
乱辈通奷XXXXXHD电话系
可以随时随地做的小镇公交车
没带罩子让他C了一节具体写文
china农村夫妻homemade
写得很细的开车秒湿的作文
蜜芽最新域名网站
爸爸说家里没人可以C了
又大又黑又长的蘑菇头
宝贝这才几天没做水公交车
婉莹满足了十几个农民工视频
亚洲尺码和欧洲尺码的区别
男朋友晚上都是怎么玩你的
小船摇曳大船h
无人区乱码三卡四卡
无尽画廊Naruto小南
抬起一条腿对正往里怼
宝贝就一下下好不好
亚洲日本乱码卡2卡3卡新区
爱情岛论坛2019年免费
男生和女生一起差差30分钟很痛一百条信息
输了让同学玩全部位置游戏的作文
CHINA中国东北GARY2022
怎样用两根棉签玩哭自己
英语老师没戴罩子让我抄了
男人的坤坤穿进女人的甜甜圈图片
怎样玩隐私位置
隔壁老王的春天
在C用力把桌腿A抬离地面时小说
大团圆公交车大结局2
漂亮妈妈5观整有限中字
LINODE日本IPHONEDVD学校
一抽一出BGM30分钟有声音老狼
女的说疼男的越往里寒
遥控器跳DAN放在里面坐公交
唐三插曲比比东插的不亦乐乎
小科科黄版无限刷免费
年轻教师的滋味5在观有限中字
吴梦梦到粉丝家里洗澡在线
ok电影在线观看
动漫人物将机机插曲漫画图片视频
TOTAKKAHAYAKIRIX777777777
果冻星空爱豆国产在线播放
噼里啪啦水蜜桃
18款禁用APP网站进入口
10tpu色母与pa6色母
叶非墨和温小暖车内做
男男车车的车车视频真人
bgmbgmbgm老妇60岁XX
别急晚上老师就是你的人了
兰州老肥熟全程露脸
双胞胎一前一后夹心饼干双子
ysl水蜜桃86满十八岁
雷电将军的乳液狂飙图片
妈妈酒后误为我是爸爸怎么办
妇少水多17P密泬18P
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1