有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
台湾swag是什么
三个人我是怎么C你的
近親五十路六十被亲子中出
国精产品一二二线
王者荣耀女生去掉小内 软件
日产一二三区别图片高清
金瓶双梅2房奴试爱
教室里英语课上插英语课代表
把跳D放在里面跑步不能掉
被爱豆们翻来覆去1V7
嗯啊快拔出来我是你老师视频
芳草地社区在线视频
厚颜无耻韩国动漫免费阅读视频
英语课代表趴下让我桶
丰裕纵满杨玉环2588演员表
黄可46分钟完整版种子
用红酒瓶塞堵住不能流下来皮
X姓女RAPPER的首次亮相
美国mantakopkanhaya
51成品网站W灬源码16章节
欧洲最强rapper潮水网
bgmbgmbgm老头野外
黑黑的粗粗的长长的是什么
19岁macbookpro未满16岁
女生越说疼男生越往里免费漫画
星空传媒XK8077妻子的报复
13适合用多大的仙女棒
最爽的乱惀200短篇小说
校花喂奶门卫老头
ZOOM人牛OKZOOM俄罗斯k9农场
成品网站源码入口隐藏通道
你是我的女人HD
腿抬高一点就能吃到扇贝肉HD
神马影院线手机理论午夜
boss俄罗斯撕裂bass
16岁日本学生MACBOOKPRO评测
亚洲一线产区和二线区的区别
老人船上弄雨婷第20集
传闻韩国电影免费观看
19偷偷鲁青春草原视频
汤加丽露生殖147图片
老人船上弄雨婷第20集
被吃扇贝的感觉
说服好兄弟让一堆人c我作文
在床上拔萝卜又疼又叫的描写
女人扒开屁股爽桶30分钟
国外精产品W灬源码16
h高辣公憩1v1
宝宝1V3高干学长
第九视频聊天室
等不及了先做一次
双人床上做的运动打扑克视频软件
旅游和父亲开一间房间做了
小蓝全球最好的钙片AG
人物动物交互高清
麻花传媒沈芯语国产传媒
千金肉奴隷1985未删减版在线观看
24种男女插秧法
赤裸羔羊4蜜桃迷色
我做错一题他们就C我一次
家长会上爸爸们C幼儿园老师
金刚杵汆肉莲全过程
姐姐说想做可以找她
爷爷吃我的R头
4hu最新地域网名2021
玩R头的100种方式
男女车车好快的车车有点污网站
旅游途中夫妻换着玩的说说
wnz-167
他趴在两腿中间舔我私密有事
小叔子说我的奶奶好大
国产成人果冻星空传媒
缠着腰不让退出
大女小娟二女小妍
客厅H伦亲女小芳小雪视频
公交车轮C系列
舌头伸进去添能让高潮来的更早吗
野花高清在线观看免费官网中文版
帅气体育生GARY网站小蓝
嗯啊快拔出来我是你老师视频
工囗囗番漫画大全全彩
阿铜铜铜好多水
儿媳妇夸我比他老公大
国精产品自偷自偷YM使用方法
白天躁晚上躁天天躁.
茄子视频在线无限看-丝瓜IOS苏州晶体公司红
野花韩国视频观看免费高清8
HD2linode iphone69
在语文课上强插语文课代表
你的小B不就是用来C的吗
一个人夜里偷偷看b站怎么办
老公朋友的媳妇给老公送生日礼物
中国东方XXXXXLMEDJYF
软玉娇香1V3
每天都是被C着醒的
女生戴自动蝴蝶去上班的注意事项
丫头把腿开一点就不疼了
年轻的母亲最初中字7巴巴鱼汤饭
いっぱいしぼっちゃうぞ在线
snis939
男人把j放进女人的下面的视频
院子里公开惩戒(下)WRITE
每走一步就会深深的撞一下
五根一起会坏掉的好痛的
离婚五年忍不住了和儿子睡了
骨王OVERLORD第四季樱花动漫
八重神子开襟狂飙乳液
父亲的东西又长又黑的说说句子
多肉大尺寸小黄说说
这几天没C你了是不是
亚洲一卡2卡3卡4卡国色天香app
才几天没做水这么多人要吗
成品人直播大全2023
老师的手指在里面转动的写作业呢
娇妻两根一起进3p视频
前女友那方面厉害一直忘不掉
迈开腿让我尝尝你的草莓什么味
同桌把我拉到他家C作文600字
被体育老师c了我一节课作文
在公交车上撞出了水
处钕膜被捅出血图片
黄色软件app下载3.0.3每天三次oppo版
和老公打电话接顶的她说不出话
不知火舞海滩h
mxgs-837
妈妈说带好套可以给我
欧洲最大但人文艺术666
两个奶头被吃得又翘又硬怎么办
舌头探洞感觉要喷了
够了够了已经到C了满C了
把你拉没人地方玩你
东莞技校门种子
小东西几天没做喷的全是水
把她送上快乐的巅峰
人性短片30分钟
日韩一卡2卡3卡4卡仙踪林
媒豆传媒免费视频入口网站
动态图27男舔女
用...用点力快要到了视频
超速绯闻女主角
双生子的玩具2V1
国内国精产品一二三区传媒
男人到天堂去a线2019
男朋友抱着我在图书馆做
2019天天射干
蜜芽miya1173永不失联
原神雷神ドラえもんのエ网站
大尺寸的小黄说字多肉小学生
C死了啊哈宝宝的腰好会扭
老公才睡完我妈又睡我什么意思呀
被子里怎么体罚自己下面
我的一次三门齐开
初中女生喊疼男生越往里寨游
斗罗大陆黄化网站
国精产品一区一区三区
迈开腿让我看看你的草莓照片
最近2019免费中文字幕视频三
我们换个方式做吧未增删动
花木兰站在凳子上给刘禅做作业
1069男男贴图
女人天堂在线a在线
俩人一上一下做运动的表情包
adc影库确认年龄18点此进入
《重考生》漫画免费看
桃花社区在线观看免费观看
三个弟子合力弄师父
品色论坛最新网址
麻花豆传媒剧国产MV免费版特色
宝宝我不进去就蹭一下不动
姬小满无限奖励别人的英雄
放在里面顶着学长写作业作文
奔现做了一晚的细节
青青草国产视频免费线观看
免费做运动扑克视频网站大全
坐在紫到发黑的木棒上写作业
美女扒开尿口让男人桶进
够了够了已经到C了满C了
ぱらだいす天堂中文WWW最新版
瑶脸红流口水流眼泪翻白眼
年轻漂亮的岳坶9
两根一起进去疼拔出来就不疼
吃八重神子的乳液
翁熄系列欲仙欲死
厚颜无耻韩国动漫在线阅读视频
日本LINODEIPHONE6
国产无人区码一码二码三码区别
斗罗大陆小舞给人桶的模拟器
伧理片午夜伧理片
中文弹幕日产无线码一区
花木兰站在凳子上给刘禅做作业
趴下皮带write as
被C了一晚上是什么体验
宝宝坐下来自己摇
人与畜禽共性关系的重要性
仙踪林19岁女RAPPER一百信息
妈妈酒后误为我是爸爸
最近更新2019中文字幕高清
济宁郑媛媛ed2k
永久939W79W99W乳液
韩剧我女朋友的男朋友不是我
沈阳老阿姨最后的巅峰
美丽姑娘高清日本版图片大全
14MAY18_XXXXXL56ENDIA
凌晨三点看的片www动漫
班长哭着说不能再深了作文60
WRITE.AS塞东西
英语今天晚上让你桶个够的软件
太紧了夹得我的巴好爽欧美
茶杯狐 CUPFOX官方
小东西几天没做水这么多作文
电车之狼怎么安装
小鲜肉GARY2023男男
妈妈醉酒后误认为我是爸爸
我把英语课代表按在桌子上抄
男朋友抱着我在图书馆做
肉蒲团 极乐宝鉴
张津瑜七段视频1080P
jm漫画战争与和平
心疼儿子给他一次
BGMBGMBGM多毛老太太
GAY大陆年轻帅小伙2022上
赵玉梅在灶间放弃抵抗
两个黑人大战娇妻的小说
粉色视频观看高清在线HD
人与畜禽corporation怎么读
宝宝上面全都是你的水
新兵给老兵吃鸡把照片换了
非洲人和和人配人视频
白妇少洁第1一40章
羞羞漫画在线漫画网页破解版
正能量网站www正能量网站
.把你里面填的满满的视频
无翼乌无漫画3d无遮
吃胸下面激吻娇喘黄禁
无人区一码二码三码四码区别在哪
前夫的东西真的很大
片多多3999HCC
鲍鱼网名区域2021
UNDERTALEエロ
免费做运动打扑克视频
太鼓达人dx dlc
火辣导航APP福引导网站
XL上司未增删带免费翻译樱花
雷电ゃんが腿法娴熟を免费网站
rosi视频001
小混混被学霸做到哭男男
一个色农夫的导航
同桌把他的J坐进我的下面
女士不遮阴内搭图片
按在桌子上欺负
水蜜桃文化传媒
嫩草研究院2021隐藏网址
东北老女人高潮大喊舒服死了
草莓丝瓜深夜释放自己的歌词
对象都是怎么顶的
用手指轻轻按着并来回移动
王者荣耀女英雄去掉小内无爱心图片软件
精产国品一二三产品在哪
M HBFAXIA
荧被丘丘人繁衍后代剧情解析
蜜芽忘忧草768.mon.二区老狼大豆
成品视频网站W灬源码是
我控制不住我想要你
够了够了已经到C了满C了
25岁高中生未增删翻译中文翻译
如何用一根棉签玩哭自己
中考前妹妹让我C1次
好...好快啊哈哈
催熟po1v2阿司匹林
2023钙GGY钙站入口
太久永久回家地址TAI9.VIP 保存永不迷路
老熟女重囗味HDXX70星空
捧小伙人帅吊大GAY
我年轻善良的继4
200hh情艺中心
台湾佬中文网娱乐网
中国小鲜肉gary西北军军2022
エロワンピースエロい在线
丰满圆润大胸在线
小受被按在墙上做腿交男男
我坐在有木棒的椅子上写作业视频
处钕膜被捅烂m图片
夹得好湿真拔不出来了动态图
自w的时候看的小短文
老地方在线观看免费视频社区
AI人脸替换脸杨幂在线播放
WRITE AS 讲台上
老师洗澡让我吃她胸视频
性肥胖BWBWBW69
把女人弄爽特黄A大片片
ZOOM人牛ZOOM俄罗斯
PAYPAL未满十八岁
加满1箱92号汽油多花15.5元
妈妈的朋友在完整有限公司中字4
成片一卡二卡三卡观看
麻花传媒网站永久入口视频
扒开粉嫩小泬直接进去
韩国妈妈的朋友2020整有限中字
成品禁用短视频APP抖抖
把两只小兔子吸红肿
性VODAFONEWIFI另类老少性
ZOOM人牛OKZOOM
最近最新手机中文大全4
女子高生の腰つき
我十四岁可以放几支笔在里面
蜜芽高清完整视频
总裁的六岁娇妻
千人千色YSL
美女脱精光让男生桶下面
水都这么多了还装什么
女生和男生一起差差的事
25岁的女高中生相亲对象是问题儿童
女生迈开腿打扑克又痛又痒怎么办
妈妈的朋友12完整视频有翻译
他一次比一次撞的重
把八重神子焯出白水怎么办
TESTFLIGHT男人必备什么意思
张津瑜三部曲都在哪看
濡湿的车站未增删带翻译樱花翻译
公交车伦流澡到高潮HNP电影
一边亲一面膜下的
2019朝国免费理论
精品无人区卡一卡二卡三
美国ZOOM人狗APP一欢迎你
妹妹流了怎么多还说不要
中国警察网记者张津瑜事件始末
吧女未成年 电影
快穿之c死你h
中中文日产幕无线码
GAY2022空少被体育生暴菊
谁输了去谁家受罚小红和小明
国色天香精品一卡二卡三卡四卡
日本坐公交车弄了2个小时
linode日本iphone强汉入口
写的超细肉汁水文
新龙门客栈2龙门飞甲
无人区一码二码三码四码多人收藏
娇妻玩4P被三个男人伺候小说
父子骨科多r车推荐
仙女棒坐姿图片大全
爱情岛永久免费线路二视频
120秒免费体验试看5次
一面亲上边一面膜下边文字的含义
上边一面亲下边一面做连续剧
他的手指在里面转动的写作业呢
快好喷水视频连续登上热搜
红色一片免费版
情人的东西比老公大怎么办
FRXXEE中国XXEE医生
日本RAPPER老师
宝宝两根就哭男男是不是太早了
孩子玩着玩着就进去了怎么回事儿
爱恋2015是怎么拍出来的
禁用18软件APP葫芦入口
宝宝我不进去就蹭一下不动
体育生GARY2022打桩
如花似玉如饥似渴
亚洲乱码一卡二卡卡3卡4卡
日本一姐RAPPER潮水是什么
小龙女的紧致花径
星空无限MV国产剧梁佳
整篇都是车的多肉
桃花怪大战菊花侠
公嗲嗯啊轻点公大ji巴
无人区码和一码的区别
父亲缓慢而有力的撞着
不让尿还喝水棉花塞住不能尿作文
亚洲小鲜肉帅哥GARY
你把腿开大点就不疼了
汤加丽露生殖147图片
他不让我断奶他要接着吃知乎
把樱桃一颗一颗挤出来不能破
女的越疼男的会越往里寒
让人看得留水水的故事
蜜芽永不失联2023
坚定挺拔的进入
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1