有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
免费30款禁用黄台网站
XL上司樱花未增删翻译中文翻译
爷爷吃我的R头
女的说疼男的越往里寒
腿打开一点就能吃扇贝了
WRITEAS骑马
手机调成震动夹在中间有感觉吗
看着我是怎么吃你的水
十七岁中国高清免费观看
又大又黑又长的蘑菇头
开车视频疼痛有声音水水
宝宝下面都湿透了还嘴硬疼咋回
pretty rhythm第三季
家长会上爸爸们C老师
YW193龙物地址
扣自己的正确手势图9个
吕杨张津瑜酒店落地窗mba
从阳台X到卧室边走一步视频
国内精品一卡二卡三卡抖
顶的她说不出话来
大胸年轻继拇HD无码
好深再深一点动态图
儿子把坤坤放入妈妈的坤坤里视频
秘密教学第9话不能跟别人说
九一果冻制品厂最新电视剧红桃
两对夫妇在野外帐篷交换
男生对女生迈开腿尝尝你的草莓
麻豆传播媒体APP哪能下载
把下面能看湿的句子5000字
男男车车的车车啊哈哈真的
办公室的交易HD日本
B级文件翻译完整版
梁医生再往下一点吃肉视频
重生之祝英台遇到马文才 在线
TTTZZZ传送门2024
风间由美 熟女
无翼乌全彩无漫画挤奶
坐公交车弄了2个小时视频
GOGOGO大但人文艺术大
麻豆传播媒体网站入口官网下载
岳腿缝之间水汪汪高清
俄罗斯人与ZOOM人的区别
野花韩国视频观看免费高清8
分手炮是不是都特别卖力
美国VICTORYDAY妇女
他的炙热在我那不肯退出
把棉签放屁眼里一进一出
小芳乱目录伦7
久别的草原在线影院日本
天美传媒果冻传媒星空传媒
如何自罚必须非常疼又无声隐私
国精产品WNW2544
美式1984雪莉和保罗谁厉害
污到你那里滴水不止的说说文章
水都流了那么多还说不愿意喝
两个球球抖动视频
胡桃N开襟乳液狂飙视频网站
太大了小喜涨死了
歪歪漫画登录页面环球在线看
坐着轮流提双腿能起到什么效
熟妇人妻中文字幕无码老熟妇
加多宝公益战略发布
花魁抚子花魁1号
疼大点声今晚没人
精产国品一二三产品区别在哪里呢
酒店服务生满天星法版免费观看
草莓视频app下载安装免费无限看-丝瓜ios
课后辅导(教室羞耻PLAY慎入)
小峰由衣热血教师
打扑克直播软件APP免费下载安装
巴西任务qvod
缓慢而有力的C
讲讲和对象第一次的细节知乎
我在开会他在下添的很爽视频
宝宝我要把你顶哭了
女生吃坤巴难道不恶心吗
适合自W看的文段
八重神子被焯出白水怎么办
欧洲无人区码一码二码三码区别
岳今晚让我玩个够肥水一体探岳
扑克牌又疼又叫全程视频
皇上太长了撞到点了
国色天香精品一卡2卡3卡老狼
美空ayaka
妈妈的朋友4男演员是叫什么名字
日本打扑克克又叫又疼
男生女生一起差差很痛的APP下载安装2023
吃棒棒糖是什么意思
jealousvue成熟分类
宝宝几天没做都湿成这样做
乱辈通奷XXXXXHD电话系
母亲とが话していま中文
僧侣之夜动漫未删减在线观看免费
精彩无人区一码二码三码四码
宜家回应商场原版视频
一旦试了黑人后你就不想回头
开襟开叉乳液狂飙
花城谢怜车长干哭
儿子晚上家里没人就让你弄
韩漫免费漫画入口官方
无人区一码二码三码是什么
南京交通职业技术学院4p刘梦亿
公交车撞到最里面去了细节
玩弄老太太的BBB
精品1卡二卡3卡4卡免费
秘密教学90话以后绝不再压抑
WRITEAS边做边走
HENTAINATRUAL
十世宫缩剧烈做边生
学生的妈妈2中韩双字多鱼1下
国产传媒果冻天美MD
我想吃你的r头叫出来
宝宝我就在外面蹭一下爱情花季
无人高清视频免费观看在线动漫
麻花传MD0174苏蜜清歌
公交车上玩两个小朋友
中国夫妇hometown
初高中生无套内精
原神甘雨被空C出白色液体游戏
可以随便看内部位的rpg手游
小玩具开启高H
仙女棒坐姿图片大全
联谊中的游戏动漫
桃子视频高清免费观看
14MAY18_XXXXXL56ENDIAN中国
被当成发泄玩具的一天
做运动打扑克免费直播软件
开车疼痛有声音 免费网站
最近韩国电影片免费播放
把棉签放屁眼里一进一出
夫妻成长日记二
早晨起来发现下面还连在一起
4ayy私人影院
宝宝1V3高干学长
和活好的男生做是什么体验
蜜芽忘忧草二区大豆行情网烧仙草
TTTZZZ黑料不打烊肾虚十八连
媲美欣刘老师56部密码
别急晚上英语老师就是你的人
WRITE AS 导尿
上面一边亲下一边面膜使用方法
上一个楼梯就撞一下3
年轻漂亮的后玛
男生的肌肌放在女生的肌肌里面
一本到道免费线观看
把下面能看湿的句子5000字
2022年最新中文字幕
我一边做饭一边被躁了男男
ZOOM人与ZOOMWIDS
晚上吃你的小草莓是什么意思
胸大的姑娘韩国播放
公与熄大战柔佳
纯纯欲动HD在线
数学课代表的那真紧视频
最近韩国日本免费观看百度
国内色母与进口色母区别
妈妈愿意让你c
当着全班人的面做
丝瓜榴莲秋葵榴莲WWW
俄罗斯13一16泑女
课堂上时间暂停为所欲为在线阅读
品色堂永远免费的论坛
入禽太深高清视频韩国
被闺蜜老公从阳台C到卧室小说
小洞饿了要吃大火腿肠吗
详细描写C的过程
老师家里没人你用点力啊
美国VIDEOSCRIBE
玩偶姐姐森林第一季第四集
一二三四免费观看视频1
迈开腿让我看下你的小
学生的妈妈5中韩双字多
暴躁CSGO妹子
双人床上做剧烈运动可以吗
国内精品乱码卡一卡2卡三卡
宝宝桌子上都是你的水
小男孩把坤坤放在小女孩脚
罗马帝国的艳情史
妹妹中考前让我C了1次作文啊
蜜芽737.mon.忘忧草大豆网
51漫画免费页面看漫画弹窗
今日蚂蚁庄园正确答案
双龙进洞夹心饼干
成品视频网站W灬源码是
宝贝我不想带小雨伞啦
爱情真善美40
梦莹与翁公在厨房
淑芬大腿中间又痒了L
灌溉系统NPC游戏双男主
阿根廷舞林大会
精东传媒JDYL027李娜娜
隔着睡衣吃你的小尖尖作文
中字乱码一二三区别视频
女生迈开腿让男生吃草莓
狗狗射速好太可怕了sun
男人想让你亲他的私下代表什么呢
香蕉菠萝黄瓜草莓樱桃榴莲茄子
等不及了先做一次
会所娇妻被多个黑人怀孕小说
御花园皇上撞着太子妃
男生安慰自己的插画动漫
ZOOM人牛OKZOOM
2014年3月里番
rookie女朋友小钰
把班长拉去没人的地方
ZOOKEEPER另类
王者荣耀孙尚香帮黄忠雄起
ZOOM与人性ZOOM2023
淑芬两腿间又痒痒的用药方法
宝贝我跟你老公比谁的更大
136大但人文艺术
成都工行艳照门
老人船上弄雨荷
张柏芝滟照门禁图片图
满18点此安全转入2023
今天晚上让你哭着喊停
啊灬啊灬啊灬快灬深视频直播
BGMBGM老太太毛多多金属
另一类ZoomVCR
海角社区母亲为儿子高考解压
ssni 409
野花香在线视频免费观看第一集
2019年理论片电线
雷电将军乳液vx网站
老师洗澡让我吃她胸视频免费
妈妈说带好套可以给我
原神甘雨被x哭还不断流东西
美女被黑人40厘米进入
上楼梯每走一步撞一下
精产国品一二三区别9
WRITE AS 惩罚游戏
你弄得人家里都是水好大
绝对控制我的学校2
家教老师考100分能一整
污秽的教室未增删翻译
肥胖老奶奶vpswindows
日本不卡三卡四卡
会夹是一种怎样的体验知乎
张津瑜视频夸克下载链接
好爽好多水C死你视频
vodafonewifi暴力
宝宝家里没人叫大点声
晚上玩自己的100种方法
做过爱的两个人会忘记彼此吗
宝宝好涨水快流出来了微信
在公交车上弄到高c的数据
哎呀哎呀在线观看视频高清国语
两根一起进去疼拔出来就不疼
洛克人zero5
狗的东西比男朋友还大
日文中字乱码一二三区别在哪
路星辞段嘉衍肉车长图
睡过一次和n次的身体变化
tokyo hot n0769
18处破外女出血在线
老板一个月都要玩我几次
动漫车车好快的车车图
把女朋友做到下不了床
往下一颗一颗塞冰葡萄
上一个楼梯就撞一下3
文轩车文爽到头皮发麻河马的秘密河
宝贝我的尺寸你会痛
花蝴蝶日本大全免费观看7
爱情岛论坛首页推荐
51吃瓜.world张津瑜
夜深了应该看的视频
东北speakingathome
交换:朋友的妻
老赵抱着月月在厨房做欧美视频
公交车上一路被C
小娘惹剧情介绍
往下边塞水果后吸出来
无限资源第1页2018在线观看
水蜜桃1997
write as 哥哥
把棉签放屁眼里一个晚上
纯纯欲动HD在线
两个人一前一后一左一右
丰年轻的继拇3的特色和机能
妈妈酒后误为我是爸爸
美红与王站长交换十七章
做aj的姿势视频教程图片素材
掌中之物何妍被多少人上
对象吃我的奶奶说明什么
儿子需要我就给了他
エロワンピース天堂
S货是不是想挨C叫大
大尺寸的小黄说字多肉办公室作文
荡公乱妇第1章方情公憩系列大
让儿子上几回了
s货c货大声点
成熟交BGMBGMBGM中国
2019朝国免费理论
钢铁侠3下载 迅雷下载
国内精品自线在拍大学生
斗转星移女明星合成
自W到高C的50种图片教程
我的妹妹需要牛奶才能变聪明
呜呜撞得她说不出话来
坐在教授的棍子根茎上写
你是不是没被C够
胸大的姑娘韩国播放
老师辅导作业下面连在一起
黑人尺寸太大怎么进得去
你能坚持到几张不死射
班长哭着说不能再深了作文60
亚1州区2区3区4区产品图片
alb-219
MOSTHDCOECTION性
男娃JY灌溉系统游戏
维多利亚壹号未删减
全彩口工漫画母系惩罚5
最近免费中文字幕大全高清10
售票员用身体测量尺寸上车
国精产品一品二品国精破解
和闺蜜一起出门带电动玩具
相亲对象是问题学生未增删
男朋友平时都是怎么上你的
大炕上开嫩苞小说
英语老师没戴套让我C了一节课
仙踪林 贰佰信息网
疯狂主妇无删减版
中国XXXXXL19学生
董小宛 果冻传媒 麻豆
老公亲我的小花园爱我吗怎么回答
诱人的女邻居9中文观看
原神角色黄化网站视频下载
三年片在线观看免费观看大全下载
学霸坐在学渣的棒棒上写作业
老师的大兔子好软水好多
文轩塞跳D不能掉出来上学
教练在车里撞了我三次怎么办
BGMBGMBGM太太毛多多视频
迈开腿让学长尝尝你的草莓是什么
野花视频观看免费最新
重生之斗破后宫
国产MV高清砖码2022
avop-119
榴莲官方网站进入
春纪我们约会吧
王者阿离咬铁球流口水图片
好妈妈韩国中字7
男女一边摸一边做爽爽的动态图
欧美VPSWINDOWS极品
美国伦理小樱桃
春江水暖桃仙汁1V2糙
疯狂伦交550篇合集小说
离婚后和单身父亲做
仙踪林19岁RAPPER潮水仙踪林
一边面膜一边燥的视频
自我安抚的步骤图
放里面睡觉是种什么样的感受
纳西妲坐旅行者的胡萝卜
做扑克运动全过程视频教程
10tee中国
儿子今天晚上只让你
你太大我装不下你
同学故意把我的校服当抹布用
BGMBGMBGM老太太交小伙子
二次元人物桶二次元人物网站
白雪公主STOYA
污到你下面流污水的说说
翁止熄痒苏钥第9章
下雨天留客天天留我不留
男生淦男生时是淦的哪个部位
体验区30秒试看五次
我的很大你要忍一下的视频
免费无人区一码二码乱码
XKDSP APP APP隐藏入口
腿再分大点就可以吃到扇贝了视频
中国windows野外
精品无人区码一码二码三码区别
草榴新时代的我们
九阴真经野草坐标
关上最后的门漫画
写的超细的开车过程的现言
淑芬两腿中间又痒了
bgmbgmbgm老妇60岁XX
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1