有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
快猫记录世界纪录你
96传媒制片厂制作视频
我的XL上司第2季未增删带翻译
Jessica Jaymes女猎人
巨人精品福利官方导航
夹枪带棒(1V2)
精品日产一卡2卡三卡4卡三
ati radeon hd 4350
拔萝卜又痛又叫黄
vodafonewifi巨大黑有多好
不被原谅的搜查官
男生和女生晚上玩滑滑梯
低头看看我是怎么爱你的
我被女婿日得舒服死了
黑人缓慢而有力的往里挺视频
人类是如何交匹配的过程
第一会所s001
金艳花瓶之朱2蛋
刘耀文在水里做哭宋亚轩
BEB-079
搞机time下载不用不收钱嘉兴
太阳帝国的原罪秘籍
无限在线观看韩国动漫视频
JMComicron传送门
用嘴巴吃鸡会有什么好处吗
WRITEAS强制标记
醒来发现狗狗在上我
6人轮换害羞了
餐桌下手指噗呲噗呲
男生淦哭男生的过程
狗头萝丽 呼啦圈视频
晚上开车又疼又叫的声音
丰裕纵满2588
一面亲上边一面膜下边打扑克视频
徐若瑄魔鬼天使下载
哪个网站可以看泰囧
日本厉害的RAPPER网站
父亲的东西又长又黑
最近中文字幕免费国语6
羞羞漫画登录页面免费漫画入口网站
上体育课课被捅了一节课
亚洲无人区码一二三区别在哪
世子很凶插花弄玉前进后出小说
欧洲VODAFONEWIFI一区
无区码一码二码三码
丁香大型成人网站
上楼梯每走一步就撞得更深
星野明日香种子
大团圆6血缘关系
BGMBGMBGM老太太毛多多
公天天吃我奶躁我的
今天接待了30厘米的客人
长城小队(上)(中)(下)
宝宝你好会夹啊都拉丝了什么意思
妈妈说带好套可以给我视频
妈妈的朋友4线在完整有限公司中字
蜜中蜜3动漫无修在线观看
漂亮秘书的滋味2中文
md0065艾秋快递员服务品质
2012日本高清免费中文
夜里18款禁用b站网站
空姐前规则高清观看在线
一本大道香蕉大无线吗
才三根手指头就疼了小东西
腿打开一点就能吃扇贝了
老太婆下身浓浓毛多
BabyCAT98女rapper
被做到晕是一种怎样的体验
国模欢欢销魂全过程
不知火舞vs外星人h
2人轮换c一个感觉
看我是怎么C的你叫出来了
Nagoonimation Works3D
水都拉丝了啊甩的到处都是
上学没罩子被捅了一节课违法吗
售票员用身体测量尺寸上车
妈妈的朋友的4在观完整有限中字
边走边c1vn骨科古言
小东西几天没做喷的都是
男朋友问我要不要玩3个人的
写的超细的开小黄车的片段
黑人的很粗很大的蘑菇头
一二三四在线视频社区3
插曲的痛的视频漫画
小东西是不是又想吃棒棒糖了
邻居的夫妇交换3
女人迈开腿男人要吃草莓
国精产品一二三四线免费
嫩草研究所入口一二三四
坐在教授的棒棒上写作业
可以随意触摸内部位的手游
为什么把腿开到最大就不疼了呢
我年轻的继坶2019
XRK1_3_0ARK向日葵站长推荐
人间小喷泉1V3HL笔趣免费看
五根一起会坏掉的好痛的
狼群社区WWW中文版
在语文课堂上插英语课代表
按在镜子前窗c
水蜜桃视频下载方法
爱情岛论坛首页推荐
够了够了已经满到C了高C了
vodafonewifi喷浆
不要再进去了会被撑坏的
宝宝好大我都握不住了视频
太鼓达人dx dlc
麻豆传播媒体大全
12星座离奇事件柳岩
极品教师高清免费观看中文
我的兔子好软水好多h15视频
学长两个人一起会撑坏的视频
最近2018免费中文字幕4
如何引导让狗狗上自己
兰州老肥熟全程露脸
WRITE AS 医生X患者
曜给西施焯的脸红
51吃瓜爆料黑料官网I60UJBN
金鳞岂是池中物候龙涛
视频一区麻豆国产传媒
韩国妈妈的朋友2020整有限中字
AAA国产大陸片
打扑克牌又疼又叫
卫老日晕了淑蓉第八章芒果视频
腿张大点就能吃扇贝不疼视频
夜恋全部支持安卓UC
女生和男生打扑克差差差差视频
国精产品6666
吃瓜网51cg7爆料
14没有工具怎么自w到高c
linode日本iphone强汉入口
精品卡一卡二新区仙踪林
老板的办公桌BD
美国vodafonewifi巨大app
好涨水快流出来了快吃动
领导每天都要喝我的奶
早上被C醒是一种怎样的体验知乎
野花视频免费手机版
帅同社区文学转载
各种姿势玩小处雌女TXT视频
XMXMXM18
日产韩版精品一线二线三线区
掌中之物何妍被多少人轮
打朴克剧列运动动画版
浇灌妈妈肥沃的土地上架感言
紫霞用金箍棒桶自己的哪里
儿子的坤坤塞进妈妈的坤坤
一边说嗯一边喘气是什么
在床上拔萝卜又疼又叫什么病
荡秋千越往里越深
妇乱子伦精品小说网
18款夜间禁用粉色短视频
亚洲无人区码一码二码三码区别
隔着衣服吃你的小尖尖作文
我一加速她就哭
双指探洞感觉要飞了
公交车多人运动黄
秘密教学92你可以随意秋蝉
滑滑梯越往下越疼的那种图片
极品教师全文阅读无删减
美满天伦家庭交响曲1
深度开发1v6笔趣阁
日韩乱码卡1卡2卡三卡四卡
我十二岁就做了不干净的事
新版猫咪地域网名入口3.0
VODAFONE喷浆
女婿你不能谢在里
麻豆传播媒体2023最新网站
中文在线12月1日快速反弹
欧美致敬很多经典的黑白mv
公园里的老年镖客视频人生
玩滑梯吗越往下越疼那种污梗
男生说想在你身上滑滑梯
欢乐颂5高清免费
海角社区.COMHJ
51大豆行情网仙踪林
王者荣耀云缨害羞流口水
成片人卡1卡2卡3
漂亮的保姆韩国百度网盘资源
GARY18一19
年轻的朋友5中文字幕
14MAY18_XXXXXL56ENDIA免费
打扑克差差差视频
美国男人的大鸟
迈开腿男人往里怼女人做法
接电话顶C的说不出话
babycat98女rapper免费
班上男生带到没人的地方作文
宝宝都湿透了还嘴硬疼怎么回事
晚上剧烈运动打扑克的软件
用毛笔蘸下面洞里的水写字作文
够了够了已经满c了高c了
放里面睡觉是一种怎样的体验
pilipili噼哩噼哩最新版黄的
林念修是谁的秘书
趴在办公室被老板们C
两个奶被揉得又硬又翘怎么办啊
又大又白两座山峰
人和畜禽Croproation
涨精装满肚子公交车
mide-008
跑步机上边跑边顶
学生的妈妈双字10字
400aicom情艺中心
美国ZOOM人狗APP一欢迎你
无翼乌全彩无漫画挤奶
妈妈的朋友5线观超清
中文日产幕无线码一区2021
菠萝蜜一二线产区
野花免费观看日本电视剧
狗狗的大东西在人里什么感觉
学长跳D放在我里面上课作文
王者荣耀黄化网站入口游戏
国产无人区码卡二卡3卡4卡网站
我和黑帮大佬的365天
19岁RAPPER潮水
绝对控制我的学校2
究惑肉车禁闭室
噼里啪啦水蜜桃
女生越说疼男生就愉快
中文字日产幕码三区的做法大全
把自己扣的全是水的视频
没带罩子让他吃了一天会怎么样
日本大但但人文艺术
香草视频www高清在线看
男男车车好快的车车图C
加满1箱92号汽油多花15.5元
15岁macbookpro日本
差差漫画免费斗罗玉转土豪网站
两个人一前一后太长了
5G天天奭5G多人运在线观看免费最新
两个男孩子开车细写
小兔兔经常被吸会有什么变化
sky-258
夜间自罚自己实行污
2019天天射干
学长两个人一起会撑坏的视频
韩国演艺圈悲惨事件快播
外国情侣插秧方法
被做到晕是一种怎样的体验
欧洲乱码卡一卡二
老师你的兔子好大好软水的作文
小舞给人桶的模拟器
adc影院欢迎你大驾光临
淋浴喷头gc自w车文
张津瑜 VS吕总视频
老太太BGMBGMBGM性
痞幼黑料不打烊900张照片
被自己家狗上瘾了怎么办
没带罩子让他吃了一天药会怎样
心疼爸爸给他一次可以吗
迈开腿让尝尝你的小鸡的视频
精产国品一二三级产品区别
yinseyinxiang
张津瑜资源在哪
俄罗斯POMOGISEBE
不遮阴小内搭走秀
美国呼吸道疾病病例激增69%
帝台娇宠鸾帐欢公主端木摇
十七岁中国高清免费观看
仙女棒坐着使用图片
三圾片有哪些好看
无区码一码二码三码
成熟交BGMBGMBGM中国
在车里被撞了八次高C文
张津瑜视百度云
塞跳D不能掉出来上学作文
上自己妈妈是一种什么体验
MD豆传媒一二三区进站口
by1259改哪里了
坐在学长的棒棒上学作业
坐在学长的棒子上写作业作文片段
最近日本免费观看MV百度
女儿初长成爸爸来尝鲜食品
相亲对象是问题学生未增删免费观看
暴躁老阿姨CSGO技巧
结合处粘腻水声拍打声的预防方法
潘甜甜果冻传媒七夕连接
B站大但人文艺术图
早就想在公司要了你
夫妇乐园在线阅读
成品网站nike
和邻居交换娶妻1
b站免费建网站
永远免费的品色论坛
三叶草M码和亚洲码区别
爸爸妈妈夜里摇床还叫
黄金网站APP视频
班长没戴奶罩让捏了一节课怎么办
迷人的保姆3线观高清
一边面膜一边燥的视频
你的下面是我的饮水机
W永久9392W乳液
上课的时候突然把跳d开到最大
晚上给我通下水道
拔擦拔擦X8X8华人免费
blued片在线观看高清免费
大叔1V2LH
朋友的娇妻好爽好烫嗯
双男主车文图长图
JAPONENSIS18一9
漂亮的小峓子5中字巴巴巴鱼汤
我与黑大佬的三百六十五天完整版
最爽的乱惀200短篇小说
忘记擦黑板被老师C了一节课
荧去掉小内趴在地上打扑克
津渝视频完整版第一集
男人愿意亲吻你私下代表什么
美国呼吸道疾病病例激增69%
棉签冰块放入PG的照片
最近最新中文字幕大全手机
老旺的大肉蟒进进出出视频
猫咪MV最新永久地域网名叫什么
前夫的东西很大和三个人在一起
原神女角色去掉全部衣物
公交车两人双指探洞详情
能让人下面湿的漫画有哪些
打扑克的剧烈运动摇床视频
看见你的棒棒就想吃的歌手是谁
精品无人区卡一卡二卡三
男朋友一晚上透了我3回还想让透
为什么越叫他越快视频
迈开腿让学才尝尝你的草莓
粉色视频免费版高清全集
金银瓶1-5普通话
家里没人叫大声点我想听
同学叫了好几个人来玩我
in treatment
10种禁用的漫画软件
墨燃给楚晚宁用道具
亚洲videosgratis.tv0.
芳芳的性幸福生活18 章
交警用小XUE查酒驾H
海角社区母亲为儿子高考解压
一面亲上边一面摸下边打扑克
男女倒插莲花是什么意思啊
日本一线产区和韩国二线产区区别
乖乖没事一下就不疼了
一个晚上用了好几个小雨伞
双男主有车车的腐肉动画推荐视频
孩子玩着玩着就进去了怎么回事儿
风韵诱人的岳欲仙欲死的图片
WRITEAS做作业
幸福宝8008隐藏入口2021年
黑人猛挺进小莹的体内视频
荷兰少归BVBV
z0oskoolstray猪
马是怎样交匹配的
国产果冻天美传媒电影
从后面抱着妈妈突然脸一红
亚洲一线产区二线产区地图
欠C的玩意SB就是用来C的HI
总裁缓慢而有力的往里挺送
人与畜禽CROPROATIO一
国精产品一区一区三区M
穿成男主的绿茶初恋
生物繁殖课老师拿自己做例子
大巴车轮C系列
日本ZOOM动物
公交车多人运动黄
孟十朵玉女春光图
车子一晃一晃正好掩盖我征文
最近日本韩国高清免费大全
量近2019中文字需大全规须1
0ADC大驾光临未满十八岁5G
女士不遮阴小内搭走秀
黄可46分钟完整版种子
国产尺码和欧洲尺码视频
妈妈说带套可以给我
可以随便看内部位的rpg手游
段嘉许把手指探了进去是什么意思
肚子里全是JY鼓起来了怎么办
百合车车描写文字
体育老师拉着我做了一节课视频
仙踪林直接入口欢迎你
嫩草研究所官官人口2021
豪妇荡乳1一5
练瑜伽的时候进入
揉捏 高(h)
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1