有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
学生党如何自W
老婆和别人刚干完我又干可以吗
国产欧美GARY
2022年最新中文字幕
精产国品一二三产区区別
女生喊疼男生什么心态
插花弄玉曲径探幽不正经的意思
欧洲最大但人文艺术5788
忘记擦黑板被老师C了一节课
被一条蛇C到崩溃的
野花视频最新免费
中国青少年garyXXNN
厨房里两只奶头被吸肿
家里没人跟妈妈做了怎么办
老公带我去跟别人玩的地方
人多一起换着玩
撩到女生下面流句子
公交要了很多次
白洁一夜挨十炮
国产AV无码一二三区视频
爸爸我可以吃你的棒棒糖吗
边做饭一边躁狂视频素材
含羞草四叶草三叶草
狗链M项圈女母狗牵引绳铃铛
如何把自己弄到喷泉视频
斗罗大陆唐三桶比比东的下面
韩国电影办公室1免费完整版播放
6080电影理论在线软件优势
喷泉1V3HPO
晚上睡不着偷偷看B站
男生说要吸你的小兔子啥意思
ed2k 超市
仙踪林入口欢迎你老狼
一龙二美妇观音坐莲
我姐姐的朋友完整有限中字
真人作爱视频免费网站
全程车的百合推荐短篇
亚1州区2区3区4区产品乱码2021
坐在学长的棒子上写作业作文视频
篮球队的公共玩具正伟
厨房春潮小说第1章
老阿姨儿子一二三区
韩国一线高清免费观看
玛雅wang 发信到
英语老师没戴让我c了一节
皇家小公主1V3
爸爸我可以吃你的棒棒糖吗
原神旅行者插雷电将军的游戏
男朋友是怎么玩你的
嗯啊桌子下抽插NP
色母u6与pA6色母区别
练瑜伽的时候进入
在海棠看小说犯法吗
致青春百度影音高清
2019姐姐的朋友2
adc影院0adc在线
黎朔WRITEAS人鱼
国产老狼一卡2卡3卡4卡隐藏版
18C.MICIOS禁慢天堂18C.MIC北北北砂
军舰上的女兵免费高清原声满天星
女儿初长成爸爸来尝鲜食品
灵狐者全身透视图
无人区码一码二码三MBA智库
王者荣耀公孙离捅到流口水
几天没C你是不是痒了好多水
别急晚上英语老师就是你的人了
夜趣第一福利官方导航专业
夸我比她老公大
污到你那里滴水的说说细节多
当蜜桃成熟全集高清
班长是我们班的存精器作文
淋浴喷头gc自w车文
吴梦梦到粉丝家里洗澡在线
斗罗大陆唐三桶比比东的下面
男生女生一起差差的App大全下载熊猫
台湾SWAG官方网站进入方法
俩人一上一下做运动的表情包
晚上让你吃棒棒糖是啥意思
四虎最新紧急入口
亚瑟YASEE2021在线观看
诱人的女邻居BD中文字幕
晚安 おやすみせっくす在线观看
罩子没戴让捏了一节课
被他从身后撞得浑身散
晚上一个人看B站
手指怎样自W到高C
公交车两人双指探洞湘潭天气网
MD豆传媒一二三四区入口
错一题老师肉一次
今天晚上我控制不好速度
人蛇大战之人蛇浴血战
王者荣耀公孙离喷了的表情
182tv观免费线
俄罗斯人和欧洲人的情感差异
心海ちゃんがを腿法娴熟部下
蜜芽忘忧草768MON二区忘忧草
JEPENSE日本
我一边做饭一边被躁了男男
rbd-509
老公叫我和别人换着玩怎么办
没带罩子让他C了一节
顶开妈妈的生命之门列表
他的手探到我的衣服里作文
免费做运动扑克视频
女生把筷子放屁眼里不能掉
人马畜禽CROPROATION
大地资源高清日本
XL上司带翻译
晚上剧烈运动视频
遥控器跳DAN放在里面坐公交
K8S经典玛丽艳经典片
我的兔子好软水好多双指探洞
高校1V3 PO
张津瑜吕知樾视频在哪看
5g天天奭怎么打开
被C得走不动是种什么体验
欧洲家庭史7726
啊将军好涨鼓起来别顶了
718吃瓜网网站入口
岳喜欢张开下面让我看
不要 在这里 回家 弄
晚上双人运动动作视频
解放的潘多拉 bt
体育老师拉着我做了一节课视频
无人区码一码二码三MBA
GGY钙2022调数
wnz-167
小东西这才3根手指而已视频
任你玩人免费视频
快猫成人短视频app
亚洲无人区天空码头IV
啦啦啦在线观看免费观看7
橘梨纱 超高级ソープ嬢
野花日本大全免费观看3中文
换个地方做吧未增删免费
濡湿的车站未增删带翻译
榴莲app下载网站进入色板
情侣的30种插秧法图片
yasee最新2021
97semeimei
公交车上荫蒂添的好舒服口述小说
欧洲N00N兽交剧
快四十了水还是特别多
冷廷遇简夏在车上做
刚开始一深一浅后来逐渐变大
果冻传媒董小宛一区二区
亲胸揉摸下面刺激视频
秘密教学SVIP土豪免费
c的你走不了路sb
剧烈运动扑克网站免费
云缨用枪躁自己
啦啦啦日本电影在线观看高清
塞跳D开最大挡不能掉老师
恋夜院影全部视频列表2
夫妻成长日记 动画
仙女棒坐着使用示意图
国色天香精品一卡2卡3卡4公司
王者荣耀西施嘴巴里含着口水
自己玩r头教程
年轻的老师滋味在观整有限中字
YASEE亚瑟中文最新
boylove欧美
涨精装满肚子上学体育课免费视频
翁熄小莹(奇思妙想)第二篇
太大了坐不下去太痛快
一抽一出BGM30分钟有声音老狼
漂亮的丰年经的继拇了精东
以我的长度试试你的深度
2023b站免费推广入口
亚洲精华液一二三产区
野花日本大全免费高清7
长城小队(上)(中)(下)
linode日本
迈开腿尝尝你的小森林小说
网站大家懂我的意思吧
和朋友换娶妻3野外夫妇交
贺朝谢俞做到哭
把冰葡萄一颗一颗往下体塞
实时观看双人床上做的运动扑克
今日蚂蚁庄园正确答案
福利姬液液酱高潮喷水白浆
无码AV啪啪一区二区三区
车文越详细越好文字
24小时日本韩国视频
星空传媒剧国产剧情744
亚洲不卡一卡2卡三卡4卡mv
老师你的兔子好软水好多的图片
内射老妇BBX
大将军1V2LH
日韩一卡2卡3卡4卡仙踪林
左拥右抱1v2
md0065艾秋快递员服务品质
免费人马大战CSDN的软件
姐姐说家里没人我们就亲亲
女生的小雏菊长什么样(不是花)
by1259改哪里了
女生喊疼男生越往里寨的游戏娱乐
学长的手指在里面转动的写作业
张柏芝滟照门禁图片图
水渍声和撞肉声连成一片
锕铜铜铜铜v27的独特功能介绍
W永久939W乳液78特点
13适合用多大的仙女棒
农家俏寡妇电影在线观看免费
高N车多肉多办公室
打扑克喘气声音
空荡荡的教室和两次惨烈考试
电车蓝衣女种子
抖音奶片故意走漏
夜间刺激打扑克哔哩哔哩
腿打开点就可以吃到扇贝了视频
姐姐说想做可以找她
免费夜里18款禁用软粉色
亚洲卡1卡2卡四卡乱码
99精品与95优品
钢铁侠3下载 迅雷下载
渴情昼夜 作者东寻问酒
一个人看的免费播放完整版
动画情侣剧烈做运动的表情包
TPU色母与PA6色母
两个男生吃我胸
无人区卡一卡二卡三人伦
无人高清视频免费观看在线动漫
人物动物交互狗免费
W938乳液78AW
免费啪视频观试看视频软件
单身男女2粤语
13277大但人文艺术日本活动
野花视频韩国免费观看
电车之狼r去马赛克补丁
女生让和男生诵自己的游戏
菊内留香TXl金银花
拔擦拔擦永久华人免费
认命吧!金牵牛
东北老太太BBWBBWBBW
我年轻漂亮的继坶bd
做错一题学长就C一次黄
黄到你那里滴水不止
穿裙子就是好c
无颜之月我是看守专用宠物无修剪皮皮虾
性VODAFONEWIFI另类老少性
数学课代表趴着让我c
深夜办公室哔哩哔哩
男女差差差很痛带声音
旅游途中夫妻换着玩的说说
自W到高C的25种图
无人区码一码二码三码区别新月
小舞去掉所有服装图片
巨大荫蒂又大又长勃起
果冻传媒免费观看4399
女生为什么喜欢吃男生的小鸟
分手那天我们做了八次视频
大菠萝导航福建APP网站进入404
玩朋友漂亮娇妻
high school d d
秘密入口地址1地址2地址3 帧
芭乐鸭脖向日葵芭乐鸭脖
可以差差差的视频无掩盖
梁薇陆沉鄞 楼梯
甘雨去内布料开襟XMAN
我的好妈妈5中文
女生迈开腿让男生打扑克
女生奖励自己的视频素材高清版
久别的草原在线影院视频观看免费
只有棉签怎么自罚
我要拥有你的全部下滑
站在公交车里抓着摇曳的手环
自W到高C的25种图
RAPPER老妇人
李z瑞事件图片
404黄台软件平台
甘雨挤出白色脓液
精密导航agv
搞机time恶心10分钟直接打开网页
日本漫画口番工全彩
双器堵着不流出来
一口一口把奶油从胸口
老中医吮她的花蒂和奶水视频播放
欧美年轻RAPPER潮大豆行情
脱色摇床93S
男生和女生一起差差差很痛的声音
抖音小姐姐脱身全衣服
只要两个手指带你体验水上乐园
桃花社区视频在线观看完整版
离婚了天天跑去日前妻
写作业时被爹地玩
年轻的嫂子3韩版带中译
日本不卡三卡四卡
TOBU7TOBU8学生
皇上御花园HL
被C哭着爬走又被拉回来挺进H
WRITE AS 黄瓜
蜜芽国内精品视频在线观看
不知火舞和三个男儿公园
躺在我跨下的英语课代表
共享双胞胎齐娜齐琳
凌华ちゃんがを腿法娴熟部下
12岁拔萝卜一边疼一边叫
三个人每人C我半小时的故事
才两根手指头就喊疼怎么回事
新城劲爆颁奖礼2011
两女一杯是什么
xfplay365每日稳定资源站姿
女生越喊男生越要塞的视频
女人半夜睡不着看点害羞的
99精产国品一二三产区MBA
他不让我断奶他要接着吃
高效天堂在线最新版
遥控器跳DAN放在里面坐公交
XL动漫未增删带翻译
品色永远免费堂
BBOX撕裂BASS孕妇公交车好莱坞
用手指轻轻按着并来回移动的词语
闫凤娇厕所门事件
棒棒糖放屁眼里旋转的游戏
随时随地都能干的小镇叫什么
圣城风云第二季
最好韩国日本免费
同桌罚我夹震蛋器憋尿(漫画)
皇帝在御花园进入贵妃的小说
津渝视频完整版张
怎么用棉签玩哭自己
腿张大点就可以吃到扇贝免
贺朝用棒棒糖桶谢俞
女的越疼男的越往里寨的应用
人善交XUANWEN200喷水
被男友咬小兔兔的感觉
老板把车开到没人的地方
日本一二三区别
三男一女的伦交
男朋友说要修修我的下水道
四虎最新紧急入口
动漫美女禁处受辱图
欧美无人区码一码二码三码的区别
2023国精产品一二二线免费
小婷又嫩又紧又滑又多水
vodafonewifi巨大app粗暴
荔枝app在线汅api在免费
老赵抱着媛媛在厨房做视频播放
新区乱码无人区二精东
永远的免费论坛
99精产国品一二三产区区别
动物胶配方视频高清大全动
张津瑜的9分58秒7段免费
YW193COC永久入口特点
我的奶头被客人吸得又肿又红
办公室狂肉校花H陈舒
网址在线观看你懂我意思吧
野花香HD免费高清版6高清版
VICTORYDAY老大妈
把跳d放在里面坐公交车白月
女人和男人插曲视频大全
浪小辉GARY2022
不收费的免费直播软件打扑克下载
51精产国品一二三产区区
插曲视频30分钟
超大尺寸的小黄说说1000字
詹妮弗的肉体完整版
彩虹男GARY2022
三个rapper玩一个女的
老师的兔子软水好多免费看
爱情岛论坛亚洲免费路线一
免费吃瓜爆料网站
离婚回娘家满足爸
WRITEAS宋亚轩插
数学课代表趴着让我c
究惑肉车禁闭室
麻花传媒md0沈芯语
同学故意把我的校服当抹布用
WWW.GCRCCS.COM
25岁的女高中生相亲对象是问题儿童
我年轻善良的继4
深田咏美HND-723在线观看手机
国产无矿砖码2023MV
538视频这里只要精品
做过一次爱的两个人会忘记彼此吗
两个大兔子抖来抖去的图片视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1