有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
免费国无人区码卡二卡
两根茎同时进去爽不
把棉签放屁眼里一个晚上
19岁的RAPPER潮水仙踪林
国精产品无人区一码二码三M
小燕子乾隆在马车上的欢乐
国产午夜精品AV一区二区麻豆
日产一线二线三线理论
岳把我的大具含进
打扑克激烈运动竟然不盖被子
动漫RH男男车车好快的车车
梅花三弄多肉的糙汉B1H古文
中国XXXXXLMEDJYF视频网站
几天没C水这么多公交车
菊花PROJECT视频BGM
舌头钻到花唇裂缝中滑动
亚1州区2区3区4区产品图片
PAYPAL未满十八岁
旅行者骑在甘雨上做运动
正确的进入的图片
打扑克不盖被子图片大全
最近新韩国免费
太大了小喜涨死了
亲吻摸摸蹭蹭抱抱哔哩哔哩
忘带罩子让他捏了一节课
来吧儿子妈妈是你的人是谁唱的
《重考生》漫画免费看
中国人も日本人も漢字を
男的坤放入女的小视频
双人床上互动图片
你对象晚上怎么玩你
女生越喊男生越要塞的视频
办公室沙发口爆12P
无人区码卡二卡乱码
为什么对象吃完奶头会变小吗
边做边爱完整版3在线动漫
英语课上插了英语课代表视频
无忧传媒短视频
内衣办公室动未增删带翻译3樱花
公交车上最后一排的爱
厨房运动剧烈老师的大兔子鹿
宝宝腿抬起来就不疼了
夫外出被公侵犯日本电影
学长突然将遥控器开到最大
两种进入狂野式的方法有哪些
多人WRITEAS
美国10次啦导航
人与畜禽CHANCE
水都流了那么多还说不愿意喝
老师你的好软水好多的短视频
A最大但人文艺术
一边写作业一边C她免费
斗罗大陆小舞给人桶的模拟器
儿子耕种母亲的田地叫什么
99精产国品一二三产
啦啦啦影视韩国电影
老狼忘忧草二区大豆
首页艾斯S踩踏社区
10tee中国
可以差差差的视频无掩盖
啦啦啦 中国 日本 高清 在线
51FUN吃瓜网官网
欧美三根一起进三P
果冻传媒剧国产免费入口今日更新
老师成为班级的公共玩具视频
中国VODAFONEWIFI粗暴APP
生物课老师拿自己做教科
韩漫漫画登录页面免费漫画入口免下载
野花视频在线观看免费观看最新6
润色红叶吻蛇枝
亚洲熟伦熟女新五十路熟妇
我们结婚了20131026中字
开车视频疼痛有水水
4HU四虎永久在线观看
用你的舌头搅拌着我的下面
国产天美传媒一起又看流星雨
老师把筷子放进我P眼的作文
小茗看看视频在线观看
久久只有这精品99
放学后在班上插英语课代表
迪卡侬潮水门事件15分钟
别急一个一个来C
500篇香艳公车短篇合
菠萝菠萝蜜一区别1688
开小娟小妍嫩苞
最近中文字幕免费大全8一
教练把车开到没人的地方淦我
几天不见这么多水想不想要
原神人物黄化网站
舌头一路往下探
鬼灭之刃蝴蝶忍乳液飙出
一二三四高清观看视频
MAY18_XXXXXL56ENDI
仙踪林老狼入口欢迎您2023
王者荣耀公孙离喷了的表情
身体送给儿子当礼物
岳今晚让我玩个够肥水一体探岳
麻豆精产国品一二三产区区别大吗
51无人区码一码二码
一抽一出BGM免费60的视频
给我免费播放片日本版
我和小娻孑在车上全集
YEEZY700好硬
V11亚二新区乱码无人区
王者荣耀貂蝉喝自己液晶
善良的小峓子5中字巴巴鱼汤饭
120分钟免费用机机视频
我女朋友的母亲1完整视频有翻译
男朋友总是说要吃我的扇贝
宝宝腿再抬高点就不疼了
yw8827龙物永不失联九幺
宝宝把腿扒开大点就不疼了
晚上爷爷总是压在妈妈肚子上
渺渺体育课夹按摩器跑步光阴
小洞饿了想吃大香肠有声音馒头
既是母亲又是老婆
好妈妈5在线观看完整视频
女儿初长成爸爸来尝鲜食品的文案
情侣的100种插秧方法
哪吒顶进敖丙里面
CHINA篮球体育飞机2023
ワンピースエロじ天堂
父亲比老公大很多
黑帮老大和我的365天
家里没人你用点力 快快
白天躁晚上躁天天躁的治疗方法
好妈妈8中汉字
全程一个男的在啊的纯音乐
比基尼性感女装
一二三四日本中文在线
夜里自己一个人弄自己
国内精品一卡2卡3卡四卡
没带罩子被校长摸了一节课
剧烈摇床运动视频
榴莲app推广链接
抱着宝宝坐下太猛
追黄神器免费版
男男车车好快的车车cp
WRITEAS管教
为什么试过黑人后就回不了头
把冰葡萄一颗一颗往里堆
日产乱码2021永久
边缘控制玩到哭的感受视频
张津瑜视频七段
免费剧烈运动扑克网站
胸大的姑娘韩国播放
看着我是怎么吃你的水蜜桃
放学后的职员室未增删有翻译樱花
亲爱的老师6中字大豆行情网液晶
不遮阴的小内搭
妈妈的朋友5在线观看线观高清中文
大团圆结局全文目录txt下载
腿再开一点就可以吃到扇贝了
把腿再张大点就可以吃到扇贝
把姬小满C喷了视频最后爆掉了
秘密教学93话恩爱久等了免费
rbd-573
快手王多鱼被C视频完整版
高嫁肉柳1一4集BT
动漫车车好快的车车图
王者荣耀曜把西施顶哭
女生让男生随便玩自己的坤坤视频
雷电将军ちゃんがを腿法娴熟部下
国精产品砖一区二区三区糖心
我和黑大佬的365天完整版中文翻译小说
69无人区码二码三码七码
女儿吃父亲的棒棒糖的说说
为什么黑种人的性能强大
进来吧晚上英语老师就是你的了
污到你那里滴水不止的说说细节
上官婉儿被用计骗进房间
宝贝把腿抬高一点就不疼了
每天早上被C醒是一种怎样的体验
芭乐app下载网址进入18免费站长统计
娇妻被领导抱进卧室
天天啪夜夜干2007
女生迈开腿让男人打扑克
上楼梯一深一浅
在厨房里两只乳头被吸肿了
XAX MANTA UZUN HAYA APP
夜趣福利必上官方导航
小东西慢慢感受我
两个奶被揉得又硬又翘怎么办啊
学长在学校无人的地方做
23部禽女乱小说内
中国高清vpswindows麻辣豆腐
BGMBGMBGM老太太毛
雷电将军狂飙图片高清壁纸大全
快猫记录世界纪录你
草榴新时代的我们
蜜桃日本免费MV免费播放
跳DAN是放在哪里的示意图
亲爱的老师4 韩国高清
日本人是人吗 不是
魅力研习社41
斗罗大陆黄化人物网站免费
八重神子焯出白水怎么办
男生把坤放女生定眼会怎样
啊哈别..别揉那处了
一面亲上边一面膜下边的肌肤之亲
大雨天和驾校教练在车里
BGMBGMBGM老太太毛多多
小货SAO边洗澡边CAO你动漫
大将军h1v2
成为了全学校坐便器
迈开腿吃你小草莓是什么意思
腿张大点我就可以吃到扇贝了图片
几个师傅一起干徒弟
雨后小故事动态图片
3个学长一起上我会坏的作文
深夜动态福利GIF动态图900期
联谊中的游戏动漫无删减
小学生拿棒棒糖做内个玩具
我妹妹每天做两小时作业的英文
正确的进入的图片
WRITE AS 轮
撑起伽罗的腿疯狂输出是什么意思
做饭的时候老公也要
夜间正能量网站
夜趣福利必上官方导航
iphone欧美高级
两人打扑克剧烈运动又疼又叫
今日蚂蚁庄园正确答案
班级公共玩具叶渺渺
99精产国品一二三产品功能
被子里怎么体罚自己下面
宝贝好紧好爽再搔一点试视频
云缨的乳液长什么样
久别的草原高清视频HD
没带罩子让捏了一节课视频
啊做错一题学长插一支笔
都生过宝宝了还这么紧
男神插曲女生软件完整版免费
你看的这么多水了还说不要
柳菁菁人体艺术摄影
事物的秘密截取水中一段
日产无人区一线二线三线视频
温文尔雅1V2H
国产免费毛卡片
缓慢而坚定的前进慢慢来吧
大鱼直播app
同学的妈妈5观整有限中字
五个人一起会坏掉的小说
仙女棒坐着使用图片
日文中字乱码一二三区别在哪儿
夜晚双人做的扑克视频教程
快穿之系统欲娃养成(h)
妈妈的朋友6在完整有限中字
小雪的13又嫩又紧又多水书架
4个人互换着做苏霞
色心色心board
木马木棒动得好快bl
小兔兔被男生吃会发出什么声音
帅同社区 文学转载
班长不戴罩子让我练了一节课视频
成色AU99.9
班级的公共玩具渺渺
帮老师通下水道
女生奖励自己隐私越狠越安全好
四人轮换C一人宿舍
writeas
HAIJIAONET海角社区论坛
掌中之物坐上来自己动
张开腿我尝尝你的草莓
深度开发1V3梁医生不可以限
请和我老公结婚吧在线看韩剧
晚上爷爷总是压在妈妈肚子上
一个人在晚上偷偷看b站怎么办
海角社区.COMHJ
女儿吃父亲的棒棒糖的说说
9分10张津瑜盘
波多野结衣加嘞比在线观看
吉泽明步种子下载
把樱桃一颗一颗挤出来不能破
我被当玩具发泄的一天作文
kuaibolunlipian
坐在学长硬硬的地方写作业
43417大但人文艺术图片
善良的小峓子67中字巴巴鱼汤饭
玩小雪跪趴把腿分到最大影视
姜汁撞奶POH
快穿之系统养成(h)冉冉
宝宝我就进去一点不疼的
夜间正能量视频www正能量网站
别人玩自己隐私位置玩到哭
开车40分钟有痛感有声音免费
蜜桃日本免费MV免费播放
中国青年GARY东北打桩
啊学长我们换个地方做软件下载
男男车车的车车啊哈哈真的
永久939W79W99W乳液
满了...太满了...溢出来了
JINMANMIC18C.MIC网页传送门
人物动物交互狗免费
18C.MICIOS禁慢天堂18C.MIC北北北砂
两个奶被揉得又硬又翘怎么办啊
迈开腿打扑克没有马赛克还有牛奶
办公室的交易HD中文字幕
是自己坐上来还是我撞上去
外国四个黑人RAPPER组合
人与畜禽共性关系的重要性
学生14MAY18_XXXXXL56ENDIAN
早上醒来巨大还在里面
家里没人就让你弄一下
二人扑克剧烈运动视频教程
爱情岛路线1线路2线路3京东唯品会苏宁易购
言教授要撞坏了!
14MAY18_XXXXXL56ENDIANX
沈阳45岁老阿姨喷了好几次
啊别插了视频高清在线观看
南昌一中掏脑子挖眼睛
不知火舞沙滩狂欢
岳好紧好紧我要进去了电影
三叶草M码和亚洲码区别
桃花视频在线观看免费播放在线观看
门卫老头吮她的花蒂在线观看
父亲的东西又长又黑怎么形容
宝我想你了涨的好难受啊说说
亚洲日本一线产区和二线产区对比
麻豆精产一二三产区
张津瑜资源在哪
W永久939W乳液66
你们老公晚上怎么玩你
雍正睡了自己女儿是真实的吗
输了被罚让别人玩一个月清清
136大但人文艺术
梦莹与翁公在厨房
女生暑假自辱下面30天计划
宝贝你已经长大了给我
原神ちゃんが腿法娴熟を
嬢王virgin
巜迈开腿让我看看你的森林
迈开腿让我看看你小草莓
小霜的高中成长日记小说
撑起伽罗的腿疯狂输出的视频
ZOOMDOG13
说说自己睡过哪些亲戚
幸福宝8008隐藏入口2023
语文老师说哭着说不能再睡了
九一制片厂果冻传媒APP
剧烈运动扑克牌
老狼信息网仙踪林 - 八零婚纱摄影工作室
伦理片妈妈的朋友中文2
吕知樾张津瑜视频外网
天美传媒果冻传媒星空传媒
子不语在线漫画
高铁上要了她很多次
美国10次啦导航
对象吃我的奶奶感觉
嘿嘿视频官方在线页面入口页面弹窗免费下载
口工绅士里番中文全彩
国产精华精华液一二三区别
老婆和别人刚干完我又干可以吗
他缓慢而有力的往里挺送细写文
叫女生捏自己的小兔兔的视频
老师办公室狂肉校花H寝室视频
WRITE AS 灌满
写着作业写着就插起来了
漂亮妈妈4高清中字韩国
再把腿X开一点就可以吃
感官世界下载地址
夫妻之间的108种插秧法
sis001评论推荐区
年轻的馊子8HD中文字幕
浪小辉与空少酒店我3pXVIDEOS
金艳花瓶之朱2蛋
搞机TIME恶心网
双杠分腿坐前进
歪歪漫画韩漫首页登录入口页面
国产精品卡1卡2卡三卡四
亚洲乱码卡一卡二卡新区公司
草莓丝瓜深夜释放自己的歌词
大众女浴室高清摄像头
爱如潮水社区在线观看
无颜之月带翻译樱花中文翻译
国精品产品推荐
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1