有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
啊轻点灬公大JI巴又大又
惠子老师优雅生活
正义联盟四小时加长版
金田一少年事件簿r
伽罗脸红流口水流眼泪翻白眼
美国mantakopkanhaya
无限在线观看韩国动漫视频
日韩欧洲亚洲SUV
B站大全不收费
帅气体育生GARY网站MV网站
一个人偷偷看B站
上楼梯时故意一点一点
姐姐的朋友中线字
女生的小雏菊到底长什么样
福利院在线合集1000集
在裙子里做运动
po18脸红心跳作茧官网入口
一个人看的免费WWW高清
长门和小南拔萝卜游戏
大地日本韩国电影免费看
腿抬起来靠墙上就不疼了视频
张书记不戴套干雨婷
hdool高清在线
几天没C你是不是痒了好多水
一个人被3个人同时C了怎么办
教官脔到她哭H粗话H
一个人在线观看WWW哔哩哔哩
八重神子ちゃんの球棒生涯
凸凸凹BBWBBWBBWBBW
青梅被从小摸到大H补课
趴着一前一后三个人
公嗲嗯啊轻点公大ji巴
新版金银瓶1一5电影
10种禁用的漫画软件
咋能把女友弄成小喷泉呢
初次见面4秒就合体
渺渺上体育课当着全班人光阴汪仔
边做边爱完整版3视频
小学生如何自己安慰自己新手
八重神子享受翻白眼流口水视频
你日的我走不了路了
没带罩子让他C了一节具体写文
小诗的玩具日记乡村
日本rapper潮水RaPPe
俄罗斯大荫蒂女人毛茸茸
我的B就是你的饮水机
可以插纳西妲的模拟器
棒棒糖放屁眼里吸收照片
课代表没带罩子给我抄了一节
消防糙汉VS水深火热
口述被几个男人抱着舔
幸福宝8008隐藏永久入口
bbass巨大
麻豆传煤网站APP入口直接进入在线JIAN
棒棒糖放屁眼里吸收照片
木马上凸起电动木棒
波多野结衣 海啸
你看你的水喷得到处都是若若
啊灬啊灬啊灬快灬深视频直播
考的好妈妈随你玩
填的满满的 不要了
小龙女只感觉那只巨大的火龙
搞机TIME恶心10分钟直接打开网页不要钱
老师白妇少洁第2部
2021高清VPSWINDOWS
日本一卡二卡三卡四卡网站99
班长的兔子好软水好多视频网站
刺激战场未满十八岁能玩多久
男生会舍得让喜欢的人口吗
不对劲的监考老师像素游戏
小东西好几天没弄你了若若视频
全部都在那个地方在线观看
中国成熟IPHONE
WRITE AS三人
嘼皇妓院BESTIALITYSEX
欧美1卡二卡三卡四卡免费
开会被塞跳d开最大挡不能掉作文
第1章厨房春潮-我的妺妺H
最近高清日本免费
白石茉莉奈种子
奶头被夹得又翘又硬怎么办
蓝涣求你了慢一点曦澄
我们4个人换着玩
每天早上被C醒是一种怎样的体验
王者荣耀孙尚香帮黄忠雄起
你遇到那个肯吃你JY的人了吗
张津瑜视百度云
洗衣屋樱花未增删带翻译英文
3DNAGOONIMATION_HONKAI
八重神子拿黄瓜奖励
群飞刘亦菲刘诗诗杨幂杨颖
为什么把腿开到最大就不疼了
深度1v3多肉
公交车站避雨第二集
军1V2的PO推荐
爱如潮水社区在线观看免费
多人轮换c一个Hpo
国产黑料吃瓜51吃瓜免费观看
潘甜甜果冻传媒 在线观看
谁输了去谁家受罚抽阴可处置男生
淑芬大腿中间又痒了L
放进去岳就不挣扎了
隔离期间和妈妈玩
深田咏美在线视频无码
家里没人就让你弄一下
宝贝腿开大点我添添公视频网站
男孩输了让对方随便处理自己
色翁荡息肉欲小说合集
走路还在体内恶意顶
国精产品W灬源码1688在线N
车速快多肉的百合片
18款夜间禁用软件入口2023
学姐是班级的公共玩具作文
欧美1卡二卡三卡四卡免费
吃奶吸咪咪动态图
把女的弄的第二天走不了路
岳喜欢张开下面让我看
怎样用一根棉签弄自己
学长的双指探洞好厉害
在公交车上被撞了八次
你说怎么那么大那么粗
拉丁舞跳着跳着做起爱来了
另类老妇奶性生BBWBBW
玩小雪跪趴把腿分到最大影视
电车之狼r 攻略
海贼王女帝被海军轮
化学实验室学霸做哭学渣
吃棒棒糖是什么意思
男朋友说要给我通下水道
巴西任务qvod
甘雨被盗宝团挤椰奶图片
男生捏我的小兔兔描述作文
几天没做你就流了
开车视频有声音免费软件APP大全下载安装
男生女生一起差差打扑克
自我安抚的步骤
全彩口工漫画母系惩罚5
八重神子和丘丘人繁衍后代
蘑菇视频妈妈的职业
亚洲一线产区二线产区精华液
两个男的一前一后叫什么
xl上司带翻译中文版樱花
王多鱼打扑克视频免费
国内成品网站W灬源码
坤不小心碰到女同学了怎么办
你说怎么那么大那么粗
98精产国品一二三产区区别
中文在线中文在
女生喊疼男生越往里寨免费
王者荣耀黄化网站免费
差差差不多视频30分钟轮滑
强壮的公么征服我第四
小红输了让小明随便处置
黑色的很粗很大的蘑菇头
污到你那里滴水不止的说说细节
痞幼视频3分25秒黑料
丰年经继拇中文2的功能介绍电影
吉泽明步全集种子
三个人一起C感觉
在厨房要了朋友麻麻
快穿之肉糜蜜花(H)
嫩草研究所官官人口2021
你的棍棍可以通通我的草莓吗
V11亚二新区乱码无人区
跳D放在里面走路感受描述
国外精产品W灬源码
越南女子杂交内射BBWBBW
家有三个媳妇陈淑蓉结局是什么
无人区码一码二码三码区别
没带罩子让捏了一节课视频
精品一线二线三线区精华液
妈妈的桃花源生命之门
英语老师哭着说不能再继续了
开会被塞跳d开最大挡不能掉
插花弄玉曲径通幽
真人作爱视频免费视频大全
中文字幕看成电影乱码
GC时突然抽出来难受吗
第16话想进来就努力吧欢迎你
桃花视频最新免费高清完整在线观看
老公和他朋友上我该怎么办
麻豆精东星空天美MV
向涟苍士献上纯洁未增删带翻译樱花9
椅子上放一根很光滑的木棍
车子一晃一晃的就进去d
麻豆精产国品一二三产区区别大吗
旗袍全开襟做双人运动好看吗
埃及猫没有衣服跳舞视频
母与子2免费观看完整版
6漫画免费下拉式六漫画斗罗大陆
草草药视频在线观看
亚洲videosgratis.tv0.
色达天藏图片砍尸视频
金银瓶4葡萄熟了
肥婆巨肥bbwbbwbbw国语
免费30款禁用黄台网站
樱花YY私人在线影院
野花免费观看高清在线6
公交车后车座的疯狂的C
laurenphilips老妇人
当兵的老公回来不停的索要
阿铜铜铜好多水
性孕交大肚子孕妇
男朋友老是要吃我的妹妹怎么办呀
国产一品二品三品的区别在哪
换个方式做吧未增删樱花网
老师没有带罩子让我练了一节课
朋友换娶妻5中文版
私密按摩师舌头伸进去了
日本精品一线二线三线区别在哪里啊
玩小雪跪趴把腿分到最大影视频
最近更新2019中文国语字幕
孩子还没睡老公侧面做妈妈帮
仙女棒坐着使用的图片
美国14MAY18XXXXXL
麻花传媒XK8046在线观看
万花楼楼凤论坛
迈开腿让我看看你里面
厚颜无耻韩国动漫在线阅读
硅胶娃娃实战图
化学实验室学霸做哭学渣试管
日产乱码一二三四2021在线
w永久939w乳液78
BGMBGMBGM老太太毛多多视频1
有种你倒是公开
疯狂伦交550篇小说合集
男子吃冻土豆后拔牙
放学被几个人拉到没人的
小仙女把JIOJIO放在坤巴上
免费日产区乱码2021软件
欧精国精产品一区
开襟开叉乳液狂飙
家里没人叫大声点干湿你
5分钟不间断踹息声在线听
小东西想要了是不是
宝宝你好会夹啊都拉丝了作文
公交车一晃撞了进去没有阻隔
男神插曲女生的完整视频
WRITE AS 教官
洗澡时被闺蜜老公进入了
x69老师x日本
YELLOW日本官网
男男GARY2023
美国人与动ZOOM
王者荣耀瑶白色液体黄画
51吃瓜热心张津瑜
家里没人儿子就弄我了视频大全
一线高清在线观看完整版
宝宝放松一下进去就不疼了
老版天仙配全集
走楼梯每走一步就往上顶一下
差差差免费观看打扑克
美国少归BVBV
12星座离奇事件柳岩
父亲的东西又长又黑怎么形容
两个人免费视频高清完整版
舌头一路向下探
含羞草传媒app官方网站免费进入入口
我的年轻继坶7中字
毛都没长就被开了包
麻花豆传媒剧国产MV
ZOOM与人性ZOOM23
原神甘雨X刻晴打扑克
老师把腿抬高我要添你下面
老公想睡我妈可以吗
我同意老公睡了我妈可以吗
残忍cheapwindowsvps风险
顶开妈妈的生命之门阅读
嘿嘿漫免费漫画入口页面弹窗秋蝉
国产无人区一卡2卡三卡4卡仙
好深再深一点动态图
晚上偷偷看B站欢迎您
涨精装满肚子上学体育课免费视频
2828手机福利院
你们男朋友怎么C你的
WRITE AS 大腿内侧
宝宝是我撞进入还是你坐视频
海贼王女帝被海军轮
KISKIBLUE
无人区乱码一二三四区别在哪
公交车两个人一前一后
4年级把第1次给了表哥
农村岳用嘴帮我口
国精产品源码1688在线
娇妻荡女交换多P
怎么玩自己隐私位置
韩漫歪歪漫画登录页面免费漫画入口版
含羞草卡1卡2卡三卡2021精品
他的手指在里面转动的写作业呢
2014年5月里番合集
再一次心跳第三集
和邻居换娶妻1
一二三产区的文化背景
母亲6免费完整高清电视剧在线看
麻花豆传媒在线MV免费版特色
中文弹幕日产无线码一区
老公叫我和别人换着玩怎么办
带电动玩具上课
老师你的兔子好软水好多作文
我的小兔兔被男生咬着的感觉
极品教师未删减完整版
老师裸露胸被强挤奶漫画
适合晚上一个人看B站
女儿国3在线观看免费版高清
软玉娇香多肉1V3
小东西这才一根而已还有呢
涨精装满肚子上学体育课免费视频
抬起一条腿对正往里怼
暮春堂最新地址
30秒不间断踹息声在线听MP3
最近中文字幕MV在线视频2018
开车视频有声音疼痛软件免费下载
ピースエロじ天堂资源
打扑克不盖被子床上运动
从后面抱着妈妈突然脸一红
温文尔雅1V2H
史莱姆のエロ刻晴二维码
木马木棒动得好快bl
脱色摇床的视频大全
迈开腿尝尝你的小森林小说
新版金银瓶1一51956
门卫老头吮她的花蒂
欧亚专线欧洲s码wmy卓越拓展
坐在鸡上写作业好疼
王者公孙离害羞流口水的表情
老太太VPSWINDOWS45
课堂上时间暂停为所欲为在线阅读
日产中文幕无线码8区
在椅子上放一根很光滑的木棍
日产2021乱码
5g天天奭多人运动
我们在线观看免费BD视频
家里没人我弟把我给办了
男生把坤坤放女生坤坤的蘑菇视频
2015年4月里番
rosi视频001
小蓝视频GTV推广链接
你对象晚上怎么玩你
潘金莲全集1一5集电视剧
十大黄台不收费直播
把英语老师按在地上抄了一节课
小箩莉末发育娇小性色XXXX
结婚晚上怎么吃女生的小兔兔
国外精产品W灬源码1688网站
中国XXXXXL15仙踪林
濑亚美莉最好看的几部
我和大佬的三百六十五天
家规犯错就打隐私超严的家规
黄到让你那里滴水
小龙女只感觉那只巨大的火龙枪
斗转星移女明星
放里面不动是种什么样的感受
歪歪漫画登录页面免费漫画破网页
仙踪林老狼入口欢迎您2023
英语老师没戴套让我C了一节课
甜性涩爱 百度百科
放课后的职员室未增删带翻译选集
总裁的六岁娇妻
张津瑜 6分35秒
ゴブリンの洞窟游戏特色
冲田杏梨的电影
欧派浴室2樱花未增删带翻译
变形计 化不开的网
人ZOOM狗狗
数学课代表趴下来让我桶免费网站
国产一产二产三精华液区别在哪
家里没人你用点力 快快
亚洲无人区码一码二码三码的特点
生物繁殖课老师拿自己做例子
原神外网黄化网站WWW
小货SAO边洗澡边CAO你动漫
和搜子居的日子2
我们开始做吧2
BGMBGMBGM老太太交小伙子
9877地铁笨蛋1
今天让领导弄了两次
黑料网-独家猛料-曝光揭秘
小舞你的小兔子好玩小游戏
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1