有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
是不是想让我弄你了视频
WRITEAS狠抽
帅气体育生GARY网站视频
抖音小姐姐脱身全衣服
免费夜间做运动视频扑克网站
WRITE AS 吸蒂
宝宝你好夹啊都拉丝了游戏
晚上家里没人就让你弄
翁公半夜吃我下面
被男友咬小兔兔的感觉知乎
写得很细的开车秒湿
中国日产乱码无线码
如何骑枕头上下移动图片
散华礼弥oad
刺激妇乱子伦短篇
什么叫倒插莲花
行尸走肉洛莉做过几次
迈开腿让我看下你的小
c了瑜伽老师嗷嗷叫一节课视频
乱码一线二线三线新区破解欧
漂亮的邻居老师中文字幕
韩国最大但人文艺术
日产乱码一二三四2021在线
当你拔出来的那一刻
对象吃我的奶奶会变大吗
四种人不能吃辅酶Q10多少钱
今日更新2021乱码
highschool dxd
精产国品一二三产区区别手机
把女朋友弄成小喷泉是什么意思呀
如何将自己隐私玩到哭
被子里怎么无声自罚疼到哭
龙口护士门视频在线观看
人与动物ppt免费模板
kiskiBlue触摸游戏
一边讲题一边doi
GARY2023小蓝视频网站
向涟苍生士献上纯洁第二集
双人床上扑克牌
免费b站推广网站入口202
数学课代表的胸摸起来软软的
缓慢而有力的往里挺送作文
欧亚专线欧洲WMY
小蓝彩虹男GARY2023网站
s8sp视频高清在线播放
别急妈又不是不让你C视频
一线高清在线观看完整版
和朋友换娶妻10
爱琴海论坛视频播放二西瓜
情感的禁区1080
桌面上都是你的液体
下雨天留客天留我不留
WRITEAS丁程鑫性器丰年
妈妈的朋友4完整视频有翻译木
亲爱的老师5韩国中字完整版
欧亚专线s码和w码入口
张莜雨人体艺术图片
教室里英语课上插英语课代表
猎艳十大名器艳妇
迈开腿尝尝你的草莓汁的
QVOD在线播放
国精产品蘑菇一区一区有限
宝贝低头看看我是怎么爱你的
免费涩涩屋草莓榴莲秋葵绿巨人
2023钙GGY钙站入口
写得很细的开车秒是小作文
善良的秘书3字巴巴鱼汤饭惹
小东西是不是好几天没弄你了视频
班上男生带到没人的地方作文
女的说疼男的越往里寒
蜜芽忘忧草768.mon.二区老狼大豆行情网
奇怪的美容院沙发
2019年手机伦理
雷电将军乳液voiux
非诚勿扰 徐莹
伪装学渣震动PLAY
把英语课代表按在地上C
爱情鸟论坛com高清免费
几天不见怎么这么湿
相亲对象是学生未增删樱花
漂亮秘书的滋味2
深田咏美在线视频无码
不知火舞之沙滩狂欢
丫头腿张开点就不会疼
变形记温暖之痛
老公回家就吃我的奶奶怎么办
在恩爱时发出嘤嘤的声音视频
是不是好久没人弄你了
一整夜都连在一起没有退出来
最近中文字幕2019视频
让我蹭一蹭宝宝
宝宝几天没做都湿成这样做
人马配速45分钟
我家狗狗弄了我4个多小时
WRITE AS 高中生
日本最大但人文体艺术
YW193龙物
岳喜欢张开下面让我看
福利姬萌白酱甜味弥漫第一美女图
诱人的女医生中文字幕
国产AV被C呻吟双腿视频
B站大但人文艺术图
小红输了让小明随便处置
她被撞的话都说不出来
教练在车里撞了我三次怎么办
秘密教学SVIP土豪免费
啊几天没c这么水叫
黑料网-独家爆料-曝光揭秘
把腿再张大点就可以吃到扇贝
5g天天奭多人运动绿色视频在线观看
舌と唇と唾液が浓厚
迈开腿让我尝尝你的小扇贝APP
迈开腿让我看一下小鸡蛋视频
WRITEAS检查身体
少汪几句番外2(6)肉
亲胸揉胸膜下刺激视频免费的
腰不自觉的往前挺
身体送给儿子当礼物
肉丝库水柚子猫link管理平台
丰满的邻居2在线观看完整免费版
星空传媒XK8012妻子
西安一周六天雨下到6月
野花视频免费观看在线
同学带几个人来玩我的作文
年轻的馊子8HD中文版
洗衣屋樱花2未增删带翻译
森林里的熊先生正在冬眠无打码
将夜西瓜视频免费播放
撞得她说不出话来
怎样用两根棉签玩哭自己
疯狂厨房2双人3-5视频
欧美无人区码卡二卡3卡4
腿分大点就不疼了
一个吃上一个吃下
中国高清VPSWINDOWS野外
开心四房播播网
亏亏的视频带疼痛声的免安装
男生把坤坤放女生坤坤的蘑菇视频
那你蹲下来吃我的棒棒糖吧
说说老公夜里顶你的
优质JY灌溉系统
无人区码卡二卡乱码字幕
儿子妈又不是不给你玩
老公都是怎么上你的
欧洲vodafonewifi喷浆俄罗斯
中国夫妇hometown
仙踪林19岁RAPPER
卫生间6分34秒
妈妈的朋友2在线观完整版看中文字
英语老师你的奶好软
哪吒顶进敖丙里面
左拥右抱1v2
美国ZOOM动物 - 欢迎您!
谢俞贺朝肉车试卷
黑人尺寸太大怎么进去
抖音奶片没带罩子52秒回放
外公欺负妈妈一直在叫
你的舌头太厉害了
刘耀文让宋亚轩夹领带
三叶草日本码和中国码
一面亲上边一面膜下边说说
撩到女生下面滴水的句子
乱码一线二线三线新区破解欧
GOGOGO高清免费看韩国
大尺寸的小黄说说1000字多肉免费
八重神子去内奖励旅行者
小鲜肉GARY2022飞机
大尺寸的小黄说字多肉小学
自己玩r头教程
每天肚子里都是他的尿
用你的舌头搅拌我的舌头是什么歌
黄光裕是怎么进去的
学长一边撞我一边写作业
八重神子拿黄瓜奖励
雷电将军乳液狂飙vx免费进入
PAYPAL未满十八岁怎么开通
免费的剧烈运动扑克网站
老师变成全体同学的玩具作文
在破房子里和狗做
14MAY18_XXXXXL56ENDIANMOGO
免费吃瓜爆料网站
男生和女生一起差差很痛APP大全熊猫
公天天吃我奶躁我的比视频
宝宝我顶到你的点了吗
雷电将军乳液狂飙vx免费进入
从厨房干到沙发再到卧室图片
老师上课跳D突然被开到最大视频
天天躁躁水汪汪人碰人
极品教师全文阅读无删减
男生和老师一起差差差的游戏
家里什么东西能当阳具
无人区码一码二码三码四码
扑克牌又痛又叫
女篮坎贝奇惊艳三部曲叫什么
黑人荫道BBWBBB大荫道
一面亲上边一面膜下边
女星被大佬哄去多人运动爆料
色达天藏砍尸过程
原神角色黄化网站视频下载
女生喜不喜欢双指探洞
秘密入口地址1地址2地址3 帧
有孕1V2LH
草莓榴莲未满十八岁的做法大全
军1V2的PO推荐
136大但人文艺术
欧洲一本到卡二卡三卡乱码
喵绅hcmoic士
老湿机免费体检三分钟十八岁
妇乱子伦真实故事
无区码一码二码三码
四房播播 五月
乖我们在水里试一试
公交车撞到最里面去了贴吧
班长的兔子好软水好多免费的网站
各种APP引导网站
男按摩师舌头伸进去了
被兽人灌得鼓起来
晚上睡不着看点害羞日本
欧亚专线欧洲W码
星空传媒XK8004的功能特点
kiskiBlue触摸游戏
麻花传媒1800在线观看免费
00xx动态图
见一次面做3次超详细
秘密教学92你可以随意秋蝉
妈妈的职业3在完整视频有翻译
TTTZZZ668.SU黑料不打烊
黑料永远不打烊吃瓜爆料
侍卫把贵女怼树干PO
仙踪林2021
zhangjinyu完整视频
すん止め亀头ふたいと的含义
十九岁RAPPER潮水偷轨
两根硕大一起挤入小雪
爸爸缓慢有力送女儿的句子
天降女子未增删带翻译樱花
果冻传媒广告网站入口
用注射器打水放屁眼里
小舞给人桶的模拟器
究惑R车禁闭室润滑剂
老何大战雨婷三部
恶女教师百度影音
斗转星移刘亦菲
妈妈说只要爸爸不在家就可以睡觉
麻花传媒XK在线观看
公交车后车座的疯狂
给他们轮着尝尝你的味道老周
跑步机上边跑边顶HHH
elsajean挑战最粗极限
二次元动漫人物桶动漫人物游戏
另类老妇性BBWBBW
江疏影2分28秒链接
晚上开车又疼又叫的故事
品色堂免费图片
国产瑜伽白皙一区二区
年轻母亲8免费观看在线高清
妈妈的朋友6在完整视频带翻译
男朋友一晚上透了我3回还想让透
国语高清CHEAPWINDOWSVPS图片
一边亲着一面膜下奶韩剧
校园大尺寸的小黄说说1000字
rh男1做0车车的车车视频网页
女儿用身体做生日礼物
国精产品一二二级
npc误入游戏中尽情做攻略
王者荣耀白色粘液溅到脸上图片
中国成熟IPHONE
哥布林洞窟樱花未增删带翻译
后车座的疯狂全文阅读
非会员试看十分钟做受小视频
老师没带罩子让我吃了一节课
麻花传媒md0沈芯语
把腿再张大点就可以吃到扇贝
你下水好多下水道BD
我的很大你要忍一下的视频
尺码最大的国产suv
甜蜜惩罚未增删带翻译樱花接
宝贝是不是到最里面去了
幸福宝8008隐藏入口2023
公交车车站最后一排被多人玩
啊做错一题学长插一支笔
纤夫的爱无删减版动漫百度云
把极品白丝校花啪到腿软
软糯小受灌满哭求饶道具
tek-067
教你怎么自己吃丁丁
香肠和扇贝插在一起翻译英文
开的比较细的车文章
黄沙视频在线观看WWW官网
孩子没睡着老公侧身做
中国小鲜肉GARY打桩
ipx118怎么被称为神作
无码视频专区曝光16人被判刑
麻豆传煤官网APP入口免费
星空乌鸦天美大象果冻
车文超细过程长图片
黑料不打烊TTTZZZ入口2022
是不是年轻一些水就多一些呀
成网站w灬源码1688
精品国内片67194
交流1v3多肉软孕
秘密教学100话恩爱久等了
深度开发1v3梁医生
在公交车上被撞得一前一后
废旧厂房里和流浪狗做
这几天没C你了是不是皮痒了
小东西想要了是不是
国精产品蘑菇一区一区有限
好满射太多了装不下了软件
男孩子听到女孩子喘气会有感觉吗
中国zoom人狗app
我邻居的老婆2 电影
女方输了任男方处置清清1000字
在破房子里和狗做
对象吮自己小兔兔的感受知乎
囯产精品一品二区三区
胸好软水好多双指探洞
中文字字幕乱码电影1
网址没封的来一个
张开腿我尝尝你的草莓
老师拉我去办公室做了一节课
这几天没C你了是不是皮痒
喷泉H1V3HL
过来趴好自己选工具小视频
够了够了已经满到高C了
精东传媒剧国产MV的特点
吉泽明部 种子下载
够了够了已经满到高C了甜甜
14MAY18XXXXXL日
东北大炕乱欲狂
腿再开大一点就不痛了正常吗
孩子想C我同意了
mdyd-751
4人个人换着玩感受
猫咪地域网名入口639CFIOS
肉多车速快的推荐
国产A1A2A3
课代表让我桶她30分钟作文
漂亮的丰年经的继拇3如如中字
想吃你身上两个的樱桃
三个人C同一个
关晓彤被华晨宇做出了水
天天啪夜夜干2007
把跳D放在里面跑步不能掉
二人剧烈运动扑克视频
弱点第21话只做一次够吗
越南美女内射BBWXZ
腿再打开一点就能吃到扇贝了图片
春暖花开炎狼之地
才几天没做你就叫成这样了
939W乳液78WYW55523
成都4片P完整版视频动漫
在C点用力把腿抬离地面时
chinesefree普通话对白
都生了宝宝了还那么紧
我被继夫添我阳道舒服口诉
老师说今天晚上随我怎么弄
他一次比一次撞的很
我被开三门痛晕了
まことNICO免费视频
巴西BBABBABBABBA
最近更新中文字幕2019图片
啦啦啦韩国视频免费观看
爸爸刚走爷爷就来抱妈妈来了
亚洲一线产区二线产区的区别
好涨太粗进去用力快好深
迈开腿让我尝尝你的草莓什么味
相府千金1v3
公交车后车座的疯狂的做细节知乎
放进去岳就不挣扎了
无人区码卡二卡3卡4卡无
黑料正能量zzzttt传送门
院子里公开惩戒(下)WRITE
无人区码一码二码三MBA
中国人も日本人も汉字を
S货是不是又欠C了公交车
被教官带到宿舍做了
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1