有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
女生让男生随便诵自己的名字
妈妈的朋友在观5完整有限中字
扯掉两只小兔子跳出来了动图
把毛笔放到洞里写字不准掉HL
糖心VLOG产精国品免费老
春色无边女儿国
癫马女郎之一夜情
别急一个一个来C
和老师C了一节课
换个方式做吧未增删樱花
高清vpswindows日本
我早就想在公司要你了视频
儿子一晚上要了我三回怎么办呀
麻豆传播媒体网站入口官网下载
一面膜上边一面膜下电视剧
18岁末年禁止进入
无人区乱码一二三四区别在哪里
申鹤被淦出不明液体XMAN
意大利性禁忌完整版在线播放
拔萝卜视频图片高清壁纸大全
双人床上剧烈运动打扑克的视频
在车里打扑克的又叫又疼
在没人的教学楼里做老师
小棉签是用来干什么的
野花视频高清在线观看
女生一边喘气一边叫疼
朋友娇妻的滋味中文字幕
寄宿日记37你也想做吧秋蝉
顶级大但人文艺术视频音乐
欧洲砖码砖区2022免费
147大但人文艺术37大但人文艺术
楚晚宁张腿放棋子
小学六年级差差差很痛带声音
荒野大镖客2大妈一家
一边亲着一面膜下的毛毛虫
母与子2免费观看完整版
女生说痛了男生越里寨
晚上睡不着想看点大人
女朋友的母亲9中语字追剧易
侯马市性侵女生视频
4399HD在线观看免费播放
男朋友让我对着摄像头自己做
公交车上的诗请猛烈的输出阅读
乐可车图片(长图)微
坐在紫到发黑的木棒上写作业阅读
女生小坤坤图片大全高清壁纸
JEALOUSVUE孕妇熟50MAOF
以性作为考试的学校
王者荣耀把姬小满C喷了
王者荣耀公孙离捅到流口水
深一下浅一下深深浅浅来一下
我都湿透了你还在等什么
斗罗大陆3大乱斗交大配
随处做X的世界学校游戏
Zoom人与Zoom巨大
在车上被硬硬的东西顶着
麻麻侧睡让我滑进去
YW193龙物最新
天下第一社区中文字幕
真空挤地铁有反应了
成年动漫3d无尽视频
菠萝蜜一二线产区
宝贝腿开大点我添添公交车
md0065艾秋快递员服务品质
军舰上的女兵免费高清原声满天星
欧美精产国品一二三产品区别在哪
啊灬啊灬别停灬用力穿越古代农村
日本漂亮妈妈7在观有限中子
国内精品自线在拍
动漫人物将机机插曲漫画图片视频
男生半夜不睡觉偷偷看B站
成品网站W灬源码16
每天都是被C着醒的
办公室娇喘的白丝老师在线看
爸爸单身多年想要可以给他吗
青娱极品盛宴国产分类细腿
芒果乱码一线二线三线新区
一二三四在线视频社区3
打扑克不盖被子床上运动
日本一姐RAPPER潮水
开会被塞跳d开最大挡不能掉
A乱码1乱码2乱码3
欧美无人区码卡二卡3卡4乱码
大陆一姐RAPPER潮水太多
上楼梯每走一步就撞得更深
100种禁用的漫画软件
老卫把船开到河中心去的故事
拉丁舞跳着跳着做起爱来了
精品无人区码一码二码三码区别
一体验区试看120秒
刺客伍六七第二季免费观看
苏家小媳妇1V3小说
雷电将军乳液VX网站免费
MD传媒MD0076老师家在线观看
张核子弟弟发声
国产一品二品三品四品
啪啪啪动态图带声音
老师你的兔子好大好软水的作文
春暖花开吧cc
班长是全班的玩具
狗的东西又大又长
马总喜欢我的两颗小葡萄
YSL千人千色YESE88网站
苏家小媳妇1V3
你就可尽的弄我们娘俩
详细描写C的过程
JMCicon官方入口下载地址
头埋在两座山峰之间
免费吃瓜爆料网站
已满18周岁请点击进入网站
xanxus霸史录
原神雷电将军被X出液体xman
bl车车好快的车车p网站
国色天香精品一卡2卡3卡
圣诞老人忙着在商店门口爬墙
妈妈醉酒后误认为我是爸爸
往下面一颗一颗塞珠子的故事
粗大的内捧猛烈进出老师下载
打扑克差差差视频
瑶遇见神鹿喷白水软件
日本XXXXXL19WASWAS
公交车最后一排被群C的视频
日本ZLJZLJZLJZLJ喷
丝瓜草莓向日葵草莓18岁在线观看免费版
一下又一下撞到最里面文章
天海翼家庭教师qvod
早就想在车里要你了视频
韩国美女主播系列之蜜罐
美国ZOOMDOG2019
电动牙刷自w高c特别快
一下又一下撞到最里面文章
GGY钙同2023钙片
如何用枕头高C不断
长月烬明全集泄露了
做你的爱人4未删减版
宝贝坐起来自己摇
把腿长开学给你吃草莓
输了让同学玩全部位置游戏的作文
53岁沈阳老阿姨叫得没谁了
卵蛋网gif动态图出处
今天让领导弄了两次
穿戴式跳D放在里面逛超市的感受
教练在车里撞了我三次怎么办
47大但人文艺术
亚洲不乱码卡一卡二卡4卡5卡
男生捏我的小兔兔描述作文
亚洲一二三无人区分别是哪
把英语课代表做哭了视频
りなとあな里菜的痛
把自己弄到喷泉
may18_XXXXXL56endian
12岁学生迈开腿让打扑克
美国VIDEOSCRIBE
儿媳妇水这么多还说不要吗
潘金莲扬思敏全集1一5集三级
挺进毛还没长稚嫩的小花苞
公交车售票员用下面验票
空庭寂寞春欲晚
边做边爱完整版3在线动漫
star-481
伽罗といちゃつきたい腿法
2017夜夜干天天骑日日日
亚洲无人区码一二三区别在哪
两个男孩子开车长图文
舌头伸进去添能让高潮来的更早吗
MD传媒MD0076老师家访在线观看
几天不见怎么这么湿
蛇王不能两个一起会坏掉
国产乱码免费卡1卡二卡3卡
ZoomkooL牧场视频猪
年轻的妈妈中字巴巴鱼汤饭
尤物已满18点击进入在线
娇娃荡女K8经典
公交车动一下就撞一次视频
欧美RAPPER潮水一欢迎您
狗狗太快了我有点接受不了
牙医姐妹赤子板栗
上坟时有三样东西不要上
如花似玉如饥似渴
仍想结婚的女人
一抽一出BGM免费3分钟
国精产品W灬源码1688伊
小SB几天没做SAO死了
粉色视频在线高清观看全集
水乳交融HPO
热浪球爱战演员表
大孔雀和美丽姐
男男GARYWAYNE
洗浴双响炮是什么意思
甜性涩爱高清完整版
朋友换娶妻5中文版
18-19MACBOOKPRO高清
英语老师哭着说不能再继续了
桃花视频在线观看播放直播
疫情期间在家日老妈
M HBFAXIA
家里没人我弟把我做了
前夫的东西真的很大
孩子玩着就C进去了怎么回事
日本高清一卡二卡三卡四卡无卡
GAY大陆年轻帅小伙2022
极品教师第三季免费观看
美女扒开尿口让男人桶进
仙踪林入口欢迎你老狼
亚洲2023无矿砖码砖区
和他在车里好多次
在床上打扑克不盖被子会怎么样
可以随意触摸内部位的软件叫什
大团圆公交车大结局2
十九岁RAPPER潮水偷轨
色降ii之万里驱魔
男生主动吃我腿中间那个东西
体育老师在单杠c了叶渺渺一节课
疫情期间拿下老妈
公主往下边塞玉器是哪本书
5G天天奭5G多人运在线观看免费最新
污污免费看锕锕锕锕锕锕
门卫老头吮她的花蒂的导演是谁
高清VPSWINDOWS69
穿越到兽世不停做元
公车系例一第96部分阅读
新版猫咪地域网名入口下载
美国人与畜禽CROPROATION
坐在上面做的视频
这几天没C你了是不是皮痒
迈开腿让尝尝你的森林是什么意思
关上最后的门吧漫画
野花日本HD免费完整版高清版6
日本漫画口番工全彩之时间停止
看娇妻被两朋友共用
恶女教师百度影音
亚洲精品1卡2卡三卡23卡
麻豆精品传媒一二三区
女生暑假自辱下面30天计划
雍正睡了自己的女儿是哪一集
ACCA少女网课韩国
夜里不知节制军婚
梦莹与翁公在厨房
看完让人下面有水的描述
中文字字幕乱码播放
大炕上装睡配合弄
含着睡觉是一种怎样的体验
诱人的女邻居9中文观看
陪读和孩子发了关系心理咨询
妈妈的朋友5线在完整有限公司中字
BT天堂网在线WWW最新版官网
国外精产品W灬源码1688网站
做错一道题就被学长c一次
说说都是怎么的干对象的
秘密教学93话恩爱久等了免费
学长的手指在里面转动的写作业
学校里的性教学教具
丰年轻的继坶3的特色和机能
再把腿张大点就可以吃到扇贝了
taiyangdehouyi
不叫我就做到你叫
CLB3萝卜越勃越有劲萝卜视频
压在女朋友身上是件很幸福的事
骨王OVERLORD第四季樱花动漫
LINODE日本IPHONEDVD学校
开车视频疼痛有声音软件下载
你信不信我现在做哭你
天美传媒作品集
blued01片免费看视频
厨房往下边塞冰棒
疼插30分钟一卡二卡三卡四卡
小鲜肉吃小鲜肉的大LOGO视频
在公交车上被JB草坏了被轮J了
巜迈开腿让我看看你的森林
100款夜间禁用软件七客
男人做的时候拼命抓住你头发
用过仙女棒的说下感觉
日韩精品卡1卡二卡3卡四卡
女人迈开腿打扑克又痛又叫
父子骨科多r车推荐
输了让同学玩隐私位置游戏
岳一夜被你要了六次
黑人娇小BBW
美国ZOOM人狗视频
WRITEAS两根性器
老阿姨哔哩哔哩B站肉片茄子芒果
开襟开叉乳液狂飙
怎样揉自己的痘痘揉到腿软
我和闺蜜拿黄瓜互慰
草莓榴莲向日葵18岁站长统计
柳菁菁人体艺术摄影
一个好妈妈2水母中字老虎
跳D放里面开最大是什么感觉
无人区码一码二码三码是
上官婉儿乳液狂飙视频
妈妈的朋友12完整视频有翻译
医生的手指在里面转圈
英语老师打开扣子让我上
Q1制片厂七夕潘甜甜剧情
说着他的手已经探了下去
亚洲一码二码区别在哪里
小东西好几天没弄你了若若
摇床和喘气声音
火箭少女的开襟乳液狂飙
漂亮人妻被维修工侵犯的后果
动漫人物剧烈运动打扑克视频
两个奶头被吃得又翘又肿的
七零空间知青娇宝
男生女生差差差30分钟很疼视频无掩盖
特种部队3全面反击
CHINA体育生GARY飞机
女朋友的妈妈2023中语翻译
剧烈摇床运动视频
我哥把我拉到一个没人的地方
男人忍不住挺进去了
日产一二三四乱码18
晚会上领导吃我奶还
上边一个日下边一个非念啥电影
野花视频免费资源
宝宝我们对着镜子做
B不就是用来C的
清楚看到我C你过程
14岁学腿迈开腿打扑克正常吗
洗衣屋樱花2未增删带翻译
家用摄像头都被盗拍视频集锦
爸爸单身多年想要可以给他吗
一线产区和二线产区的知名品牌是
半夜打扑克叫疼的视频软件
xrk1_3_0ark在线观看免费ios
大婶的肥沃的土地类型
歪歪漫画漫画首页入
开车视频有声音免费软件APP大全下载安装
善良的邻居4中字巴巴鱼汤饭
18may19-XXXXXL民族
国内精品自线在拍
小SB是不是想被C了
做错了事就往下面塞一个冰球作文
美丽姑娘高清日本版图片
孩子还没睡老公侧面做
4399看片HD免费
写得很细的开车秒湿
大地资源高清日本
真是不经弄的小东西视频
星空传媒XK8004的功能特点
嫩叶草m码和欧洲码的区别
夜深了看点刺激的哔哩哔哩
老婆的扇贝张开口了还能吃吗视频
日文中字乱码一二三区别在哪儿
色达天藏图片砍尸视频
精产国品一二三类产品的区别
葵花宝典未满年龄确认请离开
WRITE AS撅好
一面亲上边一面膜下边
大女小娟二女小妍
疯狂主妇无删减版
我把语文课代表做哭了网站
原神甘雨被空C出白色液体游戏
si001第一会所邀请注册
美国victoryday中国女孩
中国超大但人文艺术视频
おっさんとわたし天堂
对象一直咬我的奶奶不嫌脏吗
大地资源高清日本
国精一二二产品无人区
姐姐的朋友中线字
精品卡一卡二乱码新区
班长笑着手灵活的调着遥控器
黑龙江不雅视频
《菊内留香》TXL金银花
无限资源2018第1页在线观看
神奇宝贝ag132
福利姬萌白酱甜味弥漫第一美女图
尺八话的巡り动画免费看
人畜禽的交佩的APP
女朋友的母亲5有限中字
家里没人叫大声点我想听
讲讲第一次吞J的感受知乎
英语老师让我捏她的小兔兔作文
夜里自己一个人弄自己
被学长C了一节课作文
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1