有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
韩国论理性电视2021
搞机time恶心
在教室伦流澡到高潮HGL动漫
夹枪带棒1v2舒明明黎远
秘密教学93话恩爱久等了秋蝉
塞住不要掉出来等我回来检查
好刺激的打扑克软件
一个在上面吃一个在下面做那个
八重神子ちゃんの球棒生涯
男朋友买玩具玩哭我
好满射太多了装不下了真人
再一次心跳第三集
不想疼就把腿分到最大到再打
男人的坤坤穿进女人的甜甜圈
一二三四韩国免费观看
春暖 花开cc炎狼
浓毛BGMBGMBGM胖老太太
XVDEVIOSXVDEVIOS
日日啪夜夜爽天天干2017
oldmacdonald中老年乐
我跟你老公谁的大
爸爸的东西又黑又长
37大但人文艺术A级
高清人和猪又细又长像钻头
品色堂永久免费论坛
国产麻花豆剧传媒入口
棒棒糖放屁眼里ss
我的朋友很少第3季
一前一后同时攻击舒服吗
舌头伸进去添好爽高潮
老子就是要上你在镜子面前
女人说双指探洞什么意思
嗯啊快拔出来我是你老师视频
上课带着跳D是什么体验
火影忍者禁图网站
肉多车速快的推荐
甘雨哭着让刻晴停下来
日本一姐潮水RAPPER
男子吃冻土豆后拔牙
精品一线二线三线无人区
不要再进去了会被撑坏的
荒野大镖客暴躁老太太
学渣做错一道题学霸就插一下
妈妈的朋友1线在完整视频中字版
可以随意触摸内部位的学校
啊轻点灬公大JI巴又大又
一根筷子怎么玩哭自己的小朋友
儿媳妇夸我比他老公厉害怎么办
tttzzz黑料不打烊痞幼照片
老公和他朋友一块上我可以吗
杨门十二寡妇肉床电影
97国产精华最好的产品有哪些
教练在车里C了我三次怎么办
言教授要撞坏了笔趣阁相似的小说
我帮娇妻找粗壮男人玩3P
津渝视频完整版哔哩哔哩
桃花视频最新免费高清完整在线观看
老师家里没人你用点力好好快软件
他带我去没人的地方吃我豆腐
欧美不卡1卡2卡三卡2022免费
亚洲卡二卡三无线乱码新区
老师您的兔子好软水好多
6漫画免费下拉式六漫画斗罗大陆
车文超细过程长图片
简隋英writeas震动器
有翡在线播放免费观看
棉签和冰块怎么玩哭自己
说说自己睡过哪些亲戚
四叔一次又一次索要
精产国品一二三产品区别
爱情岛论坛网站线路1
一面亲上边一面膜下边美国
蜜源在线观看视频在线观看
三十种交口图片表
JEPENSE日本
美国ZOOM人狗APP一欢迎你
chinese军人boy鸡毛
4399韩国日本最好看的电影
日本一姐RAPPER潮水太
环太平洋 迅雷
欲罢不能第三季打扑克名场面视频
新版金银瓶1996第二级
一边亲一面膜下
亚洲卡二卡三无线乱码新区
强干奥迪4S店女销售
撩到女生下面滴水的句子小说
兰州老肥熟全程露脸
朝俞坐着震动器写作业write
女士的小内搭没遮阴怎么办呢
外出佩戴小玩具的感受
秘密教学60话好像可以照我的
WRITEAS花蕊
课代表让我桶她30分钟作文
成都4片P完整版视频动漫
老外太长到我子宫了
エースエロじ天堂
2012日本高清免费中文
老人猛的挺进莹莹体内视频
我和几个亲戚都做了爱
美国XAXWASWASWAS
当蜜桃成熟全集高清
可以c女性角色拔萝卜的游戏手游
成长视频在线观看免费
楚晚宁张腿放棋
接电话时他却突然用力
林静公交车被做到高C的原因
办公室跪下拉开拉链吃应用的优点
成都4片p高清完整版视频
妈妈的朋友完3电影
瑶白色液体喷到脸上是什么
国内Zoom人与Zoom
橘梨纱 超高级ソープ嬢
美国XAXWAS9977777
爱情鸟在线论坛1在线观看
一边做饭一边躁狂的原因分析
朋友把我玩成小喷泉了视频
rh男男车车好快的车车作文
老公带我去跟别人玩的地方
你流了那么多水还说不要
wuyuetiansese
男朋友老是玩我的小兔子
妲己におしおき
坐在木马凸起的木棒
公交车上被撞了八次
mignon动画什么时候
9612黄桃视频播放
韩漫登录页面免费漫画首页登
开车晚上污痛痛
果冻传媒2021精品亚瑟
女孩子奖励自己的视频素材高清
插曲视频尖叫无挡视频
侍卫把贵女怼树干PO
公交车6人轮换C白月
王多鱼打扑克视频免费
免费国精产品一品二品
在厂里跟很多人睡过
JEALOUSVUE成熟50MAO
伽罗ちゃんが腿法娴熟をM
老师夹的太紧拔不出来的解决方法
把自己弄成喷泉
撕掉她的外衣6
第四色最新网站
在车上就要了你
做完之后用玉器堵住皇帝
精东影业JD011民国传奇演员
女19岁RAPPER潮水欢迎你
女主不停的被各个动物群养着
语文老师塞着跳D讲课
一个男生弄哭另外一个男生
blackpinkmv4k高清黑白配
当着全班人的面做
八戒八戒视频中文
用电动牙刷放在大腿内侧位置
从后面是不是要紧一些
跑步机上边跑边顶HHH
哪个网站可以看泰囧
麻豆传煤入口直接进入免费版下载
老师你的好软水好多的短视频
69无人区码二码三码七码
四叶草M码和欧洲码的区别
车速快多肉的百合片
性肥胖BWBWBW69
欧美最强RAPPER潮水
大菠萝福建导航导入网站
福林的初试云雨情后传
父子tck完整版
办公室车多肉多的1V2
网恋见面做H姜之鱼
最近免费中文字幕中文高清6
被自己家的狗上瘾了怎么办
秘密教学105话我需要灭火
谁输了去谁家受罚抽阴可处置男生
张津瑜视百度云
往子宫里尿一泡会怎么样
天堂在线www官网
bgmbgmbgm毛多多胖老太太
空去掉小内趴在地上打扑克视频
八戒八戒视频中文
啦啦啦在线观看免费完整版BD
爸爸单身多年想要可以给他吗
尺八话的巡り动画免费看
xl司第二季未增减
电车之狼r秘籍
桃花在线观看视频动漫
二次元人物桶动漫人物免费
办公桌添的我好爽
撕掉她的外衣6
おやすみせっくす2在线观看
一面亲上边一面膜下边打扑克
坤巴塞小洞里视频
仙女棒坐姿图片
春暖花开行吧有你cc
9420高清视频在线观看国语
亚洲人一卡4卡5卡6卡7卡
一面亲着一面膜胸口
中国 韩国 日本 免费看
jy被堵肚子胀得厉害
overflow带翻译无马赛樱花中文翻译
全在DOI没停过的电影叫什么
还想结婚的女人
国精产品自线六区
迈开腿我要C你
正面上我啊BY炖了一锅毛血旺
他把手探到我的衣服里作文
洗浴双响炮是什么意思
搞机time恶心直接打开的网站不用下载
欧洲最大但人文艺术1588
LINODE日本IPHONEDVD学校
精品乱码卡1卡2卡3免费
日产精品无人区
比赛输了任对方看和玩部位一个月
每走一步就会深深的撞一下
上官婉儿的乳液狂飙的视频
小雪又胀又麻又酸又痒
麻花传媒ceo免费观看
做运动打扑克免费视频大全
精品成品国色天香卡一卡三卡
Z0OZO0人善之交另类
成熟交bgmbgmbgm
客厅H伦亲女小芳小雪图片
老子今天晚上骑疯你
男女XX00上下抽搐动态图
老外太长到我子宫了
学长我们换个地方做小作文
随着公车车晃动进入
免费B站视频推广网站2023
最年轻的小峓子4中字巴巴鱼汤饭
被特种兵开宫灌满怀孕H
小泽玛莉亚种子
日本HDMI2.0高清线339933
是不是好久没人弄你了
无人区码卡二卡3卡4卡无
往子宫里尿一泡会怎么样
厨房运动剧烈老师的大兔子鹿
99无人区码一码二码三码四码
BBOX入门BASS变态重
甘雨乳液VX网站入口
善良的嫂子5字巴巴鱼汤饭惹人
妈妈的朋友5完整视频有翻译木瓜中字
王总来我家老公不在
女朋友特别会摇是什么意思
两个男的是怎么开车的
换个地方做吧未增删动画动漫
同桌把我拉到他家C作文600字
yy111111手机在线观看琪琪
原神ちゃんが腿法娴熟を视频
糖果君三人行视频
让儿子上几回了
免费BGMBGMBGM胖老太太东北
胸大的姑娘中文字幕视频
好男人资源在线观看高清播放免费
5根一起会坏掉的好痛的视频
国产在AJ精品
MOSTHDCOECTION性
樱花app视频污
网站你懂2018
一上一下不停运动免费声音
吃顿饭做四次爱
宝宝才两根手指就疼哭了怎么回事
歪歪漫画登录页面免费漫画网页在线阅读
爱情岛论坛永久免费线路
坐在振动棒上写作业
魅力研习社吹避孕套
永远免费的品色堂
zhangjinyu完整视频
没带罩子让他吃了一天的药
我成了班级的发泄玩具的作文
麻花豆传媒在线MV免费版特色
老婆同意再找个男的
公交一晃一晃就进去了怎么办
原神女角色脸红哮喘图片
腿再张大点就可以看到小扇贝
SB就是用来C的
悠悠爱情药草香
金花瓶双梅花5
李若彤小龙女被辱
ZOOM人与ZOOMWIDS
三十六式阴阳技巧
糖心VLOG精品一区二区三区
B站看大片与Netflix比较
丝瓜草莓榴莲深夜释放自己
黎朔WRITEAS水管
linode日本iphone强汉app
两对夫妇在野外帐篷交换
公交车后车座的疯狂的做小视频
教授好会c1v1笔趣阁
WRITE AS 高中生
147大但人文艺术37大但人文艺术
俄罗斯XXXXXL18
在车里剧烈运动
18无人区码卡二卡3卡4卡在线
为什么把腿开到最大就不疼了
父子骨科多r车推荐
365天霸道总裁爱上我2免费观看
张津瑜6分视频
ipz046为什么被称为神作
一下又一下有力的撞公主视频
打开这个网站你会感谢我的
6月6日蚂蚁庄园答案
夹枪带棒1V2舒明明
日本vodafonewifiAPP
一个人免费看B站
日落之前爱上你吻戏
精品推荐国产精品店
云缨去掉所有小内流口水图片
儿子一晚上要了我五回怎么办呀
非诚勿扰张丹丹素颜
坐在木马的木棒上
浪小辉与空少酒店我3pXVIDEOS
国精产品W灬源码1688伊在
洗浴双响炮是什么意思
脱色摇床THERMO网站
亲亲抱抱举柔柔的视频
一边做饭一边狂躁怎么办呢
儿子比老公的大 没忍住
午夜伦yy44880影院
小学六年级差差差很痛带声音
公交车最后一排被C细节描写
床上运动拔萝卜
rh男1做0车车的车车视频网页
边做边爱完整版3
九阴真经野草版
蜜芽tv.2722永不失联下载
用玉器养大的公主么么
差差差很疼无限在线观看
成都教育局回应初中取消晚自习
aeroflot
日本在线高清免费爱做网站
国产免费毛不卡片
毫不犹豫的进入
好儿子妈妈是你一个人的文章
久亚洲一线产区二线产区三线产区
tpu色母能与pa6色母通用吗
曜给镜做剧烈运动的视频
蚂蚁庄园今日答案
母亲6免费完整高清电视剧在线看
粉色视频免费版高清全集
永久免费品色堂
女儿初长成爸爸来尝鲜食品的说说
彩虹男GARY视频2022
2012国语在线看免费直播
PYTHON人狗大战CSDN
宫锁心玉迅雷下载
M HBFAXIA
国模欢欢销魂全过程
女BBWBBWBBWBBW
小舞新形象PS掉所有衣服图片软件
学生党如何自W
转过去趴翘高点打完坐高脚凳
MD豆传媒一二三区进站口
芳草地在线观看视频
儿子比爸爸的几把大
家长会上爸爸们C老师
yy4680私人影院
自W到高C的25种图
大蛇根C小兔子
非洲人和和人配人视频
top gear 19季03
缓慢而有力的一下又一下
趴在玻璃窗做给别人看
外国XXXXXL19WASWAS
品色堂永久论坛
房奴试爱的运动
爱情岛论坛永久免费线路
自w到高c的25种方法
医疗室play道具走绳结
对女婿提出那个
羞羞首页登录无限阅币免费
V11亚二新区乱码无人区
梁医生再往下一点吃肉视频
囗交大图片26交
汤姆叔叔最新地域网名2021是什么
成熟交BGMBGMBGM在线
杀帝的闪婚恋人
PYTHON人马大战CSDN
姐姐说想做可以找她
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1