有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
韩国演艺圈悲惨事件种子
做的时候粘腻的水声
孩子玩着就C进去了怎么回事
小诗的玩具日记乡村
关上最后的门漫画
遇到一个会夹会摇的女生什么体验
诸神混乱之女神陷阱
国产精华液一二三区别
小家伙你喷的到处都是文字
为什么舞蹈生下面都是突出的
忘带罩子了让他弄了一节课
雷电将军ちゃんがを腿法娴熟部下
你的棒棒可以桶桶我的下水道
妈妈的朋友8中字电视剧
男朋友说迈开腿让我检查一下
艳情短篇合集1一160
大鸟阿力自射视频
埃及猫没有衣服跳舞动画片原版
2021无线乱码免费
没有擦黑板被老师C了一顿
精品卡一卡二新区仙踪林
头埋在两座山峰之间
如何引导儿子上自己
差差漫画页面免费漫画欢迎你
从镜子里看我怎么C你的作文
麻豆是传媒官方直接进入
性VODAFONEWIFI另类
放里面睡觉是一种怎样
糖心国产传媒vlog
坤是放在女生的前面还是后面
2023国精产品一二二线免费
老师的大兔子好软水好多的
催熟PO1V3
国产色母和进口色母区别在哪
雷电将军乳液VX网站免费
45岁沈阳阿姨喷了好几次
乡村大尺寸的小黄说说1000字
双人床上做剧烈运动可以吗
撑起伽罗的腿疯狂输出的视频
3分25秒痞幼
史莱姆のエロ刻晴二维码
侯马市性侵女生
第一次处破女18分钟好痛
老旺的大肉蟒进进出出次视频
儿子晚上家里没人就让你弄
台湾SWAY麻豆果冻精东
mignon动画什么时候
BabyCAT98女rapper
国色天香精品卡一卡二卡三二百
做完放里面睡觉醒了继续
我想用乌龟蹭你的扇贝是什么意思
rh男男车车的车车视频
监控偷盗摄影二区
数学课代表的那真紧的作文
HIGH PRESSURE PRISON
ZOOM与人性ZOOM23
亚洲码一码二码三码区别
4虎的新地址是多少
年轻母亲8免费观看在线高清
国精产品w灬源码1h855.c
被弄得走不动路走不动怎么办
乱码1234区2021
宝贝腿开大点我添添公交车
英语老师没带罩子让捏了一节
非洲人和和人配人视频
两个男用舌头到我的蕊花
来吧儿子妈妈是你的人是谁唱的
亚洲国产精华液2021年销量
5G天天奭5G天天运动
张警官9分10秒
人成乱码一卡二卡三四卡五卡六卡
宝宝的水喷得到处都是小作文
儿子一晚上要我三回怎么办呢视频
在线成人免费电影
车子一晃一晃就C进肉了的游戏
董小宛 果冻传媒 麻豆
脱色摇床打扑克全身不盖被子
在上面做的时候像疯了一样
为什么没人喝猪奶
弄了一个女孩子几次是什么意思
我早就想在公司要你了视频
荫道BBWBBB高潮潮喷
年轻的阿姨1在观整有限中字
凌晨三点免费WWW
埃及艳后 电影国语
女人大荫蒂毛茸茸视频
午夜天堂一区人妻
人C交马ZOOMZOOM
痞幼视频3分25是什么
晚上睡不着看点免费
迈开腿里草莓男人往里怼
快猫记录生活记你
小洞饿了想吃大香肠什么意思
成品网站W灬源码16伊园功能
斗罗大陆人物黄化
日产乱码一二三四2021在线
女刑警被两个黑人前后夹攻
老电工老王和李小燕
kenderla sanderland多人
极致沉迷TXL金银花
哥布林洞窟未增删开车原声视频
欧美xbox和ps菊芘
小蓝全球最好的钙片AG
想你1VLH最新
美女爆乳裸体WWW免费应用
日韩欧美中文字幕送别
撑起伽罗的腿疯狂输入的视频
台湾小受CHINESE
上海富家女杨丽玲
女生玩男生小JJ
胡桃ちゃんが部下をさせて
不知火舞3个小孩
一天接待20个客人肚子会鼓吗
原神旅行者插雷电将军的游戏
两扇红唇夹玉柱下联一道清泉
爱情岛论坛免费观看路线二
师奶杀手是什么意思
大但人文艺术欣赏ppt图片
我们好久没做了我想你了
Gary1609百叔的个人风格
日韩卡1卡2 卡三卡免费
国产精品艺校校花视频央视网出文
国精一二二产品无人区价格
打扑克牌视频又叫又疼
日本一本到道免费
拔萝卜软件APP软件开发大全
娇妻系列交换27部多P在线观看
XRK1_3_0ARK向日葵站长推荐
小舞新形象PS掉所有衣服图片软件
蓝涣求你了慢一点曦澄
国内女RAPPER
小黄说说1000字
国精产品一二三产区
日本适合十八岁以上的护肤品
旅游妈妈给了一次
嘴巴吃鸡的正确方式图片
半夜被C醒是一种什么样的感受
污到你那里滴水不止的描写方法
最近更新中文字幕
俄罗斯13一14处出血视频
14MAY18_XXXXXL56ENDIAN美V
中日韩一卡二卡三卡四卡
宝宝把腿开大点儿就不疼了正常吗
免费网站在线观看人数在哪里
adc影院欢迎您大驾光临18岁
好妈妈8中汉字
star 424
为什么日的越快叫的也快
nnpj-143
黑帮老大和我的365日绝了
为什么女的干一炮就老实了
狗狗的速度又快又烫
绿色高清视频在线观看免费6
保守娇妻被别人开发成功
原神外网黄化网站WWW
WRITE AS管教
公交车大尺寸的小黄说说1000字
迈开腿尝尝你的小草莓什么意思
绝对控制少x时代
女生棒棒糖放屁眼里不能掉
女生越说疼男生越往里
一O多A多肉多车
巜老师的小兔子好软水好多动漫
今日吃瓜51CG热门大瓜
裙子下面是野怪
爱情岛论坛线路一官方网站
将夜2第3集大尺视频
被窝里的公息第十三章mip
第一次DOI的感受详细写一下
桃花社区视频在线观看免费完整版
在线国内永久免费CRM
灰熊最后6分钟在哪可以听
ed2k2分28秒江疏影
从阳台X到卧室边走一步视频
国内Zoom人与Zoom
最近中文字幕中文7
这一刻我们已水乳交融在一起
母亲女儿女婿三人混战闹元宵
欧亚精品卡一卡二卡三737
善良的嫂子1字巴巴鱼汤饭惹人中字
给我免费播放片日本版
siro-1063
失控driven
王者荣耀伽罗捅到流液晶
小喜不要了好大第二部
管鲍分拣中心富二代丝瓜
吉泽明部 种子
PRISON HIGH PRESSURE
英语老师不戴罩子让我捏一节课的
YW193龙物地址
tokyo hot n0730
在公交车上破了两个六年级小学生
君の髪や瞳だけで胸が痛いよ
疯狂厨房2双人3
一个老男人把我下边玩肿了
日本插槽X8插槽怎么用
大学校园1v3
两对夫妻一起旅游互换的说说
迈开腿让我看看你的照片图片
MD豆传媒一二三区进站口
YIN荡体育课羞耻PLAY
黑人啊灬啊灬啊灬快灬深用口述
我在游戏里被各种H
父之过家庭大杂乱经典说说
走一步撞一下连在一起
我想用扇贝夹你的乌龟是什么意思
国模李莉私拍超大尺度
女头粉色部位上半身大胸头像
女孩子如何变成喷泉
亚洲无人区码一二三区别
双人床上做剧烈运动可以吗
仙女棒坐着使用方法图片
JEALOUSVUE进不去
无人区码精华液
爱情鸟免费论坛在线com
美女扒开尿口露出奶头不遮挡图片
柳岩十二星座离奇事件
打扑克视频又叫又疼原声
4399看片在线看动漫
晚安おやすみせっ3在线观看
极品家丁百度云
乱VODAFONEWIFI
cnnic:国内实现7nm芯片试产
高冷男受用钢笔玩自己GH视频
你老公晚上都是怎么玩你的?
打扑克牌又疼又叫的视频
我16岁可以塞几支笔
日本顶级rapper潮水老娘
公交车最后一排被C
女孩怎样练双指探洞
激荡的瑜伽教练
女儿吃父亲的棒棒糖的说说
19岁RAPPER潮水偷轨
钙GGY钙站男男
五月丁香五月伦理
联谊中的游戏动漫无删减
写的超细的开车片段推荐
娘娘微臣和他谁弄得更厉害些?
亚洲尺码跟欧洲尺码的区别
小雪把双腿打开给老杨看5
精灵の森へようこそ2
超pen个人视频亚洲
祺鑫振动器河马的秘密河
性一交一无一伦一精一品
公嗲嗯啊轻点公大JI巴给你视频
性生20分钟性生20分钟
糖心VLOG精品一区二区三区
略国精产品W灬源码1688网站
都湿透了还嘴硬疼咋回事
魅魔乳液狂飙图片大全
三根一起玩真的不会坏掉吗
美女护士献身取精
天美麻花果冻视频大全
国产一二三四2021精字窝
精品一卡2卡三卡4卡三卡免费
csgo高清大片
健康全裸游泳社
2023国精产品一二三线
他们一前一后的有力的攻击我
欧美无人区码卡二卡3卡4免费
彻底征服美丽端庄的麻麻
黄晓明尹正合体录制中餐厅6
和孩子一起睡觉没控制住
原神雷电将军的俘虏生活
好看大但人文艺术
背人伦而禽兽行十年而灭的意思是
数学课代表趴着让我c
网红打扑克牌网站
斗罗大陆动画片免费观看完整版
班长是全班的玩具
怎么把自己自W到流泪
可以把自己看下面流的说说
c了一节课体育课渺渺
我睡过的横店女演员笔记
镜子里看我怎么进入你视频
被自己家的狗上瘾了怎么办
两个人的视频免费WWW
じゅぎょうさんかん安卓版下载
中国帅气体育生gary的介绍
娇妻玩4P被3个男子伺候电影
毛卡1卡二卡3卡4乱码
女的都喜欢吃鸡8吗
非诚勿扰张丹丹素颜
疫情期间草老妈
939W乳液78W78W永久73H2GA
想吃你前面的葡萄
丁香大型成人社区
三个人一起C感觉
一边喘气一边叫疼的扑克
第四色 成人 官网
香肠和扇贝插在一起翻译英文
mide-007
各种姿势玩小处雌女TXT视频
棉签冰块放入PG的照片
没做过的能放进几个指节
二指探洞很舒服吗
欧洲一卡二卡三卡
打烊后仅剩二人的沙龙
百合做免费运动视频教程网站
又疼又叫打扑克视频声音
大尺寸的小黄说字多肉办公室
18款禁用入口网站
女儿今夜以身相报父亲怎么办呢
张书记跨下的杨雨婷
男生说跪射是什么意思
慢慢褪去了她的内衣
天美果冻蜜桃精东传媒
宝贝儿 是不是欠C了
老婆和别人刚干完我又干可以吗
啊公交车坐最后一排被C
亚洲卡1卡2乱码新区仙踪
打扑克剧烈运动高清视频
儿子妈今天是你的人了视频
学长两个人一起会撑坏的视频
二人扑克剧烈运动视频
一小孩儿半夜给女孩吃坤巴
野花社区视频最新资源6
蜜桃麻豆天美星空传媒
欧洲vodafone a18
用我的手指搅乱吧未增删卡卡
宝贝腿再张大点就能吃到扇贝了
张津瑜7段原版
我想要看胸片曝光
德国大8BW德国大8Bw
放课后の优等生3熟肉樱花动漫
生物课老师拿自己做繁衍例子
男生女生一起差差差带痛声的完整
我女朋友的妈妈4中语翻译成英文
男生女生差差差很疼APP大全免费熊猫漫画
后车座的剧烈运动
ADC自拍视频
我想用扇贝夹你的乌龟是什么意思
韩国风俗媚娘吧
一面亲上边一面一摸下边APP
我的漂亮女教师2高清
办公室狂肉校花H陈舒
18岁女RAPPERDISSSUBS_97
啊接到一个30厘米长的客人
一边亲着一面膜下奶53分钟
私教在没人的时候要了我短文
二人生孩子全程不盖被子视频
妹妹长大了终于可以c了作文
可以把火腿肠放里面睡觉吗
麻豆专媒体公司网站
狗头萝呼啦圈视频26分钟什么梗
几天没C你是不是痒了好多水作文
一亲二膜三叉四强五注射网
日本1卡2卡3卡
老头趴在我两腿之间
丰满的女房东6剧情
体育老师C我一节课
两个师傅一前一后完整版
咬住下唇动漫在线播放
韩国妈妈的朋友10整有限中字中国
王者荣耀曜把西施顶哭
一个上面吃一个下吃视频试看
成品禁用短视频app下载
体育老师c了一节体育课作文
8000元一晚上破三个
全程粗话对白视频VIDEOS
CEK俄罗斯BNAE0
韩国妈妈的朋友6整有限中字中国
精品乱码一二三四区别
55岁大妈玩CSGO
star-424
坏老师百度影音
啊灬啊灬啊灬快灬深用口述
公交车上C了两个小学生
坐着震动器写作业的感觉
一面亲着一面膜胸口
别怕放松我这是在爱你
老阿姨一直叫BILIB
事物的秘密截取一小段
ZOOM与人性ZOOM23
接电话插的说不出话
樱花YY私人在线影院
全公司的发泄玩具
老公吃我的奶奶该怎么回应他呢
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1