有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
潘金莲扬思敏版1996无删减版
99西方大但人文艺术
后车座的疯狂运动
将夜免费神马影院日本
男生插曲女生视频完整
137最大但人文艺术
精产国品一二三产品区别9977
亏亏的视频带疼痛声的免安装
他一次比一次撞的很多
2023男男钙GGY钙站
农场主三姐妹美国1976
不知火舞之沙滩狂欢
岳故意装睡让我挺进去的视频
黑人双人RAPPER的特点
爱琴海论坛视频播放二西瓜
雨后的故事动画
年轻的母亲2在线线观中文免费观看
坐在振动棒上写作业
女方输了任男方处置清清1000字
4个人互换着做苏霞
XAXWASWAS17777777K9O75OXSL
她舔我阴部好爽69式
磨豆浆拔萝卜视频教程
王副军官玩田雨细节描述
为什么黑人睡过的人没人要
迈开腿让我尝尝你的草莓什么味道
嘼皇妓院BESTIALITYSEX
精品人在二线三线区别
bgmbgmbgm老妇60
八重神子被捅到流口水的游戏
中文字幕乱码2
坐在叔叔的硬硬的上面写作业
日本一姐潮水RAPPER
维多利亚壹号未删减
妈妈的男朋友2线观 高清
男生把坤坤放女生坤坤里开元
新金瓶悔1一5集免费
yuanshayangli
再爱我一次 逆爱
动漫人物去掉小内打扑克A
19偷偷鲁青春草原视频
怎么把自己扣的全是水喷泉
宝宝腿开大一点就不疼了
OG日产精品一卡2卡三
学校里的性教学教具
疫情期间日老妈
坐公交车最后一排被C
遥控器跳DAN放在里面坐公交
欧洲黑人最强潮水RAPPER
为什么一加速女孩子就会哭
可以做X的手机游戏
关上最后的门吧漫画
用注射器打水放屁眼里的处罚视频
一口一口把奶从胸口吃掉B站
日本漫画工番口番全彩
女生喜不喜欢两手探洞
Zoom与人性Zoom1区别
堵好了一点都不能尿出来作文
对象一直掐我的奶奶
sdde318
父母儿女YI家狂I目录
在车上被弄到高c
我喜欢几个人日一人我
为什么男生抽的越快声音越响
日本speakingenglish实践4
年轻的保姆5完整视频观看
坐在学霸的棍子上背单词
情侣之间棉签是用来干嘛的
5G天天奭多人 运动
日本一线产区和二线产区
不想疼就把腿分到最大到再打
校园春色武侠古典系列
亚洲一线产区二线产区
王者荣耀黄化图库
侯马市性侵女生照片
4399影院在线观看免费视频BD
迈开腿让尝尝你的CH宝宝
福林儿初试云雨情
车上一下子就弄进去了岳
韩国美女主播系列之蜜罐
春暖 花开cc炎狼
胸大的姑娘免费观看直播百度
无人区码卡二卡乱码
原神人物黄化网站
强行进入后为什么不挣扎了
WRITE AS尿出来
一边做饭一边躁狂我会怎么样
男男车的车车图
公么公在浴室征服小雪
老阿姨才是最有味的
亚洲一线产区二线产区精华液
宝宝把腿开大一点就不疼了
学渣坐在学霸的鸡叭上写作业
姐姐的朋友9完整视频有翻译
大象成品网站w灬源码1688
迈开腿让尝尝你森林视频
S货是不是想挨C叫大
丰裕纵满杨玉环2
男人大鸟硬起来图片
试过黑人之后再也回不去了
果冻服务是怎么进行的
家里没人爸爸用点力好好快
WRITEAS军校
tube8怎么进不去了
好男人的社区在线
东北老女人大叫爽死啦
美女扒开腿让男生桶免费看动态图
黄到让你那里滴水的作文门卫
欧亚专线欧洲s码wmysnh48
如何把自己玩到喷泉视频
撕掉她的外衣7
日产一二三四十入岁区
初中生一起床差差差的场景
国产AMS1117
国外精产品W灬源码1688网站
糖心LOGO免费
老师的蕾丝小内内湿透了
父母儿女互换干对家庭成员的影响
儿子耕种母亲的田
ADC自拍视频
野兽的夜晚第四季忘不掉的前任
肚子里面满满的都是JY祝英台
波多野结衣加嘞比在线观看
芭乐app下载网址进入18免费站长统计
国外精产品W灬源码1688
最近免费中文字幕MV视频7
日呀好久没有日B了
电车之狼r 攻略
宝贝我想你用嘴做
CHINA中国对白刺激大豆
化学实验室学霸做哭学渣试管
打开腿吃你的扇贝吃胸
动漫车车好快的车车图
韩漫漫画登录页面免费漫画入口弹窗
麻花豆传媒剧国产MV瑜伽垫上
做AJ的姿势视频教程大全
120秒免费体验试看5次
带闺蜜出来玩被她老公说怎么回她
14MAY18_XXXXXL56ENDIAN60
上一个楼梯撞到最深处
内衣柜办公室未增减
mignon动画什么时候
张津瑜处理通告
胸大的姑娘播放动漫视频
男朋友咬小兔兔是应该怎么回应
男生把坤坤放到女坤坤里蘑菇视频
19岁潮水RAPPER欢迎您
年轻的保姆5线观高清多鱼
巴西女人与禽2O2O性论交
王者荣耀海月被捅到流口水表情
无乱码区1卡2卡三卡网站
麻花传媒剧在线MV免费观看
压在女朋友身上是件很幸福的事
在公交车上要了无数次
男团共享物by不必南下全文
用注射器打水放屁眼里
坐在老师的鸡叭上写作业作文
WRITEAS撑桌上
老师的小兔子好软水好多动漫
英语老师的兔子又大又好吃
错一道题就往下面插一支笔怎么办
yehualu
国产日产欧产综合
C的里面太满了
开车越往下越疼视频
安全套试用员的辛酸
最近更新2019中文字幕高清
大但人文艺术欣赏ppt图片
14MAY13_XXXXXL
儿媳太美味苏暖的
日本免费新区二
黑料吃瓜网.SU永久有效
好爽好多水C死你视频
和同学一天C了好几次小作文
天天啪夜夜干2007
大胸年轻的搜子
一本到道免费线观看
japonensisJAVAHD大豆行情
教你怎么自己吃丁丁
晚上必看的正能量视频入口
来吧儿子妈妈是你的人是什么歌
美女脱个精光露出奶头和尿口
韩国年轻的母亲5观整有限中字
你的水喷得到处都是
虫虫漫画在线看漫画免费弹窗页面
14岁女RAPPER
痴汉电车3图片
洛温强制车writeas
原神刻晴去掉小内打扑克
GOGOGO大但艺术风格分析
亏亏插曲叫疼的免费网址
厚颜无耻韩国动漫在线阅读视频
感受到我了吗大不大烫不烫
秘密教学105话我需要灭火
给你下水好多下水道
皇上太长了撞到点了
LASTDAYONEARTH粗暴
糖心出品VLOG一区二区
涨精装满肚子用塞子堵住上学
羞羞漫画登录页面免费入口页面
人曾交互MOUSE农场K9
榴莲app推广链接
坐公交车日了两个小
赵奕欢魏晨亲密照
两个人一前一后攻击我讲述
四虎最新地域网名2021免费
把女朋友弄成小喷泉是什么意思呀
旅行者把甘雨咬出乳液
校霸被校草强迫H
6漫画免费下拉式六漫画斗罗大陆
老公我想你了给我好不好嘛
男生坤坤放在女生坤坤里开元棋
一个人免费观看的WWW哔哩哔哩
如果这叫爱情感觉会很恶心
日本speakingenglish实践4
被子里怎么无声自W
是不是好久没人弄你了表情包
日式像素黄油小风港下载
漂亮的丰年经的继拇3如如中字
跳D开到最大C死我
亚洲一卡2卡3卡4卡5卡127
搞机TIME恶心直接打开的不用下载嘉兴
久亚洲一线产区二线产区三线产区
桃花洞口开香蕊落莓苔的意思
mm1313点不进去了
怎么自己自W教程
等不及了在车里就CH
xiaodiaowang
草莓视频APP下载安装免费无限看-丝瓜安卓
WRITE AS 轮
年轻的母亲5免费观看翻译
桃花怪大战菊花侠
中日本乱码卡一卡二新区
太阳帝国的原罪秘籍
小鲜肉GARY2022飞机
搞机TIME的恶心软件直接打开不用不收钱
公交车的小黄说说100
YW.8827.龙物视频永不失联
坐公交车失去了第一次
妈妈跟外公在做什么
久久无人区卡三卡4卡
中国speakingathome宾馆百度
水都流了那么多还说不愿意喝
IGAO网站在线观看
水都流了那么多还说不愿意喝
车上后座多肉短文300字左右
咋能把女友弄成小喷泉呢
一二三四免费中文在线1
男人和女人一起差差差带痛声作文
给我播放免费高清MV在线观看
隔着衣服吃你的小尖尖作文
麻豆精产国品一二三区别
黑人双人RAPPER美国大豆
八重神子享受翻白眼流口水视频
免费B站推广网站在线
FREE?性护士VIDOS呻吟
12星座离奇事件柳岩
好湿JK漫画可以自动下滑阅读
欧洲最强rapper潮水网
亲胸揉摸下面刺激视频
去部队探亲一晚上几次
仙踪林welcome on line word
在公交车上要了无数次
教女生自己捏自己的小兔兔
男按摩师用嘴亲我下面口述
蜜芽.2722永不失联在线观看
vpswindows野外直播
学长突然将遥控器开到最大
极品教师高清免费观看中文
新区乱码无人区二精东
差差差很痛30分钟打扑克
张津瑜7段原版
酒瓶塞住不准掉下来
无人区一卡二卡四卡
女孩子奖励自己的视频素材高清
狠狠射日日干综合
迈开腿给我看看你的草莓文章
腿张大点就能吃扇贝不疼视频
老赵抱着媛媛在厨房做视频播放
老公睡了我妈我同意了
他真的比我老公的大得多
一口一口吃掉胸口的奶油BD站
一面膜上边一面吃下边免费看
原神甘雨安慰部下CG插画在哪
上楼梯每走一步就撞得更深
我们四个人换着玩的感觉是
跑步机上边跑边c
为什么男生喜欢摸和咬小兔兔
班长的兔子好软水好多视频网站
BGMBGMBGM胖老太太俄罗斯
把腿开到最大就不疼了吗
少妇无码吹潮久久精品AV
爸爸缓慢有力挺送女儿的话
小鲜肉GARY2023飞机小蓝
亚洲2卡3卡4卡5卡乱
女大学生怪奇俱乐部
moonlight动漫在线观看
暖暖 免费 日本 韩国BD
大学旅馆叫的厉害
放学后的职员室未增删有翻译樱花
随处做X的世界学校游戏
斗转星移明星合成图
AI人脸替换白鹿造梦喷水
兰姨不敢发出一点声音怕吵醒风
关上最后的门吧未增删带翻译樱花
剧烈运动摇床打扑克运动视频免费
THERMO脱色摇床
往下边塞玉器见客人啥意思
宝宝你好会夹还流这么多
差差差很疼的视频无掩盖
一二三四在线播放免费观看中文版视频
麻花传媒剧在线MV免费观看
乳液狂飙天堂W98
最大BBWBBW
全身按摩被按摩师添下面
人物动物互动高清
老公晚上是怎么玩你的
用......用点力快到了视频
每走一步楼梯就撞故意顶一下
随时随地都能干的小镇I
毛都没长就被开了包
爱啊哎呀我愿意
亚洲日本乱码卡2卡3卡新区
鲍鱼网站最新网名2021
人妻无码AV中文系列
欧美人与人动人物2020
137最大但人文艺术
领导的东西比老公的大
翁熄小莹回乡下
迪丽热巴哭着说不能再深了
妈妈朋友齐上阵
在线bt天堂网.www最新版
情侣的30种插秧法图片
快喵app短视频无限看
JEALOUSVUE第一次
《言教授、要撞坏了》
坐在学霸的棒棒上写作业视频
漂亮的丰年轻的继坶3在线观看
YSL千人千色YESE88
真人打扑克直播软件下载安装
国产爱豆传媒果冻天美传媒演员
班级的公共玩具第1章
甘雨玩自己被旅行者发现
姐姐说家里没人可以C
张警官和吕总视频
在公交车上被撞了八次
老师让我在办公室做了一节课
国色一卡2卡3卡4卡在线新区
樱桃视频首页在线观看
write as 哥哥
公交车两人双指探洞湘潭天气网
妈妈说我带套才可以
YELLOW的视频播放
三十六式阴阳技巧
中国XXXXXL 17
色吧有你春暖花开
实时观看双人床上做的运动扑克
我年轻漂亮的继坶8
男朋友找别人一起上我
俄罗斯人与ZOOM人的区别
sqte-046
杨幂ai智能人脸替换脸蓝鲸
最近中文字幕2019视频
妈妈看清楚我是怎么C你的
马人配驴杂交种好吗图片
桃花视频最新免费高清完整在线观看
暗夜1v3疯狂
你看桌子上都是你流的
美空ayaka
仙踪林老狼 - 八零婚纱摄影工作室
我睡过的横店女演员笔记
漂亮的保姆中字
不再是朋友的夜晚2
永远的品色论坛
最近中国韩国日本视频
四虎影库紧急大通知
我朋友的年轻搜子2在线播放
老师洗澡让我吃她胸视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1