有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
老阿姨是最有味的
电车之狼r 攻略
BGMBGM老太太毛多多金属
八重神子和丘丘人繁衍后代
你的东西比我老公大得多
友田彩也香qvod
睡醒发现还在C1V1
中国新疆XXXXXL19免费看
啊将军好涨鼓起来别顶了
江疏影2分28秒在线观看
老地方在线观看免费资源
吃瓜爆料就看黑料社区
麻豆专媒体公司网站
公翁的粗大放进我的秘密电影
控制全校女生听从自己
2015年3月里番
在车里被撞了八次高C文
大地资源中文第二页日本
男生摸和咬小兔兔
三个人对我又舔又摸
宝宝都湿透了还嘴硬疼怎么回事
动物胶配方视频高清大全
喂完大嘴该喂小嘴了
男生压着女生的身体的原因
亚洲国产AV精品卡一卡二
他的白月光HvH笔趣阁团叽叽
麻豆画精品传媒2021一二三区
和朋友换娶妻a2020
男的说女的紧是好的还是坏的
边缘控制玩到哭的感受
一个家庭的一天(加强版)
麻花豆传媒剧国产MV瑜伽垫上
3是不是欠C很久了H
adc欢迎您的大驾光临
强行挺进朋友漂亮的娇妻作者
布洛妮娅翻白眼乳液狂飙
每走一步就深深的撞一下
147人人艺术
999re5这里只有精品w
女头部位大胸头像
令人心动的OFFER第四季
爸爸缓慢有力挺送女儿的话
WRITEAS塞红酒瓶
在英语课上用鸡插英语课代表视频
人与畜禽共性关系美国
爸爸妈妈夜里摇床还叫声音
刮伦后心理咨询
未成年怎么玩隐私位置
女人和女人在一起怼怼怼的
语文老师塞着跳D讲课
写的超细的开车小黄车片段
WRITE AS 自己掰
品色论坛最新地址
你太大我装不下你
课代表趴下让我连桶了30分钟
エロワンピースエロい在线
捧小伙人帅吊大GAY
老公弄我的时候婆婆看到了
女教师二十三歳
69精产国品一二三产区区别
往下边塞水果后吸出来清欢
野花免费观看高清视频6
妈妈的朋友4中字在完整视频带翻译
仙踪林Xzlcompany limited
学渣坐在学霸的鸡叭上写作业
宏翔小蓝视频GY2023
世界脱衣舞大赛
大团圆结局公交车
漂亮的保姆中文版完整版免费
旗袍全开襟双人运动
雍正睡了自己的女儿
欠C的玩意SB就是用来C的HI
俄罗斯牧场VIDEOSK9
VPSWINDOWS另类极品
久久自己只精产国品
10岁可以插几支笔
小东西才一根就坚持不住视频
女生迈开腿让男生吃草莓
喜爱夜蒲1在线影院播放
朋友换娶妻5中文版
小甜豆三部曲是哪三部
9制片厂1制片传媒在线播放1
ワンピースのエロ资源中文
AI人脸替换白鹿造梦喷水
咬住下唇动漫在线播放完整版
公交车上荫蒂添的好舒服的句子
2021精品国色卡一卡二
放冰葡萄在里面做
acca少女网课视频
墨燃和踏仙君同时干楚晚宁猫弄
甘雨去内布料开襟XMAN
女装正太是什么
男孩子都会夹住女孩子头发
xingshenghuozhinan
免费雷电将军乳液VX网站
秘密教学110话我需要灭火
闫凤娇厕所门事件
心动时刻简简单单的享受
抽烂WRITE AS
老公亲我的小花园爱我吗怎么回答
你真紧你这是要我的命吗什么意思
小诗的公交车日记1一7h
108式春床图片欣赏
西安一周六天雨下到6月
韩国女主播 ed2k
女生说痛了男生越里寨
无人一码二码三码4码免费
公交车里抓着摇曳的手环诗情
把它堵住不能流出来下周检查作文
已满18周岁请点击进入网站
老BwBwBwBwBw
单亲妈妈4中文在线
宝贝低头看看我是怎么爱你
王者荣耀白色粘液溅到脸上图片
双人床上互动大全
星空传媒XK8033房东
年轻的母亲在线视频HD中文字幕
糖心VLOG精品一区二区
床上运动拔萝卜
男按摩师舌头伸进去了
英语课代表的奶好软的作文视频
空去掉小内趴在地上打扑克视频
冰块温水跳跳糖果冻是什么意思
茄子视频无限看-丝瓜IOS苏州晶体公司红
我做错一题他们就C我一次
国产精品果冻传媒呆梦梦
糖心LOGO免费观看甘雨
野花日本HD免费高清版7
日本边添边摸边做边爱边
没带罩子让他c了一节语文课
秘密教学100话恩爱久等了
无码丰满人妻熟妇区
BBOX残忍BASS马
啊学长我们换个地方做软件下载
在体内横冲直撞就是不出来
地下偶像sana未增删带翻译
快拨出天我是你母亲歌词
中国成熟IPHONE
井川里予33秒正能量的原视频
办公室的交易高清BD
ドラえもんのエロ火影忍者
董小宛 果冻传媒 麻豆
篮球队的公共玩具正伟
晚上没人妈妈就是你的人
潘金莲扬思敏全集1一5集
女教师的特殊按摩2
菊内留香 金银花
天天想你视频免费观看高清在线
老师您的兔子好软水好多
精华液一二三产区的区别在哪
2014年1月里番合集
25CARD中国大学高清视频
诸神混乱之女神陷阱
精产国品产品的推荐
差差差很疼视频30分钟轮滑网
女大学生怪奇俱乐部
最近日本字幕MV高清在线电影
触手怪tentaculata无限爱心
刻晴被盗宝团捅的叫个不
爸爸的东西又大又黑怎么形容
vodafonewifi性
糖心LOGO在线观看视频
两个人怎么搞才能生孩子
原神凝光肉身待客抬腿
janetmason
两个人免费视频高清完整版
小东西看我敢不敢c你
燕氏被四个和尚播种
很详细的肉肉床文过程
漂亮的丰年轻的继坶3在线观看
elsajean挑战最粗极限
国产一产二产三精华液区别在哪里
舌头探洞感觉要喷了水怎么回事儿
英语老师哭着说不能再继续了
国精产品一区一区三区有限
宝宝怎么才两根就哭男男H
唐三插曲千仞雪不亦乐乎
年轻的母亲5免费观看翻译
男生把自己的手到女生的QQ里
体育老师c了我一节课蘑菇视频
5g天天奭多人运动 最新网站
亚洲无人区码卡二卡三卡四卡
CHINESE猛攻6P霸道太子怀孕
精华液一区二区区别
女人能进入20厘米吗
凌华ちゃんがを腿法娴熟部下
用手指轻轻按着并来回移动
波多野结衣系列在线观看GVG
孤独又灿烂的神
海角社区.COMHJ
随时随地都能干的学校HR
一次接5个客人的感受
插太深肚子凸起来了
国模冉冉私拍大r.5
北北北砂禁慢天堂
女生喊疼男生越往里寨游戏
女人荫蒂勃起后图片
迈开腿让我吃一下你的小草莓
95W乳液78WYW永久YW1129CM
你看镜子里我们的结合
开小黄车详细描写
父母儿女媳妇一起来玩的说说句子
我在公交车上弄到高C的作文
三个男人换着躁我一个
如何在被子里无声自W
日本实施一卡三卡四卡无卡免费
让我们俩一起轮你好不好视频
张津瑜三部曲都在哪看
榴莲app下载进入网址
免费正能量网站链接
追黄神器免费版
离婚回娘家满足爸爸
40岁阿姨荒野大镖客一电影内容
娇妻初尝粗大滋味借种韩国电影
写作业时被爹地玩
国产一产二产三精华液区别在哪
开心四房播播网
双乳被一左一右吃着的感觉
卡1卡2卡3乱码欧美
日本漫画工番口番全彩免费
无翼乌无漫画3d无遮
宝宝腿开大点就不疼了免费视频
再爱我一次 逆爱
为什么狗狗放进我里面就变大
麻花传媒在线MV免费观看视频
花蝴蝶日本大全免费观看6
看了让人想做的文章
少妇挑战3个黑人惨叫4P国语
爸爸的朋友2中字翻译
男朋友C你的时候你会说什么知乎
十八岁大陆女RAPPER欢迎你
吧女未成年 电影
日本HDMI2.0高清线339933
跟最讨厌部长出差
车内剧烈运动描写
横冲直撞霸王花
和孩子一起睡觉没控制住
《夜关门:欲望之花》
迈开腿让我看看你的动漫视频
心疼儿子给他一次
S货水都这么多了还装教官
无尽的3dXX视频
女生暑假自辱下面30天计划
妈妈说戴了才可以
白丝极品老师娇喘呻吟小说
校园纯开小黄车小短文300字
小S货又想挨C了叫大声点
女婿提那要求怎么办
午夜dj在线观看网
迈开腿让我尝尝你的扇贝漫画
狼人乱码无限2021芒果
柚木提娜 ed2k
自w到抖还要继续吗
夜蒲1国语版完整版
冰块加棉签怎么塞
9传媒制片厂制作在线观看
污到你那里滴水的说说细节多
用嘴巴吃鸡有什么好处和坏处呢
把你的香肠放入我的甜甜圈的
斗罗大陆黄化人物网站免费
八重神子脱小内打扑克图片
和对象在学校想要了怎么办
双胞胎一前一后夹心饼干年下
善良的小峓子字1中字巴巴鱼汤饭
维多利亚一号未删减
用注射器打水放屁眼里视频
GOGOGO大但人文艺术
一边C一边说粗话小说
电车之狼r完美存档
日本一姐RAPPER潮水仙踪林
月光视频在线观看免费版
两个人一前一后攻击我讲述
国产爱豆传媒果冻天美传媒演员
日本一卡二卡三卡四卡网站99
三门齐开有多痛
桶三十分钟全教程
将界2第3集大尺视频
免费30款禁用黄台网站
花蝴蝶免费版高清版
太大了小峓子受不了春雨
色即是空1高清
潘甜甜果冻传媒七夕连接
张津瑜事件处理结果
爱情岛论坛永久免费线路
5G天天奭多人运动网站入口
门卫老头吮她的花蒂的导演是谁
香港三圾片大全
男男车车好快的车车动漫
津渝视频完整版哔哩哔哩
儿子一晚上要我三回怎么办呢
星空无限传媒国产剧情游戏
成品大香伊煮和小辣椒的特点
欧美无人区码卡二卡卡三卡四
春江水暖桃仙汁1V2糙
linode日本iphone强汉app
能让你流水的故事1000字
缠着腰不让退出
男生坤坤放在女生坤坤叫什么
精产国蘑菇品一二三产品区
凌乱的公交车小镇
爸爸妈妈夜里摇床还叫声音
WRITE AS 含玉
亚洲国产精华液网站W
精产国品一二三区别在哪里
精产国品一二三产品区别视频
一面亲上边一面膜下边的日志
同学带几个人来玩我的作文
在公交车上弄到高c了最后一排
年轻的妈妈9的中字巴巴鱼汤饭
不再是朋友的夜晚2
自制安慰小玩具
坐在鸡上写作业好疼
吃瓜网-免费吃瓜黑料泄密爆料
欧美RAPPER潮水一欢迎您
2022没封网站正能量直接进入
柳青青人体艺术
李白受WRITEAS
538视频这里只要精品
小甜豆三部曲是哪三部
快猫成人短视频app
迈开腿让尝尝你森林视频
VODAFONEWIFI性另类
不知火舞和小男孩
厨房里的激战2海外版
得到超级肉禽系统的紫岭红山
原神申鹤开襟乳液狂飙
家庭大杂乱经典说说大全
WRITE AS 大腿内侧
黎朔WRITEAS人鱼
几天没弄又痒了是吧小东西
越往里越痛的那种视频免费
女生让和男生诵自己的游戏
googlemap日本
体育课被老师C了一节课作文
一前一后同时攻击舒服吗
成品视频网站W灬源码是
47147人文艺术欣赏
大菠萝18福建导航
公开caoporn
老卫淑华在上船上
在她身上运动了一晚上
二指探洞感觉要喷了
18款禁用软件app葫芦入口
早就想在公司要了你
男子可为之事女子未必不可为
三年片在线观看免费观看大全下载
一整夜没有从你身体里退出来
你真紧你这是要我的命吗
深田えいみ无码作品
一支笔C哭自己
宁荣荣把腿抬高我要进去
国产精品麻花传媒二三区别
欧美无人区卡1卡2卡3
一个女记者的开放人生
宝宝下面湿透了还嘴硬疼的原因
嗯嗯宝宝叫大声点
JING液收集系统开车的水獭
二人扑克剧烈运动视频软件
可以直接进网站观看的正能量
爸爸妈妈为什么夜里摇床还叫
原神胡桃lsp去衣服
老卫和淑蓉的船上生活视频
张警官和吕总视频
斗罗大陆3大乱斗交大配TXT
我和闺蜜拿黄瓜互慰
免费看大片的APP
翁公和晓雯在厨房里猛烈进出
男生吃兔兔女生该干嘛
坐在振动棒上写作业
用玉器养大的公主么么
欧洲VODAFONEWI喷浆
学长两个人一起会撑坏的视频
原神雷电将军把乳液喂给旅行者
带电动玩具上课
精产国品一二三产区9977
打扑克一边喘气一边叫疼的视频
百合车车描写文字
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1