有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
春暖花开发布器
S货叫大声点C烂你的SBXS
甜蜜惩罚未增删带翻译樱花接
麻豆传煤网站入口直接进
果冻传媒MV国产推荐视频直接
再往里一点啊对就是哪里
双人床上剧烈运动打扑克
YKC499蜜糖豆
成熟交bgmbgmbgm欧
4人个人换着玩感受
帅气体育生GARY网站MV肌肉
奇迹三雄之扑克牌游戏
2022GGY钙男男视频
SAO货腿张开JI巴CAO死我
女生戴自动蝴蝶去上班的注意事项
善良妈妈的朋友9完整有限中字木
小东西这才2根而已
生物老师拿自己做学生的奖励
么公的粗大挺进了我的密道
波多野结衣加嘞比在线观看
车文超细过程文字描述图片
斗罗大陆唐三桶比比东的下面
儿子耕种母亲的田地叫什么名字
抽出含了一整夜的性器液体流出
日产2021免费一二三四区在线
张津瑜和吕知樾照片
AI人脸替换脸杨幂在线播放
成都4片P完整版视频动漫
JAPONENSISJAVAHDTV360
老丈人的东西又弯又长怎么形容
水蜜桃文化传媒
邻居的夫妇交换3
日本RAPPER潮水RAPPER万家乐
污到爆的巨细文
欧洲vodafone a18
1377大但人文艺术演员表
宝宝我想吃你胸前的大白兔奶糖
学霸写作业让受自己动
两个领导在车里吃我奶H
广西柳州莫菁门事件
C死了啊哈宝宝腰好会扭CBL
倒插莲花是什么样子的意思
好男人看在线视频
每天肚子里都是主人的尿
腿张大点就能吃扇贝不疼视频
run away无删减全集
r头怎么玩教程
LINODEIPHONE欧美拉屎放屁
JEALOUSVUE护士
果冻星空传媒儿媳妇
日本人AA制是不是很凉薄
日产无人区一线二线三线视频
FLUFFINGADUCKKEVINMACLEOD
夜蒲1国语版完整版百度影音
china中国青年gary外卖抖抖
宏翔小蓝视频GY2022的特点
精产国品一二三区别在哪里
联谊对象是肉食系警官
魏晨破赵奕欢的处图
迈开腿让尝尝你的森林视频叫什么
精东传媒vs天美传媒合作
男女在一起愁愁愁视频素材
梅老板再次梅开二度
三十分钟让你桶个够
黄鳝21分钟40秒完整版
年轻的朋友3免费观看完整韩国
又粗又硬又长受不了
老阿姨儿子一二三区
深田えいみ禁欲后被隔壁人妻
不知火舞沙滩狂欢
桂花婶的宝贝可是9曲18弯
他缓慢而有力的往里挺送文字
一边伸舌头一边快速喘气
江疏影口大佬照片
班长哭了能不能再抠
老太太BGMBGMBGM性
和搜子居的日子2
含着睡觉是一种怎样的体验
张书记不戴套杨雨婷
家里没人儿子就弄我了
成功拿下了妈妈
一天接待20个客人肚子会鼓吗
宝贝我不想带小雨伞啦小说
善良的小峓子6中字巴巴鱼汤
唐朝豪放女百度影音
汤芳最出位下部
年轻丰满的继牳2
国产乱码无限2021芒果
雷电将军的俘虏生活30汉化版
成年电人电影免费网站
色母UN2025
果冻服务是怎么进行的
拍摄指南BY飞机纸飞机
女朋友会摇是什么体验
激烈娇喘叫床声床震视频
晚上偷偷看B站视频软件投屏
三个人玩我一个人是什么感觉
女朋友特别会夹是什么体验
公交车后车座的疯狂C
接电话插的说不出话怎么办
腿再打开一点就能吃到扇贝了
网站大家懂我的意思吧
涩涩屋草莓榴莲绿巨人秋葵
重一点啊再重一点
最近最好的2019中文日本字幕
51cg1.fun怎么打开
金刚杵汆肉莲的介绍
家规犯错就打隐私超严的家规
香肠和扇贝插在一起是什么
渴情昼夜 作者东寻问酒
动漫人物将机机插曲漫画下载
不顾一切地进入
韩漫歪歪漫画登录页面免费漫画入口页面
2021年4虎的新地址是多少
姐姐说家里没人给我看下面
被多个强壮的黑人灌满精
YSL千人千色T9T9T9最新
亚洲精华国产精华精华液网站
橘梨纱コスプレ连続激イキ
滑进了母亲的生命之门怎么办
5g天天奭多人运动 在线观看免费
妈妈的朋友2在完整有限中字
安琪拉翻白眼流眼泪流口水
男朋友吃我的小兔子图片
厦门路虎事件2分38秒
无人区免费一二三四乱码
YW.8827.龙物视频永不失联是多少
在体育馆地板上做
小学生桶机30分钟全教程
数学老师叫我吃她的小兔兔
被他从身后撞得浑身散
李宗?视频1313网
淑容四次上船张开腿
蜜芽188.Coo永不失联
精华液一二三产区的区别在哪
虫虫漫画页面在线阅读弹窗
张津瑜视频百度云
火影忍者鸣人搞纲手
一手抚大 阿司匹林
5G天天奭多人运动最新 网址
如果这叫爱情感觉会很恶心
雨后的小故事gif图
大鱼直播app
sis001 board 评论区
人文艺术欣赏ppt
好涨水快流出来了图片
小甜豆三部曲是哪三部
妖精的尾巴oad6
男生把坤巴扎进女生的坤巴里
填的满满的 不要了
成人网小儿不宜
厨房挺进旗袍班主任
国精产品无人区一码二码三蘑菇
日本插曲的痛的30分钟欢迎您
姐姐的小兔子又大又软作文
一二三四在线视频社区3
被C是什么感受
两种进入狂野式的方法有哪些
杨幂哭着说不能再深
国精产品W灬源码1688在
siro-3248
日本卡一卡二新区
老狼信息网仙踪林八零婚纱摄影工作室
最好的中文字幕视频
国内精品一卡二卡三卡公司
它想你了给他好不好
怎么样才算真正的进入图片
两个人看的片BD
英语课代表好软免费高清视频
晚上经常听到婆婆在叫声音
超污的开车过程句子描述作文
不伦纯爱百度影音
国精产品砖一区二区三区糖心
联谊对象是肉食系警官
在线正能量网站地址链接免费
男团共享物by不必南下全文
国产精华液2020
TTTZZZ黑料不打烊肾虚十八连
无限动漫视频在线观看
丁香花大型成人社区
女医生私密诊所
腿再打开一点就可以吃扇贝了
客厅H伦亲女小芳小雪视频
公交车大尺寸的小黄说说1000字
灯草和尚之白蛇传
二人剧烈运动扑克视频
张柏芝门照艳原图
中国免费XXXXXL17
宝宝腿抬起来就不疼了
78MAP打扑克视频
妈妈的朋友4线在完整有限公司中字
14MAY18_XXXXXL56ENDIAN中国
疫情期间拿下老妈
爷爷总是趴在妈妈身上睡觉
不知火舞之沙滩狂欢
一切从裸露开始
夜倾情 保姆的诱惑
无翼之漫画漫画焰灵姬
打扑克喘气声音
小小水蜜桃免费看
中日文字幕视频
英国的巨人DannyD
给我免费播放片日本版
星空无限传媒XK8027我的妹妹
被黑人肉体暴力强奷在线播放
日本亲子乱子伦XXXX50路
艳阳门无删照片1400还有视频
writeas上层玩具
同桌的手探到我的衣服里知乎免费
淦自己的100种方法图片
东南亚少女rapperdiss
儿媳妇以为我是她老公是什么书
雨后的故事动画
人与善人与善在线观看
俄罗斯VODAFONEWIFI巨大
密桃成熟时33d国语
豪妇荡乳1一5
幸福宝8008隐藏永久入口
凌晨三点看日本片好吗
GOGOGO大但人文艺术观后感
写的超细的开车片段推荐
把腿再张大点就可以吃到扇贝了
孤注一掷王传君免费观看
妈妈的朋友1线在完整视频中字版
体育课被C了一节课
欧美无代码HD免费
WRITEAS趴腿上
亚洲一二三无人区分别是哪
18款夜间禁用软件入口2023
王者公孙离爽到流泪
叫大点声今晚家里没人冷教
亚1州区2区3区4区产品乱码2021
一个老男人把我下边玩肿了
雨后的小故事动态图
妽妽的下边好紧春雨医生
秘密教学83田里开机免费
DVD碟片潘金莲
台湾SWAG官方网站进入方法
家里没人姐姐就是我的了
校服下摆太紧不好c
小雪的13又嫩又紧又多水带图
男生怎么坤坤变大变长教程
亚洲一码和欧洲二码的尺码
姬小满裸妆图片
可不可以干湿你
开过张的女生是不是一直想
恋夜院影全部视频列表2
男生女生差差差很疼视频大全免费2023
贺朝用笔捅哭谢俞
母与子2免费观看完整版
老太太bgmbgmbgm大
朋友换娶妻当面
爱你24小时不打烊
acome玫瑰
宝贝我撞的你舒不舒服
我朋友把我玩成了喷泉什么意思
广西柳州莫菁门
精东传媒JDYL027李娜娜
大菠萝福建官方导航引导入口
上楼梯一深一浅
大团圆结2高敏
99国精产品灬源码1688
女生给男生看自己的秘密是为什么
国精产品一品二品国精破解
品色堂 永远的免费论坛
一个奶下面一个鼎是什么字
多地考研成绩公布
向日葵视频app污污网站
父母儿女媳妇一起来玩的说说搞笑
欧美最强RAPPER潮水
99国精产品灬源码1688钻
中文字日产幕码三区的做法大全
多毛小姐BGMBGMBGM胖
茄子 香草 草莓 丝瓜 榴莲污
福利姬萌白酱甜味弥漫第一美女图
温暖叶非墨做肉段阳台日照小说
爸爸缓慢有力送女儿的句子
关上最后的门吧未增删带翻译樱花
才三根手指头就疼了小东西
侯马市性侵女生照片
国模超大尺度私拍
老师好紧好滑我要进去
小叔子说我的奶奶好大
张筱雨《魅惑2》图片
他发疯地撞着他
女生说疼男生越来越往里寨的游戏
和朋友换娶妻a2020
MD豆传媒一二三区入口
狗链M项圈女母狗牵引绳铃铛
CANOPEN最新网站
父亲缓慢有力挺送女儿
邻居2中文字幕版免费
WRITE AS 讲台上
宝宝我就在外面蹭一下爱情花季
哔哩哔哩大尺寸床车视频
变形记温暖之痛
厨房挺进旗袍班主任
mdyd-751
maya成人论坛
在线高清电影理论片4399
镜花风月之二艳鬼现身
李燕刘国栋羞答答的那些事
他像疯了一样的索取
野花韩国高清免费神马百度
ati mobility radeon
九阴真经野草版
八重神子流白色乳液
原神刻晴去掉小内打扑克
啦啦啦 中文 日本 韩国 免费
暖暖 中文 免费 日本社区
妈妈愿意让你c
比赛谁输谁去谁家受罚随便玩
蜜桃成熟3dqvod
家里什么东西能当阳具
吃到自己的鸡嘴巴简单办法
不要了好涨停下来
美女杀手催花狂
一个好妈妈4中字头强华驿
单身男女2粤语
抖音奶片故意走漏
国色一卡2卡3卡4卡在线新区
云缨去掉衣服图片
中国XXXXXL 17
哪吒顶进敖丙里面
欧洲RAPPER潮水喷
交口图片30种图片大全
0ADC大驾光临未满十八岁
HULUWA官网在线入口IOS
心动时刻 简简单单
女人的各种鲍鱼
和老板在办公室BD 中文
鲍鱼tv5apk官网app
吃女朋友的扇贝的方法
二人扑克剧烈运动视频教程视频
抱着公主走一步撞一下
刚满十八岁女生穿衣搭配
鬼灭之刃蝴蝶忍被按在地上草
成片人卡1卡2卡3免费版
班长哭着说不能再深了作文600
茄子视频看的片WWW免费
撑起伽罗的腿疯狂输出的视频
把冰葡萄一颗一颗往里堆
我和小姪女小婷上下耸动
MACBOOK少女
bgmbgmbgm老太太水太多
我一加速她就哭
最近最新高清中文字幕免费大全
打女孩子PG的方法有哪些
叔叔帮我看看是不是有虫子咬我
关于我和鬼变成家人这件事
长插曲视频完整版30分钟免费
男男车车好快的车车啊哈哈视频
MD豆传媒一二三区入口
0adc影库年龄确定
哪里可以看奥运会比赛视频
51黑料吃瓜每日精品
12岁PG可以塞下多少根棉签
够了够了已经满到高c了楼道
扯开衣服两只小兔子跳出来是
我想吃你扇贝里的水
每个月老板都要玩我几次
18岁末年禁止进入
输了让同学玩全部位置游戏的作文
可以随意触摸内部位的游戏
嘉木(1V1婚恋)
欧洲无人区码SUV
旅游途中换着玩
蜜桃文化传媒有限公司
师奶杀手是什么意思
一区二区三区国产精华液区别大吗
137最大但人文艺术图片
2019天天射干
相对湿度po阿司匹林催熟
把自己训练成小喷泉
他的白月光HvH桔子糖水
原神申鹤被空C出白色液体游戏
叫吧宝贝我想听你叫什么
免费日产区乱码2021软件
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1