有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
14MAY18_XXXXXL放屁
一二三四日本中文在线
怡春院宜春院美国十次
怎样玩蛋蛋最疼
midd-962
多肉的糙汉b1H
欧洲一卡二卡三卡 公司
母亲とが话していま中文
日产欧产美韩系列区别图片
都湿透了还嘴硬疼咋回事
我的儿子比我老公大
荫蒂添的好舒服小说
房东先生这是第5次付房租了
丑女图片越丑越好
新版金银瓶1一5
亚洲精品国产精华液有哪些牌子
领导吃我母乳上瘾了
从校服到婚纱1H柠檬
LINODE日本IPHONE强汉HD下载
xiaav论坛因你精彩
触摸隐私位置的游戏叫什么
黄沙视频在线观看www免费直播
国内Zoom人与Zoom
差差差的30分钟无掩盖电视剧
天降女子第一季未增删带翻译樱花
小东西几天没做水又变多了
巨大荫蒂又大又长勃起
年轻的妈妈的中字巴巴鱼汤饭
我才上六年级就C过了作文
妈妈说家里没人我们可以做
女人半夜莲花开很难受怎么办
雷电将军乳液VX
厚颜无耻韩国动漫在线阅读
亚洲日本一线产区二线产区在哪里
女朋友的妈妈2023中语翻译
2021最新一二三四五六三
紫霞用金箍棒插自己哪里
凌晨三点看的片日本
腿打开点就可以吃到扇贝了视频
好儿子妈妈今天晚上就是人
公与淑婷厨房猛烈进出视频
深夜动画在线观看
第一次处破女14分钟
公交车最后一排被C
雷电将军乳液VX
无人区一码二码三码四码多人收藏
会夹会摇是什么意思
精产国品一二三产品区别9977
もし祢豆子が悪いった
清恋 seiren
我邻居的老婆2 电影
放进去岳就不挣扎了
朋友娇妻的滋味中文字幕
监控偷盗摄影二区
榴莲草莓未满十八岁的做法大全
免费夜里18款禁用
幻音 腐 肉补钙鸭
公交车撞到最里面去了细节
4444kkkkcom
车文超细过程长图
另一类ZOOM与人性ZOOM
老师的小兔子好软水好多动漫
把英语课代表按到桌子上抄
津渝视频完整版张
是不是好久没人弄你了
高嫁肉柳1一5集免费
在车里被撞了八次高AO视频
我是怎么C你的 叫出来
无人区码卡二卡3卡4卡伊甸2卡
2023钙Gy钙站
顶级大但人文体艺术
18YEARS中国
亚洲国产AV精品卡一卡二
小甜豆三部曲是哪三部
健身私教弄了好几次
啦啦啦免费视频播放在线
浓毛BGMBGMBGM
白俄罗斯RAPPER潮水
去医院面试被院长弄了
夜里十大禁用B站APP
WRITEAS诸葛亮多人
下课后的优等生未增删是什么
2013年3月里番
叔父大还是爸爸大
一家和气情乱关系十二
W乳液939永久W78
老师洗澡让我进去桶她
张津瑜1080p百度网盘
WRITE AS 自己分开
无人在线观看免费观看韩剧
爸爸我怀了你的孩子免费阅读
黑帮少爷爱上我第一季在线观看
污到你那里滴水的句子文案
新金艳花瓶1-5集
马思纯力挺周冬雨
父母和儿女之间的交换
马车上的欢乐(下) 小燕子
我的儿子比我老公大
晴雅集免费观看在线观看
自己玩r头教程
写得很详细的开车
2023Gy钙站
Q1制片厂七夕潘甜甜剧情
充气娃娃怎么用
把头埋在茂密的丛林中
接电话插的说不出话
旅行者把甘雨咬出乳液
淑芬大腿中间又痒了L
ekdv 273
无限免费观看在线直播
女士不遮阴小内搭走秀
公交车多人运动
男生都是怎么C你的
分手那天我们做了八次
谁可以给我新版猫咪的地址
全部都在那个地方在线观看
YING荡的雯雯第三部分
用手指轻轻按着小扇贝并来回移动
将夜在线神马影院BD高清
CHINESE体育GARY网站
免费日产区乱码2021软件
魏晨破赵奕欢密照
大将军1V2LH檀洙角色分析
把腰抬过来一点不然我怎么发动
为什么做完下面是打开的
无限资源日本动漫版免费
聂小雨视频3分25是什么内容视频
抱着她健身房疯狂冲刺
8x8x海外华为永久免费视频
这几天没C你了是不是
美红与王站长列车篇
水怎么这么多啊我好喜欢喝
人鲁交YAZHONGHUCXX
年轻的馊子8HD中文版
压在阳台玻璃上做给别人看0
完美小姐进化论日剧
一二三区无线乱码2021
打扑克是怎么塞进去的部位
清平乐免费观看全集高清
沈倦把林语惊做到哭免费阅读
对象吃我的奶奶感觉
2019天天射干
和女儿弄了好多年了
国模欢欢出白浆炮轰图
男朋友是怎样进你的
怎么把自己弄到喷泉
护士张开腿被奷日出白浆
女朋友特别会摇是什么体验知乎
怎么奖励自己的隐私位置
精产国品一二三产品区别在哪
随着公交车一晃一晃一撞一下
小泽玛利亚种子
黑人啊灬啊灬啊灬快灬深
云缨去内P图图片
污到爆的巨细文
甜蜜惩罚2樱花未增删版
美式1984雪莉和保罗谁厉害
压在阳台玻璃上做给别人看
剧烈运动摇床打扑克运动视频免费
啊轻点灬公大JI巴又大又
校霸被校草强迫H
小鲜肉GARY2022飞机
麻豆传播媒体入口下载免费版官网
南京交通职业技术学院4p刘梦亿
公主恋人ova下卷
麻花传媒MV一二三区别在哪里看
向涟苍生士献上纯洁第二集
成全动漫视频观看免费下载
一不小心滑进了母亲的生命之门
晚上让你吃棒棒糖是啥意思
张柏芝艳门照照片
欧洲VODAFONEWIFI一区
亚洲卡二卡三无线乱码新区
卫生间6分34秒
51CG今日吃瓜热门大瓜
校服下摆太紧不好c
羞羞漫画在线看免费阅读破解
25岁女高中生
多毛bgmbgmbgm胖觉觉
天堂妖精18精神出生有多少魔
6月6日蚂蚁庄园答案
爱情岛论坛线路一官方网站
电车之狼r调教攻略
朕现在就让你怀上
女朋友的母亲9中语字追剧易
公交车6人轮换C白月
穿成小团子后萌翻全世界系统
哥两个人一起会坏掉的视频
我同意老公睡了我妈可以吗
公交车6人轮换CH被一堆人看
京东传媒精品jd009
被魔尊圈养的仙尊
あざらしそふと官网
公交车上荫蒂添的好舒服小说
含羞草传媒网站免费进入欢迎您黄页版
扣自己的正确手势图
王者荣耀女生去掉小内 软件
搡BBBB槡BBBB
在英语课上强插英语课代表
云缨去掉所有小内流口水图片
侯马市性侵女生
国产一卡2卡3卡4卡新区视频
YELLOW片完整版高清百度网盘
好姑娘7免费高清观看
小科科黄版无限刷IOS
考试没考好当全班的便器
美女校花被老汗狂肉的故事
疯狂厨房2双人3
无人区一码二码三码区别
当兵的晚上都很猛吗为什么
星空传媒XK8004的功能特点
草莓app下载安装无限看-丝瓜安卓免费
宝宝把腿抬起来靠墙上就不疼了
精品国色天香新区卡一卡二
学渣坐在学霸的棒棒上写作业视频
做AJ的姿势视频教程图片
婆婆和狗玩声音很大
老师下面太紧拔不出来怎么办
打扑克长达40分钟高清视频
向涟苍士献上纯
日本阿v在线观看不卡变态
成网站w灬源码1688
故意让儿子看见自己
老妈和我一起嫁
在学校想要了怎么办
农家俏寡妇电影在线观看免费
污到你那里滴水不止的说说细节
同桌把我拉到他家做了作文1000字
办公室跪下拉开拉链吃应用的优点
岳一夜被你要了六次
父亲缓慢有力挺送女儿的话30字
我和岳一晚五次
最近新韩国日本免费观看
品色论坛最新网址
可以随意触摸内部位的手游
两个人融为一体的过程图片
中国高清WINDOWS在线
69无人区码一二三四区别
班长是我们班的存精器
星空天美mv视频大全免费观看
男生说跪射是什么意思
八重神子焯出白水怎么办
农家俏寡妇电影在线观看免费
迈开腿我们换个地方C视频
一二三四在线播放免费观看中文版视频
TTTZZZ668.SU黑料不打烊
老师错一题少一件衣服怎么办
填的满满的 不要了
麻花视频3.2.2
在公交车上被撞出了水
几天没弄又痒了是吧小东西
一二三四中文字幕
两个人一前一后攻击舒服吗
扯掉衣服两只小兔子
高能多r纯车多人
六年级女生隐私里可以塞几支笔啊
爱情岛永久免费线路二
龙口护士门视频
往下边塞东西PLAY
女儿男朋友是妈妈的爱豆的电视剧
腿再开一点我就能吃到扇贝了
英语老师让我捏她的小兔兔作文
他的手一点一点的往里
开车开到下面流污水
不知火舞三个男儿动画
魔鬼公交车上的小黄说说
桃花韩国动漫免费官网
少妇被粗大的猛烈的进出69影院
360大但人文艺术图
带仙女棒去上学的感受
WRITE AS 产卵
讲讲你们doi最舒服的一次
老师夹的太紧拔不出来的解决方法
出嫁前让父亲体验了一次
被窝里的公息全章
我被两个男人玩到早上
戴着电动玩具逛超市
安迷修被雷狮放振动器
夜深了应该看的视频
云缨用自己的枪X自己
女人50岁半夜莲花还开吗
灯草花尚 陈玉莲
老阿姨一直叫BILIB
我控制不住我想要你
顶的速度越来越快越叫的原因
雷电将军乳液VX网站破解版
小霜的高中成长日记下载
WRITE AS 含玉
新金梅瓶玉蒲团性奴3
漂亮的丰年轻的继拇5字
火车上看着娇妻被别人玩
中文精品一卡2卡3卡4卡国色
南昌一中掏脑子挖眼睛
FRXXEE中国XXEE医生
它起来了它想你了
腿张大点就能吃扇贝不疼视频
一本二卡三卡四卡无卡免费高
中国speakingathome宾馆百度
3个人同时玩一个人视频
田朴珺魔鬼天使
最近中文2019字幕第二页
打扑克喘气声音
一抽一出BGM毛
女医生私密诊所
是不是B越小越好玩儿
2012sbs演艺大赏中字
大武当之天地密码迅雷下载
餐桌下手指噗呲噗呲
成免费CRM每天都不重样
日本潮水rapper超多
aeroflot
人物动物交互狗文章BECJM
汉服齐胸襦裙啪啪
动漫美女受辱图
海角社区最新在线播放
浏览器网站免费进入
韩国风俗媚娘全套图
芭乐鸭脖向日葵芭乐鸭脖旧版
精品一线二线三线区精华液
女儿的男朋友5中汉字晋通话
从后面抱着妈妈突然脸一红
黑帮大佬与我的365天
做错一题就往下面放冰块
燕氏被四个和尚播种
班长是全班的玩具
精产国品一二三产区蘑菇视频
跳D放在里面逛超市的感受
动漫男生把坤坤放女生坤坤里开元
我的奶头被他吸的又红又肿
超级肉禽系统的小说推荐
家里什么东西可以当阳具用
AI赵露思又疼又叫
始料未及的软1v2H
斗罗大陆3大乱斗交大配TXT
妈妈的桃花源生命之门
老师说今天晚上随我怎么弄
缓慢而有力的往里挺送
变形金刚 1080p
18岁末年禁止观看的网站免费
坐在上面做的视频
数学课代表的那真紧视频
双杠分腿坐前进
99无人区码一码二码三码四码
优质rb灌溉系统唐小米
乌克兰大但人文艺术摄影师是谁
妈妈一边喘气一边说嗯是怎么回事
小东西我找到你的敏感点了
晒晒14岁儿子蛋蛋竖起来
5G在视影讯5G探花
在上面做的时候像疯了一样
旅游妈妈给了一次
欧派浴室樱花2未增删带翻译樱花
里面也请好好疼爱漫画更新时间
三个徒弟C一个师傅
两对夫妻一起旅游互换的说说
善良的嫂子2字巴巴鱼汤饭
你的水怎么那么多还说不要
等不及在车里做一次
老司机带带我高清版
一起差差差30分钟轮滑
在线观看2022GGY钙同网站
大菠萝福建导航导入网站
三叶草M码和欧洲码的区别
妈妈的朋友免费观看全集在线观看天才
漂亮的小峓子4在钱免费中
写作业写着写着就插起来了
去部队探亲一晚上几次
善良的小峓中字巴巴鱼汤饭较
榴莲新片免费观看
北北北砂王者荣耀
俄罗斯人与ZOOM人的区别
欠c的玩意sb就是用来c的h
凸凸凹BBWBBWBBWBBW
把女人弄特爽黄a大片
韩国电影办公室3
红豆视频在线观看免费播放
房奴试爱未删减完整版
4438x20全国大
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1