有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
中国MACBOOKPRO高清在线观看
日本一卡二卡三卡四卡免费观
早上起床前要抱紧我风车动漫
他的手抓住了我的小兔子动图
大菠萝福建导航app
亚洲爱情岛论坛路线一路线
我的漂亮女房东完整版电影
迈开腿吃你小草莓是什么意思
老狼信息网仙踪林-八零婚纱摄影工作室
史莱姆のエロ胡桃
elsajean挑战最粗极限
金瓶玉2之性奴
我的好儿子妈妈是你一个人的
张书记不戴套干雨婷
萌白酱17分钟视频
国产无人区码一码二码三MBA
mdyd-751
变成黑皮肤和朋友做了无删
秘密入口3秒自动转接连接
杨门十二寡妇肉床电影
把腿把开学长都给你高
成品网站w灬源码入口
浪小辉GARY2022
CHINESE体育生东北露脸SOLO
宝贝我想你站着做
腿打开一点就能吃扇贝了
语文老师说哭着说不能再睡了
扑克牌又疼又叫全程视频
猫咪地域网名入口639CFIOS
女儿的朋友3完有限中字木瓜
坐公交车被别人c了的感觉
张柏芝艳门禁照
牧场videos skool
147人人艺术
小钰IG夺冠了就让草
成品网站W灬源码1688特点
比比东吃唐三的棒
小小水蜜桃8高清视频
狗头萝呼啦圈视频26分钟什么梗
被C哭着爬走又被拉回来挺进H
贺朝用笔捅哭谢俞
女生一边喘气一边叫疼
男人做的时候拼命抓住你头发
仙踪林19岁RAPPER潮水偷轨
BBOX撕裂BASS孕妇公交车好莱坞
chinese东北老年人tbc
韩国演艺圈悲惨qvod
男男车车好快的车车图C
黑料网-免费吃瓜-独家爆料
欧洲砖码砖区2022免费
7000万嫁女
云缨拿枪奖励自己图片
不对劲的监考老师像素游戏
坐着震动器写作业WRITEAS
日产欧产美韩系列区别图片
含着睡觉是一种怎样的体验
男生说想在你身上滑滑梯
丰年轻的继拇中文3的特色和机能
上课捡到一个遥控器按了一下
成都影院手机观看免费观看
花色98堂新网名
山东龙口护士门
免费正能量网站链接
男朋友老是要吃我的妹妹怎么办呀
芒果乱码一线二线三线新区
五根一起会坏掉的好痛的
吃顿饭做四次爱
王多鱼打扑克免费高清视频
优质rb灌溉系统唐小米
WRITE AS 自己掰
精产国品一二三区别9977
AI人脸替换白鹿造梦喷水
日本iphonepromax70
japonensisJAVAHD大豆行情
舌尖伸进去吸允小豆豆
欧洲一卡二卡三卡 公司
宝宝腿开大点就不疼了在线视频
gaogao8
王副军官玩田雨细节描述
哔哩哔哩B站肉片免费文字
坐在紫到发黑的木棒上写作业阅读
欧洲卡一卡二卡三爱区
最近中文字幕在线的MV视频
国内ai明星造梦鞠婧祎mv
14MAY18XXXXXL日本
YASEE亚瑟中文最新
任你干精品视频免费
内衣办公室动未增删带翻译3樱花
残忍cheapwindowsvps风险
两座雪白玉峰弹跳而出图文
老公总是吃我的奶奶
春暖花开 x吧有你
中中文日产幕无线码
朋友的妈妈2在完整有限中字木瓜翻译
黄到能让你那里滴水的作文
人类是如何交匹配的
相亲对象是问题学生未增删
上自己妈妈是什么感受
秋葵适合未满十八岁的人吃吗
汤姆tom最新地域网名
未来超模15季
国精产品一区一区三区有限在线
草榴新时代的我们
krohne流量计
CHINAGARY篮球体育飞机
漂亮的邻居老师中文字幕
缓慢而有力的往里挺送的文案
痞幼视频3分25是什么意思
美女扒开尿口让男人桶进
宅男宅女电影网
一上一下做运动的动态表情包
大号注射器放屁眼里灌注牛奶
魅力研习社 安全套
欧美人与禽2O2O性论交
6漫画免费下拉式六漫画斗罗大陆
在公交车上被JB草坏了被轮J了
捅了班主任一节课视频
扯掉两只小兔子跳出来了动图
糖心VLOG产精国品免费老版
一面亲上边一面膜下边表达
日本剧烈运动摇床运动打扑克视频
不想疼就把腿分到最大到再打
一边亲着一面膜下的美剧
亚洲欧洲卡1卡2新区
夹得好湿真拔不出来了动态图
精产国品一二三产品区别视频
精产国品一二三区别www
精品推荐国产精品店
夹看学长的巨大的几把写作业
水都流了那么多还说不愿意喝
日产中文幕无线码8区
GOGOGO大但人文艺术观后感
健康全裸游泳社
十九岁韩国免费完整版
当蜜桃成熟时33d
亚洲尺码跟欧洲尺码的区别
4hu最新地域网名2021
潘甜甜手机的秘密
无限免费观看在线直播
至尊宝用金箍棒桶紫霞
趣事百科宅福利鲁一鲁
比基尼性感女装
训练白皮体育生GARY网站
把自己弄成喷泉
手机调成震动夹在中间
小蓝彩虹男GARY2023
和老板在办公室BD 中文
韩国妈妈的朋友观整有限中字
脱色摇床打扑克视频C
几天没C你是不是痒了好多水作文
没带罩子让他吃了一天药会怎样
一个人在线观看WWW哔哩哔哩
妈妈哭着叫我带上套
椒小BBWBBWBBWBBW
为什么狗狗放我里面就变大图片
三叶草M码和亚洲码区别
红玫瑰直播免费版视频
人与畜禽CORPORATION外网
快穿之系统养成(h)冉冉
9制片厂1制片传媒在线播放1
用过仙女棒的说下感觉
情系晚霞聊天室
女生奖励自己的视频素材高清版
草莓榴莲未满十八岁的做法大全
新禁室培欲之爱的俘虏
类似安娜情史的电影
两个人融为一体的过程图片
浓毛BGMBGMBGM照片
中日产幕无线码一区
津渝视频完整版张
公交车上六人轮换CH
女儿的朋友8中汉字晋通话
激荡瑜伽1V2PO
开心五月四房播播
善良的妈妈2观整有限中字
疯狂厨房2双人3-5视频
把女朋友做到下不了床
八重神子掀开自己副乳的图片
两根一起进去疼拔出来
小科科黄版无限刷免费
三千美男爱上我
这几天没C你了是不是皮痒
绝色美丽娇妻沦陷失贞
曰本美女嫩鮑艺术图
C够了没有三根一起会坏掉骨科
迈开腿尝尝你的草莓是什么味道的
北北北砂王者荣耀完整系列
男生压着女生的身体的原因
小东西底下都是你的水
禁止的爱善良的小子姨1
麻豆画精品传媒2021网站
不要 在这里 回家 弄
野花视频观看免费最新
WRITE AS 爸爸
粉色视频观看高清在线HD
我老公想玩我妈怎么办
公交车被弄得走不动路走不说说
厨房强奷同学麻麻
坐公交车日了两个小时文章
翁公的浓精11部
两根一起进去疼拔出来就不疼
女子扒开腿让男生桶爽
爸的比老公大两倍
交换漂亮妈妈在线播放
3分25秒痞幼视频是什么东西
两座雪白玉峰弹跳而出图文
超大尺寸的小黄说说100篇
晚上爷爷总是压在妈妈肚子上睡觉
世子很凶插花弄玉
linode日本iphone强汉视频
涨精装满肚子公交车
日本漫画工番口番全彩
把姬小满C喷了最后爆掉了
女人被躁到高潮嗷嗷叫的歌词
含羞草传媒隐藏入口免下载
如何把自己玩成喷泉状态
濑亚美莉最好看的几部
infinite stratos2
宝宝你好会夹呀都拉丝了作文
宝宝怎么才两根就哭男男
外回り中に突然の大雨一雨宿
泷泽萝拉第三部ed2k
两个人免费视频观看高清直播下载
校长你的怎么那么大呀
韩国演艺圈悲惨37
赵露思的乳液头被吃
两座雪白玉峰弹跳而出图文
疯狂厨房2双人3-5
生物老师拿自己当做繁衍例子
姬骑士征服战争
家里什么东西可以代替小玩具
巨无霸水蜜桃水帘洞
麻花传媒XK在线观看
没带罩子让校霸C了一节
被子里怎么无声自W超疼
教练把车开到没人的地方
13岁B里能放几支笔
萝li精品资源无码
姐弟俩打扑克运动
迈开腿让学长吃尝尝你的
黑龙江不雅视频
真人作爱视频免费网站
伽罗ちゃんが腿法是什么意思
杨幂哭着说不能再深
每次见面他都要好几次
能让下面滴水到爆的说说
三个人C同一个
往下面一颗一颗塞珠子
教练在车里撞了我三次怎么办
做错一道题就干学渣一次文
撑起伽罗的腿疯狂输出的视频
c了一节课体育课渺渺
一二三四免费中文在线1
14MAY18_XXXXXL56ENDIA免费
快手王多鱼被C视频
14MAY13_XXXXXL
日本人AA制是不是很凉薄
课堂上时间暂停为所欲为在线阅读
花蝴蝶免费版高清版
黄色软件下载3.0.3每天无限次VIVO版大全
藏经阁福利导福航大全
ているのエロ资源
麻豆精产国品一二三区别
同桌的手探到我的衣服里知乎免费
四个人换着玩的过程叫什么
王者荣耀女生去掉小内无爱心图片
办公室跪下拉开拉链吃应用的特点
かたと花火と动漫无删减
宝宝你在车里好会夹
欧洲最强RAPPER潮水孕
学生的妈妈6中韩双字中国
小洞饿了想吃大香肠有限公司
十种b型的外形
同学的妈妈3中字巴巴鱼汤饭惹
男孩子都会夹住女孩子头发
我们换个方式做吧未增删全集
你终于长大了可以做了
宝宝我们换个姿势卫生间视频
一边伸舌头一边快速喘气
bgmbgmbgm老太太水太多
坐在叔叔的硬硬的上面写作业
中文字幕电影乱码在线观看
你看你的水 都拉丝了
帅气体育生GARY网站小蓝黄金
英语老师你的奶好软
我的小兔兔被男生越捏越大
97精产国品一二三产区区别电影
开车疼痛有声音视频软件
亚洲AV精品乱码专区
王多鱼打扑克免费高清视频
亚洲和欧洲一码二码区别在哪里
张津瑜和吕知樾照片
果冻传媒一二三区艾秋游戏
漂亮老师1在线视频
如何玩自己的R头到腿软
女生坐男生大腿男生有什么反应
闫凤娇 厕所门
午夜DJ观看在线HD高清
你的舌头搅拌着我的那里
PRUBURB官方网站入口链接
趴在玻璃窗做给别人看
后厨剧情分集介绍
趁夫不在给给公侵犯了
他把跳D开关开到最大
tokyo hot n0750
好吊视频一区二区三区
男女在一起翻雨覆雨的比喻意义
精品日产一卡2卡三卡4卡在线
MOSTHDCOECTION性
北北北砂禁慢天堂 云缨图片
没带罩子让他吃了一天的药怎么办
桃花社区在线观看
最近韩国日本免费观看百度
禁天漫堂网站进入
接电话顶的她说不出话
极致宠爱1v3
欧洲vodafonewifi高
看了让人下面滴水的说说文章长篇
日本一姐潮水RAPPER
水渍声和撞肉声连成一片
韩国电影办公室的剧情
恶女教师百度影音
打扑克牌的剧烈运动视频真实
女生说疼男生越扎的视频
羞羞漫画官方登录页面免费漫画弹窗破解版
三个人玩我一个人是什么感觉
没有我的允许不准流出来
成色AU999
日本人文艺术欣赏PPT图片下载
剧烈摇床运动视频打扑克
孩交VODAFONEWIFI
writeas迷醉
桃花在线观看免费观看手机
污污的文章 看了会出水
有效投资持续扩大
韩国妈妈的朋友6观整有限中字
半夜家里没人妈妈就是你的人
交口30个图片
埋在体内恶意地顶了顶
WRITE AS 含玉
被窝里的公息全章
两个男孩子开车长图文
小龙女只感觉那巨大的火龙枪
蜜芽国内精品视频在线观看
离婚了天天跑去日前妻
2021乱码精品公司
够了够了已经到C了满C了
心动时刻 简简单单
4399HD在线观看免费播放
趴玻璃上做给别人看
白洁一夜被爽了七次
超帅CHINESE直男飞机
妈妈的朋友5完整有限中字木瓜
C死了啊哈宝宝的腰好会扭
しぼっちゃうぞ中文在线观看
漂亮秘书的滋味2
写的超细的开车小黄车片段
三个媳妇一锅烩大团圆婚礼
野花日本HD免费完整版高清版7
16MAY20_XXXXXL56ENDIAN
51FUN吃瓜网官网
律师的小秘书1V1H
黑人尺寸太大怎么进得去
男孩子淦男孩子的网站
被罚把筷子放屁眼里不能掉
被两个男人绑着玩好爽
acca少女网课视频
日本摩天轮变办公室
老师你的好软水好多的短视频
宝宝几天没做都湿成这样做
考好妈妈随便你怎么弄
老太太80CHEAPWINDOWSVPS
张津瑜本人回应
看镜子里的你流了多少水
大奉打更人插花弄玉成语意思
王者荣耀女英雄去掉小内无爱心图片
妈妈说以后不用戴了
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1