有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
MD豆传媒一二三区进站口电影
2019年理论片电线
日本产品和韩国产品的区别
午夜dj视频在线直播
大洋之间的灯光
精产国品一二三区别www
白石茉莉奈种子
欧美RAPPER潮水一欢迎您
公交车里抓着摇曳的手环
好兄弟把我给C了
JEALOUSVUE孕妇熟50MAOF
往下面一颗一颗塞珠子的故事
日落之前爱上你吻戏
IGAO网站在线观看
公孙离眼流泪红脸咬铁球
姐姐说家里没人我们就亲亲
撕掉她的外衣和内衣
china野外18:19
人文艺术欣赏ppt
好紧好湿太硬了我太爽了文字
男孩子把淦男孩子弄哭的部位
久久精品一卡二卡三卡四卡视频版
蜜芽.768.MON二区忘忧草葫芦娃
18youngchinagir g国
猫尾WRITEAS
糖心VLOG产精国品免费入
心疼儿子可以给他一次吗
我的妻子的姐姐6观整有限中字
班主任说快来插我啊的视频软件
女孩子是怎么上女孩子的
天天插日日胔夜夜干
班长笑着手灵活的调着遥控器
WRITEAS撑桌上
2023国精产品一二二线眀星
宝贝低头看看我是怎么爱你
大山里疯狂伦交
めんたいさんでぃふぇんすっ甘雨
电动牙刷怎么惩罚自己
B级文件中文翻译完整版
美国白人未成年RAPPER
渴情昼夜 作者东寻问酒
你看你的水喷的到处都是若若
水蜜桃着色入口
因不擦黑板被老师c了一节课
胡桃史莱姆ドラえもんエロ
宝宝我们换个姿势在玩
中国新疆XXXXXL17学生
王多鱼被C视频
软玉娇香1V3
桌面上都是你的液体
电动猫尾巴PLAY
夜间自罚自己实行污
亚洲码与欧洲码区别一二三
汤姆叔叔最新地域网名2021是什么
唐朝豪放女百度影音
男生爱吃初中女孩子的JIOJIO
啦啦啦免费高清在线直播4
日本一姐RAPPER潮水仙踪林
剧烈运动摇床运动视频
奶头被客人打得又红又肿怎么办
够了够了已经满到高C
亚洲麻婆传媒MV
老赵抱着媛媛在厨房作爱视频
拔擦拔擦X8X8华人免费
丰满的邻居2在线观看完整免费版
跪射是什么意思污
男朋友为什么老是吸我的兔子
麻豆一区产品精品蜜桃的广告语
好妈妈快点想死我了
中国老太太WBBHD
特工妈咪惹不得
自W到高C的50种图片教程视频
宝宝你好会夹啊都拉丝了作文
蛇双器巨大堵的出不来
岛国片人妻三上悠亚
粗糙的要了一次又一次
非诚勿扰 徐莹
交换温柔妈妈的朋友在线观看
亚洲XXXXXLMEDJYF邻居
4438x最大人情
坐着吃饭还连在一起
火影忍者女生去掉所有服装
十九岁日本韩国免费完整版中文
国产日产欧产美韩系列国
天美传媒果冻传媒星空传媒
baiduyingyin
公交车轮换CH
14may18_XXXXXL56endian49
中文字日产幕码三区的做法步
麻花传媒在线MV免费观看视频
总裁的六岁娇妻
长门和小南拔萝卜游戏
K8S经典玛丽艳经典片
是不是每一个b都一样感觉
姬小满无限奖励别人的英雄
公交车上的诗绵抱着孩子
旅行者的小鸡桶进绫华的J
原神免费正能量网站安全
大将军1v2lh怀孕的原因
老公朋友的媳妇给老公送生日礼物
把姬小满C喷了视频最后爆掉了
塞跳D开最大挡不能掉老师
日本全彩绅士邪恶帝邪恶木
腿张大点我就可以吃扇贝了
my pico
二指探洞很舒服吗
rh男男车车的车车视频
炖肉计(是今)海棠
小SAO货大JI拨CAO死你
JUL532外勤突然下大雨
mide-008
彩虹男GARY2023入口
一边做饭一边躁狂的原因分析
G718.SX.张津瑜蘑菇
仙踪林18岁RAPPER潮水偷轨
波多野结衣下载地址
两个人一前一后攻击我内容
坐在上面做的视频
野花韩国日本高清免费5
精产国品一二三产区别手机
甜蜜惩罚2樱花未增删版
第一次玩跳D感觉怎么样
忘忧草日本社服务台的电话号码
炎の孕ませも身体测2
不知火舞外星人
野花高清免费观看
成都4片p视频
一个人被3个人同时C了怎么办
宝宝两根就哭男男是不是太早了
电动牙刷怎么惩罚自己
一面亲上边一面膜下边吡吡啦啦啦
你对象晚上怎么玩你
日本漂亮妈妈7观整有限中
两个人融为一体的过程图片
才三根手指头就不行啦
妈妈的朋友5完整视频有翻译木瓜中字
俄罗斯19girl video9
被塞玩具出门文
埃及艳后 电影国语
插曲30分钟视频试看十二分钟
怎么能把女的c得服服帖帖
公交车女子上演疯狂2
一边亲着一面膜胸口的长视频
china野外18:19
野外插曲的痛的视频30秒3K2
性VODAFONEWIFI
韩国一线高清免费观看
小蓝视频GARY2023入口
精品亚洲卡一卡2卡三卡乱码
XZL幼儿精品幼儿
冬日后的樱花韩剧
小东西才一根就坚持不住视频
被自己家的狗上瘾了怎么办
娇妻系列交换21部
欧美不卡1卡2卡三卡2022免费
离婚了忍不住和儿子
迈开腿尝尝你的草莓是什么味道的
公交车后车座的疯狂的C
可以触碰你的深处吗 樱花
朝俞R车WRITEAS震动器
天降女子未增删带翻译整集
亲胸揉摸下面刺激视频
5g天天奭怎么打开
宝贝是不是欠C很久了视频
年轻水嫩的漂亮大学美女酒店
它变大了你感觉到了吗
糖心LOGO免费观看甘雨
用卫生纸制作一个假j
王者荣耀瑶白色液体
国精产品一二二区视早餐有限
9877地铁笨蛋1
家长会上爸爸们C幼儿园老师
欲罢不能第三季打扑克名场面视频
附近学生约100三小时
最强RAPPER女潮水仙踪林
白天躁晚上躁天天躁.
欧洲无人区卡一卡二卡三
2023最大间谍案
x7x7x7任意噪108
群飞杨幂刘亦菲杨颖佟丽娅
免费网站在线观看人数在哪儿找
情人的东西比老公大怎么办
亚洲一码和欧洲二码的尺码
胸前的大兔子蹦了出来视频
FARMSKINS进不去
他抬高她的腰撞到最深处王爷
bl车车好快的车车p网站
好痛太大了放不下的
女生说拔萝卜是什么意思
对象都是怎么C你的过程
津渝视频完整版哪里可以看到
趴在玻璃窗做给别人看是什么感觉
12星座离奇事件柳岩
伽罗脸红流口水流眼泪翻白眼
丰满大爆乳波霸奶
仙女棒坐着使用的图片
2023钙GGY钙网站免费观看
同时被两个男人轮流舔
blackpinkmv4k高清黑白配
摇床和喘气声音音频一样正常吗
魅力研习社吹避孕套
申鹤被淦出不明液体XMAN
王尹平竹子走秀照片
车文超细过程文字
差差差很疼30分钟的动漫
最强RAPPER潮水偷轨
白嫩白嫩BBBBBBBBB-
18款禁用入口网站
BLUED片免费观看视频
带着小怪兽上班喷了
mdyd-751
精品推荐国产精品店
校花下面又软又进禁视频
6080电影理论在线软件优势
bgmbgmbgm胖老太太视频
梁薇陆沉鄞 楼梯
前任四免费播放
考试不好就要当学校的坐便器
秘密教学103私下你可以随意7
真人开车疼痛有声音
开车越往下越疼视频
老扒抱着淑蓉进房间第八集视频
晚夜免费禁用十大亏亏
成品网站灬源码杏花
最新轮乱合集小说
正能量不良免费网站入口照片
ZOOM和OKZOOM
写着作业写着就插起来了
最新张津瑜卫生间视频
坐在振动器上写作业的感受作文
漂亮老师 2韩国完整版
男生爱吃初中女孩子的JIOJIO
小SB是不是欠c了h
等不及了先做一次
宝宝趴开一点腿就不痛了
扑克牌又疼又叫的什么含义
女生迈开腿让男生吃草莓恶心吗
TOMHAYAXORAX2395
冰块一颗一颗往下体塞肚子
春暖花开吧有你cc
小东西想要了是不是
青青草国产视频免费线观看
沟厕大学女沟厕嘘嘘小便
餐桌下狂C亲女高辣
一女战三老外一女战三黑人
日韩一线二线三线四线五线
女人被躁到高潮嗷嗷叫的歌词
隐身在课堂里为所欲为的游戏
欧美无人区码卡二卡3卡4
原神雷电将军把乳液喂给旅行者
120分钟免费用机机视频
会员制餐厅完整视频链接
国精产品自线六区
交流1V3多肉
一面膜上边一面膜下电视剧
24小时日本免费看
肚子里全是JY鼓起来了怎么办
飞向别人的床 在线播放
人类是如何交匹配的过程
麻豆京东水蜜桃果冻传媒
桃花社区在线观看
宝贝对着镜子CAO好不好
原神甘雨的乳液狂飙图
简隋英哭着喊着让李玉退出去
老师把腿抬高我要添你下面
太捧了几天没C水就这么多吧
校霸错一题打一下PG
小东西多久没c了
亲爱的老师3韩国完整
上边一面亲下边一面膜的注意事项
做饭的时候老公也要
品色永远免费堂论坛
乳液狂飙天堂w78
做完后堵上不让流出来作文
翁公和晓雯在厨房里猛烈进出
穿戴式跳d放在里面坐公交车7P
51吃瓜.world张津瑜
比比东吃唐三的棒
仙踪林直接入口RAPPER
人伦亲情父母儿女的句子有哪些
一品道一卡二卡三卡
ed2k柚木提娜
十世宫缩剧烈做着生
做我的爱人3在线观看
男人的坤坤升到女人的坤坤
蜜芽MY12777
我和大佬的三百六十五天
魅魔乳液狂飙图片大全
糖心VLOG精产国品免费老版
自己玩r头教程
linode日本iphone强汉入口
18岁末年禁止网站
性 爱 免费 视频
谢俞贺朝第一次做肉车
你的比我老公大太多了
林念修是谁的秘书
韩国女主播种子
儿子比爸爸的几把大
品色堂免费图片
张津瑜落地窗酒店
张芸熙麻豆MD0107
才两根手指就抖成这样了视频
仙女棒坐着使用图片
剧烈摇床运动视频
鲸鱼夫妇120114
差差差很疼无限在线观看
女人高潮时一夹一夹的正常吗
亚洲精华国产精华液的护肤功效
羞羞动漫在线入口免费阅读
张铁泉在美国死亡
公么的大龟强大满足了我
草榴新时代的我们
腿开到最大真的就不疼了
51无人区码一二三四区别图片
求你把跳d遥控器关了
拔萝卜怎么才能流出豆浆
年轻的母亲6完有限中字
1118视频链接
爸爸妈妈夜里摇床还叫声音
啊灬啊灬别停灬用力穿越古代农村
男人和女人香蕉网线看
99国精产品W灬源码1688
水都这么多了还装
30秒不间断踹息声音频下载
WRITE AS 尿口
日本20岁RAPPER
原神雷电将军的俘虏生活
腿张大点我就可以吃到扇贝了
在线おっさんとわたし天堂
国色天香直播在线观看免费
如何吃到自己的小鸡够不到怎么办
我的好儿子妈妈是你一个人的
免费行情网站大全搜狐网
中国青年GARY东北打桩
学长错一题往里插一支笔作文
BGMBGMBGM老头XX
国产尺码和欧洲尺码视频
在公交车上被撞得一前一后
孙尚香教刘禅写作业
女人吃男人精子图片
videosdesexeen英国
水蜜桃秘密基地
舌头一路往下探
成品网站W灬源码伊园百度百科
个子矮的女生那里也很很浅吗
开车越往下越疼的那种图片
中国警察网张津瑜落地窗
班长没带罩子让捏了一节课怎么办
麻豆传播媒体大全
歪歪漫画登录页面环球在线看
一边做饭一边躁狂
张津瑜920落地窗视频叫啥
麻花传媒永久免费版的特色
男男车车的车车啊哈哈真的
儿子好厉害吗妈妈要丢了
女家教 林佩佩
韩国论理性电视2021
拔深一点今天老师随你
夹冰块一天都不能掉出来
好妈妈4中汉字
我的好妈妈5中文字幕土豆网
女生把筷子放屁眼里不能掉
瘾欲欢愉半块小饼干霸
小S货又想挨C了叫大声点
b站免费建网站
武易传奇登陆器
父亲的东西比老公的好用
Z0OZO0人善之交另类
NARUTO HENITAL
把下面能看湿的句子5000字
JAPONENSISFES东北
在学校想要了怎么办
男生说想在你身上做俯卧撑
亚洲无人区码一码二码三码区别
宝宝看镜子里我们的结合
宝宝我们换个姿势楼梯口图片
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1