近日，OpenAI今年3月发布的GPT-4大模型的详细参数和信息被揭秘。据了解，GPT-4在120层中总共包含了1.8万亿参数，相比之下，GPT-3只有约1750亿个参数。为了保持合理的成本，OpenAI采用混合专家模型来进行构建。 混合专家模型是一种神经网络，该系统根据数据进行分离训练多个模型，在各模型输出后，系统将这些模型整合输出为一个单独的任务。GPT-4使用了16个混合专家模型，每个有1110亿个参数，每次前向传递路由经过两个专家模型。 此外，GPT-4有550亿个共享注意力参数，使用了包含13万亿tokens的数据集训练，tokens不是唯一的，根据迭代次数计算为更多的tokens。GPT-4预训练阶段的上下文长度为8k，32k版本是对8k微调的结果，训练成本相当高。 据报道，8x H100也无法以每秒33.33个Token的速度提供所需的密集参数模型，因此训练该模型需要导致极高的推理成本，以H100物理机每小时1美元计算，那么一次的训练成本就高达6300万美元（约4.51亿元人民币）。为此，OpenAI选择使用云端的A100 GPU训练模型，将最终训练成本降至2150万美元（约1.54亿元人民币）左右，用稍微更长的时间，降低了训练成本。
上一篇：650亿参数！Meta将发布人工智能商用模型 下一篇：没有了
孟晚舟回国，今夜将到达深圳市，乘飞机写出文章感语
又一电脑操作系统，华为公司全新升级公布欧拉
全民飞机大战每日一题答案大全
动态壁纸：换个会动的壁纸你不心动吗？
海量福利送不停 《梦幻花园》新关卡开放
公务员警告处分有什么影响，公务员受到行政警告处分会计入档案吗
新倚天屠龙记黄衫女阵容怎么搭配？-新倚天屠龙记黄衫女阵容攻略
万能驱动助理
易我数据恢复
电脑系统重装
WPS Office
有道词典
极速压缩
压缩软件
几何画板mac版
腾讯手游助手
蓝叠模拟器
Google 
爱奇艺轮播台
虎牙直播助手
酷我音乐
芒果TV
QQ音乐
变声软件
暴风影音
Logo设计
思维导图