首页
手机版
当前位置:首页 > 文章教程 > 新闻资讯 > 性能迎头赶上!AMD显卡实现大模型推理方案

性能迎头赶上!AMD显卡实现大模型推理方案

2023-08-14 15:02:52 来源:天空软件网 我要评论()

用手机看

扫描二维码查看并分享给您的朋友

NVIDIA的显卡在AI加速领域一直处于领先地位,其A100/H100等显卡受到科技巨头的追捧,GeForce游戏卡也是普通人进行AI开发的首选。然而,AMD显卡在这方面一直落后。 近日,深度学习领域的华人专家、OctoML首席技术官陈天奇带领团队在AMD显卡上实现了大模型推理的方案,这意味着业界除了NVIDIA之外,又有了新的选择,消费者不再需要为了购买N卡而争抢、加价。 根据陈天奇的优化算法,AMD的RX 7900 XTX显卡在Llama2的7B和13B大模型中,能够达到令人满意的性能,已经达到了RTX 4090显卡82%或者RTX 3090 Ti显卡的94%水平。 AMD显卡不仅在性能上迎头赶上,其性价比也更高。RX 7900 XTX与其他两款显卡都是24GB显存,但售价只需999美元,而RTX 4090、RTX 3090 Ti的售价分别为1599、1999元,价格高出60-100%。 AMD显卡在AI开发能力上的提升,尤其是RX 7900 XTX这样的游戏卡能有质变,主要归功于AMD最近在ROCm软件生态上的改进。以前,ROCm对游戏卡及Windows平台的支持很差,但从今年4月份开始,ROCm不仅支持Windows系统,也加入了对RX 7900及工作站显卡的支持。 AMD还发布了ROCm HIP SDK,允许开发者将针对CUDA平台开发的代码轻松迁移到AMD平台,这是陈天奇等专家可以在AMD显卡上推动AI能力提升的基础。

热门软件

  • 电脑软件
  • 手机软件
  • 手机游戏
更多>

用户评论

[!--temp.www_96kaifa_com_cy--]
返回顶部