英伟达推出 Tensor RT-LLM,使大语言模型在搭载 RTX 的 PC 平台上运行速度提高 4 倍

来源: 巴比特702天前
据 IT 之家消息,10 月 18 日,英伟达宣布推出 TensorRT-LLM 开源库,旨在提升大型语言模型(LLM)在本地 Windows PC 上的性能。据悉,这个库之前是为数据中心发布的,现在也可以用于 Windows PC。最大的特点是,如果 Windows PC 配备英伟达 GeForce RTX GPU,TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。 此外,英伟达今天还在新的 GeForce 驱动更新中增加了一些基于人工智能的功能。其中包括新的 1.5 版本的 RTX Video Super Resolution 功能,可以在观看在线视频时提供更好的分辨率提升效果和更少的压缩效果。英伟达还为 Stable Diffusion Web UI 增加了 TensorRT 人工智能加速功能,让拥有 GeForce RTX GPU 的用户可以比正常情况下更快地从人工智能图片生成器那里获得图像。
利好利好
0
利空利空
0
交易平台最新公告查看更多>
成交额排行榜
  • 交易所
  • 币种
排名 交易所 成交额
1 币安网币安网 ¥6,653.45亿
2 欧易OKX欧易OKX ¥2,286.74亿
3 HTXHTX ¥450.84亿
4 CoinbaseCoinbase ¥153.12亿
5 大门大门 ¥1,964.06亿
6 BitgetBitget ¥1,805.35亿
7 BybitBybit ¥2,126.24亿
8 双子星(Gemini)双子星(Gemini) ¥10.25亿
9 UpbitUpbit ¥107.94亿
10 Crypto.comCrypto.com ¥330.12亿