英伟达推出 Tensor RT-LLM,使大语言模型在搭载 RTX 的 PC 平台上运行速度提高 4 倍
来源: 巴比特556天前
据 IT 之家消息,10 月 18 日,英伟达宣布推出 TensorRT-LLM 开源库,旨在提升大型语言模型(LLM)在本地 Windows PC 上的性能。据悉,这个库之前是为数据中心发布的,现在也可以用于 Windows PC。最大的特点是,如果 Windows PC 配备英伟达 GeForce RTX GPU,TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。 此外,英伟达今天还在新的 GeForce 驱动更新中增加了一些基于人工智能的功能。其中包括新的 1.5 版本的 RTX Video Super Resolution 功能,可以在观看在线视频时提供更好的分辨率提升效果和更少的压缩效果。英伟达还为 Stable Diffusion Web UI 增加了 TensorRT 人工智能加速功能,让拥有 GeForce RTX GPU 的用户可以比正常情况下更快地从人工智能图片生成器那里获得图像。
热门新闻
- 1加密市场乱象:CLS Global操纵案与做市商掠夺性行为的监管启示
- 2川怼怼 到底能不能开除鲍老板?
- 34 Alpha宏观周报:软硬撕裂、关税反复:衰退前夜?市场困局何在?
- 4Web3 “过气”的超级明星协议 如今都怎么样了?
- 5特朗普猛烈抨击鲍威尔引发市场震荡:美元下挫,比特币突破8.7万美元
- 624H热门币种与要闻 | 币安Alpha上线评估TGE及空投参与资格的积分系统;币安拟为加密资产管理者提供与传统金融交易类似的“基金账户”(4月25日)
- 7黄金疯涨后,白银会是下一个投资焦点吗?
- 8空投周报 | 币安即将空投EPT代币,Walrus计划向SUI生态游戏掌机持有者发放空投(4.14-4.20)
- 9AI Agent周报 | auto.fun平台上线,原生代币为ai16z;Virtuals推出新Launchpad平台Genesis(4.14-4.20)
交易平台最新公告查看更多>