最新 AI 工具和功能加速 RTX AI PC 上的微軟 Windows 應用開發(fā)

生成式 AI 賦能的筆記本電腦和 PC 正在推動游戲、內容創(chuàng)作、攜手生產力和程序開發(fā)更進一步。助推目前,微軟超過 600 款 Windows 應用和游戲已在全球超過 1 億臺 GeForce RTX AI PC 上本地運行 AI,提供快速、可靠的攜手低延遲體驗。

在 Microsoft Ignite 大會上,助推NVIDIA 與微軟聯(lián)合推出多個工具,幫助 Windows 開發(fā)者在 RTX AI PC 上快速構建和優(yōu)化 AI 賦能的應用,使本地 AI 更加便捷。這些新工具使應用和游戲開發(fā)者能夠利用強大的微軟 RTX GPU 加速 AI 智能體、應用助手和數(shù)字人等應用的攜手復雜 AI 工作流。

RTX AI PC 通過多模態(tài)小語言模型為數(shù)字人賦能

我們來認識一下 James,助推一個熟知 NVIDIA 及其產品的交互式數(shù)字人。James 將 NVIDIA NIM 微服務、微軟NVIDIA ACE 和 ElevenLabs 數(shù)字人技術相結合,攜手可提供自然的沉浸式交互體驗。

NVIDIA ACE 是助推一套數(shù)字人技術,可以讓智能體、助手和虛擬形象栩栩如生。微軟為了深度理解信息,攜手以更強的情境感知能力做出響應,數(shù)字人必須能夠像人一樣在視覺上感知世界。

提升數(shù)字人交互的助推真實感,需要能夠感知和理解周圍環(huán)境更細微差別的技術。為此,NVIDIA 開發(fā)了多模態(tài)小語言模型,可同時處理文本和圖像信息,在角色扮演方面表現(xiàn)出色,并針對響應速度進行了優(yōu)化。

NVIDIA 即將推出的 Nemovision-4B-Instruct 模型利用最新的 NVIDIA VILA 和 NVIDIA NeMo 框架進行蒸餾、剪枝和量化,使其體積小到足以在 RTX GPU 上以開發(fā)者所需的精度運行。該模型使數(shù)字人能夠理解現(xiàn)實世界和屏幕上的視覺圖像,以做出相關的響應。多模態(tài)作為智能體工作流的基礎,讓我們得以窺見未來,屆時數(shù)字人只需極少的用戶輔助,即可進行推理并采取行動。

NVIDIA 還推出了 Mistral NeMo Minitron 128k Instruct 系列模型,這是一套專為優(yōu)化的高效數(shù)字人交互而設計的長上下文小語言模型。這一系列模型提供 8B、4B 和 2B 參數(shù)版本的靈活選項,以平衡在 RTX AI PC 上運行的速度、顯存用量和模型精度。模型單次推理可以處理大量數(shù)據(jù),無需進行數(shù)據(jù)分割和重組。這些模型提供 GGUF 格式,為低功耗設備的效率進行優(yōu)化,并與多種編程語言兼容。

利用面向Windows 的NVIDIA TensorRTModel Optimizer 加速生成式AI

將模型引入 PC 環(huán)境時,開發(fā)者面臨著有限的顯存和計算資源,這為本地運行 AI 提出了挑戰(zhàn)。開發(fā)者希望模型可以被更多人使用,同時精度損失最小。

今天,NVIDIA 公布了 NVIDIA TensorRT Model Optimizer (ModelOpt) 的更新,為 Windows 開發(fā)者提供了針對 ONNX Runtime 部署的模型優(yōu)化方案。借助最新更新,TensorRT ModelOpt 可將模型優(yōu)化為 ONNX 格式,以便使用 CUDA、TensorRT 和 DirectML 等 GPU 運行后端在 ONNX 運行時環(huán)境中部署模型。

最新更新使模型可優(yōu)化為 ONNX 檢查點,以便通過 CUDA、TensorRT 和 DirectML 等執(zhí)行提供商在 ONNX 運行時環(huán)境中部署模型,從而提高整個 PC 生態(tài)系統(tǒng)的精度和吞吐量。

在部署時,與 FP16 模型相比,這些模型可將顯存占用減少 2.6 倍。這可提高吞吐量,同時精度損失降到最低,使其能夠在更多的 PC 上運行。

詳細了解從 Windows RTX AI PC 到 NVIDIA Blackwell 驅動的 Azure 服務器等 Microsoft 系統(tǒng)開發(fā)者如何改變用戶日常與 AI 交互的方式。

(責任編輯：綜合)