Chat with RTX 全面更新,AI Workbench 現(xiàn)已就緒,NIM (NVIDIA Inference Microservices) 發(fā)布

編者注:本文屬于《解碼 AI》系列欄目,該系列的目的是讓技術(shù)更加簡單易懂,從而解密 AI,同時向 RTX PC 用戶展示全新硬件、軟件、工具和加速特性。

NVIDIA 的 RTX AI 平臺包括工具和軟件開發(fā)工具包,可幫助 Windows 開發(fā)人員創(chuàng)建領(lǐng)先的生成式AI功能,并令A(yù)I PC和工作站上能提供最佳性能支持。

在 GTC 大會 (NVIDIA 年度技術(shù)會議) 上,一支由業(yè)內(nèi)杰出人士、開發(fā)者和研究人員組成的“夢之隊”齊聚一堂,以期互相取經(jīng),攜手推動 AI 和加速計算領(lǐng)域的發(fā)展。

《解碼 AI》的 GTC 大會特別版重點介紹了現(xiàn)已推出的數(shù)款出色 AI 工具,更向 1 億 RTX PC 和工作站用戶及開發(fā)者展示了值得期待的前景。

作為一個技術(shù)演示程序和供開發(fā)者參考的項目,Chat with RTX 可令用戶能輕松快速地將功能強大的LLM鏈接到自己的數(shù)據(jù)。在GTC的展廳中,您可以看到該軟件集成了更多模型,提供了更多功能

RTX PC 生成式 AI 大賽的獲獎?wù)咭压肌Ｎ覀冊贜VIDIA Generative AI Theater 中有一場《解碼AI》專題座談會,其中介紹的 OutlookLLM,Rocket League BotChat 和 CLARA 備受關(guān)注,他們均由 NVIDIA Tensor-RT 提供加速《解碼 AI》的另外兩場講座則分別涉及如何利用生成式 AI 進行內(nèi)容創(chuàng)作,以及對 Chat with RTX 的深入探討。

目前已有超過 500 款應(yīng)用支持 RTX 技術(shù),隨著越來越多的框架和接口支持 Tensor-RT-LLM 加速,RTX PC 和工作站的生態(tài)將進一步擴大——Jan.ai,Langchain,LlamaIndex 以及 Oobabooga 都將支持 Tensor-RT 加速。

NVIDIA NIM 推理微服務(wù)即將登陸 RTX PC 和工作站,他們提供預(yù)構(gòu)建的容器,配備行業(yè)標準的 API,使開發(fā)人員能夠在 RTX PC和工作站上加速部署。NVIDIA AI Workbench 是一款易于使用的開發(fā)者工具包,可用于管理 AI 模型定制和優(yōu)化工作流。該工具包現(xiàn)已向 RTX 開發(fā)者全面推出。

這些生態(tài)系統(tǒng)集成和工具可加速全新 Windows 應(yīng)用和功能的開發(fā)。今天的這些大賽獲獎?wù)?讓我們對未來有了更多期待,這真是振奮人心!

既能“聽音”,又能“識圖”,ChatRTX 體驗將更加豐富

Chat with RTX 或簡稱 ChatRTX,通過檢索增強生成和 NVIDIA TensorRT-LLM 加速技術(shù),可為 RTX 助力的 Windows PC 帶來運行于本地的生成式 AI 功能。用戶可以快速輕松地將本地文件作為數(shù)據(jù)集連接到開放式大語言模型 (例如 Mistral 或 Llama 2),以便快速查詢與上下文相關(guān)的答案。

除了目前對文本的支持外,ChatRTX 很快還會添加對語音、圖像和新模型的支持。

Whisper 是一種 AI 自動語音語言識別系統(tǒng),用戶將能夠通過它與 ChatRTX 進行交談。在該功能推出后,ChatRTX 將能夠“理解”口述語言并以文本提供回應(yīng)。

在后續(xù)更新中,ChatRTX 還將添加對圖片的支持。通過集成 OpenAI CLIP (Contrastive Language-Image Pre-training),用戶將能夠使用單詞、術(shù)語或短語對查找自己的圖片。

除 Google 的 Gemma 以外,后續(xù)更新還將添加對 ChatGLM 的支持。

開發(fā)者可以訪問 Github上的相關(guān)信息。

生成式 AI 大賽獲獎作品

NVIDIA RTX 生成式 AI 大賽要求開發(fā)者構(gòu)建一款 Windows 應(yīng)用或插件。

作品評選采用了三項標準,包括在社交媒體上發(fā)布的簡短演示視頻、項目產(chǎn)生的影響及其易用性,以及項目對 NVIDIA 技術(shù)堆棧的有效使用率。大賽的三名獲獎?wù)呔@得了 GTC 通行證(其中包括 NVIDIA 深度學(xué)習(xí)培訓(xùn)中心生成式 AI/LLM 課程的名額),以及用于支持后續(xù)開發(fā)工作的 GeForce RTX 4090 GPU。

OutlookLLM 可在 RTX PC 和工作站上以安全私密的方式為 Outlook 用戶提供各類生成式 AI 功能,例如撰寫電子郵件。OutlookLLM 使用的本地LLM經(jīng)由TensorRT-LLM 加速。

Rocket League BotChat 是熱門游戲“火箭聯(lián)盟 (Rocket League)”的一個插件,該插件讓機器人玩家能夠根據(jù)游戲事件日志(例如進球或撲救)在游戲內(nèi)發(fā)送與上下文相關(guān)的聊天消息。該插件只能用于與機器人玩家對抗的離線游戲模式,用戶可通過設(shè)置菜單對其進行多種配置。

“我發(fā)現(xiàn),如果與玩家對抗的機器人玩家能夠以近乎實時的方式使用游戲內(nèi)消息對游戲事件作出回應(yīng),玩家可以獲得更多游戲樂趣。此外,我很高興能以本次開發(fā)者大賽參賽者的身份與大家分享我將 AI 融入游戲的方法。希望我的項目可以造福所有使用 RTX 硬件的‘火箭聯(lián)盟 (Rocket League)’玩家?！?/p>

— Rocket League BotChat 開發(fā)者 Brian Caffeynone

CLARA (“使用 RTX 加速的命令行助手”的簡稱) 旨在將簡單的英語指令轉(zhuǎn)換為可操作的命令,從而優(yōu)化 PowerShell 的命令行界面。該擴展程序可在本地快速運行,且始終令用戶處于其上下文環(huán)境中。啟用 CLARA 后,用戶輸入英文指令并按 Tab 鍵即可調(diào)用 CLARA。CLARA 的安裝非常簡單,用戶還可以選擇使用腳本或手動對其進行設(shè)置。

來自 Generative AI Theater 的精彩內(nèi)容

GTC 大會與會人員可于 3 月 20 日(星期三)參加在生成式 AI 劇場舉辦的三場《解碼 AI》講座。這些時長 15 分鐘左右的講座將涉及以下內(nèi)容:引導(dǎo)觀眾了解 ChatRTX 以及開發(fā)者產(chǎn)品化自己的個性聊天機器人;三名大賽獲獎?wù)邔⒎謩e展示在 RTX 系統(tǒng)上開發(fā)生成式 AI 應(yīng)用;鑒賞NVIDIA 技術(shù)如何通過全新工具和方式方法來幫助藝術(shù)家。

在面向創(chuàng)作者的講座上,NVIDIA 生成式 AI 媒體和娛樂高級開發(fā)者關(guān)系經(jīng)理 Lee Fraser 將探討生成式 AI 如此受歡迎的原因。他將展示全新工作流,并講解創(chuàng)作者可如何快速探索各種創(chuàng)意。將會亮相的藝術(shù)家包括 Steve Talkowski、Sophia Crespo、Lim Wenhui、Erik Paynter、Vanessa Rosa 及 Refik Anadol。

Anadol還將在現(xiàn)場做演示,該演示既包含了可視化數(shù)據(jù),更有基于這些數(shù)據(jù)創(chuàng)建的圖像。

加速生態(tài)系統(tǒng)

NVIDIA 正在和國內(nèi)深受用戶喜愛的剪輯軟件剪映專業(yè)版共同探索推進生成式 AI 在 PC 端的落地。目前,NVIDIA 已通過 TensorRT 推動剪映 AI 藝術(shù)字功能上線,并正在通過 RTX AI 平臺加速生成式 AI 在剪映產(chǎn)品功能中的應(yīng)用。

剪映產(chǎn)品經(jīng)理表示:“長期以來剪映和NVIDIA一直都是非常緊密的合作伙伴,在 RTX GPU 的加速下剪映專業(yè)版可以實現(xiàn)更高的性能表現(xiàn)。我們期待 RTX AI PC 強大的性能表現(xiàn)以及加速優(yōu)化對 AI 模型的處理能力能幫助剪映的用戶更高效、智能地進行創(chuàng)作?！?/p>

Blackmagic Design 和 Topaz Labs 等杰出創(chuàng)意應(yīng)用開發(fā)商也已將 RTX AI 加速集成到各自的軟件中。TensorRT 可將 DaVinci Resolve 和 Topaz 應(yīng)用中的轉(zhuǎn)描、降噪、超分辨率和視頻防抖等 AI 特效的速度提高至原來的兩倍。

發(fā)燒友還可以通過 Oobabooga 和 Jan.AI 的聊天界面,在 RTX PC 上體驗經(jīng)由 TensorRT-LLM 加速的 LLM。

有 NIM,更迅捷

開發(fā)者可充分利用 NIM 微服務(wù)這些配備了行業(yè)標準 API 的預(yù)構(gòu)建AI容器,提供了優(yōu)化過的解決方案,有助于將部署時間從幾周縮短到幾分鐘這些“容器”可與 來自 NVIDIA、Getty Images、Google、Meta、Microsoft、Shutterstock 等公司的超過二十款熱門模型一起使用。

NVIDIA AI Workbench 現(xiàn)已就緒,可幫助開發(fā)者快速創(chuàng)建、測試和自定義預(yù)訓(xùn)練的生成式 AI 模型和 LLM,而這只需要PC級的性能和內(nèi)存占用即可實現(xiàn)開發(fā)者可通過 NVIDIA AI Workbench 簡化對 Hugging Face、GitHub 和 NVIDIA NGC 等熱門存儲庫的訪問,并且能夠通過簡化的用戶界面輕松地再現(xiàn)和遷移項目,以及進行項目協(xié)作。

當(dāng)有額外的性能需求時,項目還可輕松擴展(無論是到數(shù)據(jù)中心、公有云還是 NVIDIA DGX),然后再將其帶回本地 RTX 系統(tǒng),用于推理和輕量化定制 AI Workbench 免費下載,他同時提供了示例項目以幫助開發(fā)者快速入門上述及GTC 大會上公布和展示的許多其他工具,將助力開發(fā)者創(chuàng)新AI 解決方案。

從 Blackwell 平臺的發(fā)布,到適用于地球氣候研究的數(shù)字孿生,各種精彩內(nèi)容使這屆 GTC 大會令人難忘。RTX PC 和工作站的用戶及開發(fā)者,亦可通過本次大會感受到生成式AI的未來可期!

本文轉(zhuǎn)載于快科技，文中觀點僅代表作者個人看法，本站只做信息存儲