Chat with RTX 全面更新,AI Workbench 現(xiàn)已就緒,NIM (NVIDIA Inference Microservices) 發(fā)布

編者注:本文屬于《解碼 AI》系列欄目,該系列的目的是讓技術(shù)更加簡(jiǎn)單易懂,從而解密 AI,同時(shí)向 RTX PC 用戶(hù)展示全新硬件、軟件、工具和加速特性。

NVIDIA 的 RTX AI 平臺(tái)包括工具和軟件開(kāi)發(fā)工具包,可幫助 Windows 開(kāi)發(fā)人員創(chuàng)建領(lǐng)先的生成式AI功能,并令A(yù)I PC和工作站上能提供最佳性能支持。

在 GTC 大會(huì) (NVIDIA 年度技術(shù)會(huì)議) 上,一支由業(yè)內(nèi)杰出人士、開(kāi)發(fā)者和研究人員組成的“夢(mèng)之隊(duì)”齊聚一堂,以期互相取經(jīng),攜手推動(dòng) AI 和加速計(jì)算領(lǐng)域的發(fā)展。

《解碼 AI》的 GTC 大會(huì)特別版重點(diǎn)介紹了現(xiàn)已推出的數(shù)款出色 AI 工具,更向 1 億 RTX PC 和工作站用戶(hù)及開(kāi)發(fā)者展示了值得期待的前景。

作為一個(gè)技術(shù)演示程序和供開(kāi)發(fā)者參考的項(xiàng)目,Chat with RTX 可令用戶(hù)能輕松快速地將功能強(qiáng)大的LLM鏈接到自己的數(shù)據(jù)。在GTC的展廳中,您可以看到該軟件集成了更多模型,提供了更多功能

RTX PC 生成式 AI 大賽的獲獎(jiǎng)?wù)咭压?。我們?cè)贜VIDIA Generative AI Theater 中有一場(chǎng)《解碼AI》專(zhuān)題座談會(huì),其中介紹的 OutlookLLM,Rocket League BotChat 和 CLARA 備受關(guān)注,他們均由 NVIDIA Tensor-RT 提供加速《解碼 AI》的另外兩場(chǎng)講座則分別涉及如何利用生成式 AI 進(jìn)行內(nèi)容創(chuàng)作,以及對(duì) Chat with RTX 的深入探討。

目前已有超過(guò) 500 款應(yīng)用支持 RTX 技術(shù),隨著越來(lái)越多的框架和接口支持 Tensor-RT-LLM 加速,RTX PC 和工作站的生態(tài)將進(jìn)一步擴(kuò)大——Jan.ai,Langchain,LlamaIndex 以及 Oobabooga 都將支持 Tensor-RT 加速。

NVIDIA NIM 推理微服務(wù)即將登陸 RTX PC 和工作站,他們提供預(yù)構(gòu)建的容器,配備行業(yè)標(biāo)準(zhǔn)的 API,使開(kāi)發(fā)人員能夠在 RTX PC和工作站上加速部署。NVIDIA AI Workbench 是一款易于使用的開(kāi)發(fā)者工具包,可用于管理 AI 模型定制和優(yōu)化工作流。該工具包現(xiàn)已向 RTX 開(kāi)發(fā)者全面推出。

這些生態(tài)系統(tǒng)集成和工具可加速全新 Windows 應(yīng)用和功能的開(kāi)發(fā)。今天的這些大賽獲獎(jiǎng)?wù)?讓我們對(duì)未來(lái)有了更多期待,這真是振奮人心!

既能“聽(tīng)音”,又能“識(shí)圖”,ChatRTX 體驗(yàn)將更加豐富

Chat with RTX 或簡(jiǎn)稱(chēng) ChatRTX,通過(guò)檢索增強(qiáng)生成和 NVIDIA TensorRT-LLM 加速技術(shù),可為 RTX 助力的 Windows PC 帶來(lái)運(yùn)行于本地的生成式 AI 功能。用戶(hù)可以快速輕松地將本地文件作為數(shù)據(jù)集連接到開(kāi)放式大語(yǔ)言模型 (例如 Mistral 或 Llama 2),以便快速查詢(xún)與上下文相關(guān)的答案。

除了目前對(duì)文本的支持外,ChatRTX 很快還會(huì)添加對(duì)語(yǔ)音、圖像和新模型的支持。

Whisper 是一種 AI 自動(dòng)語(yǔ)音語(yǔ)言識(shí)別系統(tǒng),用戶(hù)將能夠通過(guò)它與 ChatRTX 進(jìn)行交談。在該功能推出后,ChatRTX 將能夠“理解”口述語(yǔ)言并以文本提供回應(yīng)。

在后續(xù)更新中,ChatRTX 還將添加對(duì)圖片的支持。通過(guò)集成 OpenAI CLIP (Contrastive Language-Image Pre-training),用戶(hù)將能夠使用單詞、術(shù)語(yǔ)或短語(yǔ)對(duì)查找自己的圖片。

除 Google 的 Gemma 以外,后續(xù)更新還將添加對(duì) ChatGLM 的支持。

開(kāi)發(fā)者可以訪問(wèn) Github上的相關(guān)信息。

生成式 AI 大賽獲獎(jiǎng)作品

NVIDIA RTX 生成式 AI 大賽要求開(kāi)發(fā)者構(gòu)建一款 Windows 應(yīng)用或插件。

作品評(píng)選采用了三項(xiàng)標(biāo)準(zhǔn),包括在社交媒體上發(fā)布的簡(jiǎn)短演示視頻、項(xiàng)目產(chǎn)生的影響及其易用性,以及項(xiàng)目對(duì) NVIDIA 技術(shù)堆棧的有效使用率。大賽的三名獲獎(jiǎng)?wù)呔@得了 GTC 通行證(其中包括 NVIDIA 深度學(xué)習(xí)培訓(xùn)中心生成式 AI/LLM 課程的名額),以及用于支持后續(xù)開(kāi)發(fā)工作的 GeForce RTX 4090 GPU。

OutlookLLM 可在 RTX PC 和工作站上以安全私密的方式為 Outlook 用戶(hù)提供各類(lèi)生成式 AI 功能,例如撰寫(xiě)電子郵件。OutlookLLM 使用的本地LLM經(jīng)由TensorRT-LLM 加速。

Rocket League BotChat 是熱門(mén)游戲“火箭聯(lián)盟 (Rocket League)”的一個(gè)插件,該插件讓機(jī)器人玩家能夠根據(jù)游戲事件日志(例如進(jìn)球或撲救)在游戲內(nèi)發(fā)送與上下文相關(guān)的聊天消息。該插件只能用于與機(jī)器人玩家對(duì)抗的離線游戲模式,用戶(hù)可通過(guò)設(shè)置菜單對(duì)其進(jìn)行多種配置。

“我發(fā)現(xiàn),如果與玩家對(duì)抗的機(jī)器人玩家能夠以近乎實(shí)時(shí)的方式使用游戲內(nèi)消息對(duì)游戲事件作出回應(yīng),玩家可以獲得更多游戲樂(lè)趣。此外,我很高興能以本次開(kāi)發(fā)者大賽參賽者的身份與大家分享我將 AI 融入游戲的方法。希望我的項(xiàng)目可以造福所有使用 RTX 硬件的‘火箭聯(lián)盟 (Rocket League)’玩家。”

— Rocket League BotChat 開(kāi)發(fā)者 Brian Caffeynone

CLARA (“使用 RTX 加速的命令行助手”的簡(jiǎn)稱(chēng)) 旨在將簡(jiǎn)單的英語(yǔ)指令轉(zhuǎn)換為可操作的命令,從而優(yōu)化 PowerShell 的命令行界面。該擴(kuò)展程序可在本地快速運(yùn)行,且始終令用戶(hù)處于其上下文環(huán)境中。啟用 CLARA 后,用戶(hù)輸入英文指令并按 Tab 鍵即可調(diào)用 CLARA。CLARA 的安裝非常簡(jiǎn)單,用戶(hù)還可以選擇使用腳本或手動(dòng)對(duì)其進(jìn)行設(shè)置。

來(lái)自 Generative AI Theater 的精彩內(nèi)容

GTC 大會(huì)與會(huì)人員可于 3 月 20 日(星期三)參加在生成式 AI 劇場(chǎng)舉辦的三場(chǎng)《解碼 AI》講座。這些時(shí)長(zhǎng) 15 分鐘左右的講座將涉及以下內(nèi)容:引導(dǎo)觀眾了解 ChatRTX 以及開(kāi)發(fā)者產(chǎn)品化自己的個(gè)性聊天機(jī)器人;三名大賽獲獎(jiǎng)?wù)邔⒎謩e展示在 RTX 系統(tǒng)上開(kāi)發(fā)生成式 AI 應(yīng)用;鑒賞NVIDIA 技術(shù)如何通過(guò)全新工具和方式方法來(lái)幫助藝術(shù)家。

在面向創(chuàng)作者的講座上,NVIDIA 生成式 AI 媒體和娛樂(lè)高級(jí)開(kāi)發(fā)者關(guān)系經(jīng)理 Lee Fraser 將探討生成式 AI 如此受歡迎的原因。他將展示全新工作流,并講解創(chuàng)作者可如何快速探索各種創(chuàng)意。將會(huì)亮相的藝術(shù)家包括 Steve Talkowski、Sophia Crespo、Lim Wenhui、Erik Paynter、Vanessa Rosa 及 Refik Anadol。

Anadol還將在現(xiàn)場(chǎng)做演示,該演示既包含了可視化數(shù)據(jù),更有基于這些數(shù)據(jù)創(chuàng)建的圖像。

加速生態(tài)系統(tǒng)

NVIDIA 正在和國(guó)內(nèi)深受用戶(hù)喜愛(ài)的剪輯軟件剪映專(zhuān)業(yè)版共同探索推進(jìn)生成式 AI 在 PC 端的落地。目前,NVIDIA 已通過(guò) TensorRT 推動(dòng)剪映 AI 藝術(shù)字功能上線,并正在通過(guò) RTX AI 平臺(tái)加速生成式 AI 在剪映產(chǎn)品功能中的應(yīng)用。

剪映產(chǎn)品經(jīng)理表示:“長(zhǎng)期以來(lái)剪映和NVIDIA一直都是非常緊密的合作伙伴,在 RTX GPU 的加速下剪映專(zhuān)業(yè)版可以實(shí)現(xiàn)更高的性能表現(xiàn)。我們期待 RTX AI PC 強(qiáng)大的性能表現(xiàn)以及加速優(yōu)化對(duì) AI 模型的處理能力能幫助剪映的用戶(hù)更高效、智能地進(jìn)行創(chuàng)作?！?/p>

Blackmagic Design 和 Topaz Labs 等杰出創(chuàng)意應(yīng)用開(kāi)發(fā)商也已將 RTX AI 加速集成到各自的軟件中。TensorRT 可將 DaVinci Resolve 和 Topaz 應(yīng)用中的轉(zhuǎn)描、降噪、超分辨率和視頻防抖等 AI 特效的速度提高至原來(lái)的兩倍。

發(fā)燒友還可以通過(guò) Oobabooga 和 Jan.AI 的聊天界面,在 RTX PC 上體驗(yàn)經(jīng)由 TensorRT-LLM 加速的 LLM。

有 NIM,更迅捷

開(kāi)發(fā)者可充分利用 NIM 微服務(wù)這些配備了行業(yè)標(biāo)準(zhǔn) API 的預(yù)構(gòu)建AI容器,提供了優(yōu)化過(guò)的解決方案,有助于將部署時(shí)間從幾周縮短到幾分鐘這些“容器”可與 來(lái)自 NVIDIA、Getty Images、Google、Meta、Microsoft、Shutterstock 等公司的超過(guò)二十款熱門(mén)模型一起使用。

NVIDIA AI Workbench 現(xiàn)已就緒,可幫助開(kāi)發(fā)者快速創(chuàng)建、測(cè)試和自定義預(yù)訓(xùn)練的生成式 AI 模型和 LLM,而這只需要PC級(jí)的性能和內(nèi)存占用即可實(shí)現(xiàn)開(kāi)發(fā)者可通過(guò) NVIDIA AI Workbench 簡(jiǎn)化對(duì) Hugging Face、GitHub 和 NVIDIA NGC 等熱門(mén)存儲(chǔ)庫(kù)的訪問(wèn),并且能夠通過(guò)簡(jiǎn)化的用戶(hù)界面輕松地再現(xiàn)和遷移項(xiàng)目,以及進(jìn)行項(xiàng)目協(xié)作。

當(dāng)有額外的性能需求時(shí),項(xiàng)目還可輕松擴(kuò)展(無(wú)論是到數(shù)據(jù)中心、公有云還是 NVIDIA DGX),然后再將其帶回本地 RTX 系統(tǒng),用于推理和輕量化定制 AI Workbench 免費(fèi)下載,他同時(shí)提供了示例項(xiàng)目以幫助開(kāi)發(fā)者快速入門(mén)上述及GTC 大會(huì)上公布和展示的許多其他工具,將助力開(kāi)發(fā)者創(chuàng)新AI 解決方案。

從 Blackwell 平臺(tái)的發(fā)布,到適用于地球氣候研究的數(shù)字孿生,各種精彩內(nèi)容使這屆 GTC 大會(huì)令人難忘。RTX PC 和工作站的用戶(hù)及開(kāi)發(fā)者,亦可通過(guò)本次大會(huì)感受到生成式AI的未來(lái)可期!

本文轉(zhuǎn)載于快科技，文中觀點(diǎn)僅代表作者個(gè)人看法，本站只做信息存儲(chǔ)