Chat with RTX-NVIDIA推出的本地AI聊天机器人

Chat with RTX是什么？

Chat with RTX 是 NVIDIA 推出的本地部署的AI聊天机器人，专为Windows个人电脑设计。利用 GPT 大型语言模型和检索增强生成（RAG）技术，允许用户个性化连接到自己内容的 AI 聊天机器人。通过结合 TensorRT-LLM 和 RTX 加速，用户可以快速获取相关上下文的答案，实现高效的交互体验。

Chat with RTX 支持多种文件格式，包括文本、pdf、doc / docx 和 xml。只需将应用程序指向包含文件的文件夹，它就会在几秒钟内将它们加载到库中。此外，用户还可以提供 YouTube 播放列表的 URL，该应用程序将加载播放列表中视频的转录，使用户能够查询它们涵盖的内容。

官方介绍视频：

Chat with RTX的主要功能特性

• 个性化 AI 聊天机器人：用户可以与连接到其数据的定制聊天机器人进行交互，获得个性化的回复和解决方案。
• 支持多款开源模型：支持Mistral和Llama 2两款开源LLM，用户可以根据喜好自行选择。
• 检索增强生成（RAG）：利用 RAG 技术生成基于上下文的响应，提供更准确和相关的答案。
• 本地运行与数据隐私： Chat with RTX完全在个人电脑上运行，不需要上传数据至云端，保护用户的数据隐私和安全，与基于云的服务相比，更受用户青睐。
• 高效处理文件数据： 无论是PDF文件、内部文件还是其他格式的文档，Chat with RTX都能快速准确地提取关键信息，让用户在几秒钟内找到所需内容，极大地提升了工作效率。
• 快速搜索和分析视频内容： 通过输入YouTube视频链接，Chat with RTX能够快速搜索特定提及或总结整个视频，为记者等需要分析大量视频的用户提供了巨大便利。
• 开发者支持：开发人员可以利用 TensorRT-LLM RAG 开发者参考项目，创建自己基于 RAG 技术的应用程序，拓展应用场景和功能。

Chat with RTX的应用场景

• 个性化客户服务：企业可以利用 Chat with RTX 创建定制化的 AI 聊天机器人，提供个性化的客户服务和支持。
• 知识库查询：用户可以利用应用程序快速查询知识库中的信息，获取准确的答案和解决方案。
• 教育和培训：教育机构和企业可以利用 Chat with RTX 提供在线教育和培训服务，为学生和员工提供个性化的学习体验。
• 技术支持：IT 公司和服务提供商可以使用该应用程序为客户提供快速和准确的技术支持，解决常见问题和疑问。
• 研究和开发：研究人员和开发人员可以利用开发者支持功能，探索和开发基于 RAG 技术的新型应用程序，推动人工智能领域的创新发展。

通过 NVIDIA Chat with RTX，用户可以体验到个性化、高效和安全的 AI 聊天机器人交互，满足不同领域的需求和应用场景。

如何使用Chat with RTX？

Chat with RTX支持Windows 11系统，需要下载（文件大小35.1G）到本地安装使用，需要8GB显存的NVIDIA RTX 30或40系列显卡。

切记，先确定自己的系统是否支持，不然白白浪费时间下载。

系统要求如下：

Chat with RTX官网入口：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

Chat with RTX下载地址：https://us.download.nvidia.com/RTX/NVIDIA_ChatWithRTX_Demo.zip

下载后按照提示安装即可在本地运行使用了。

另外，开发人员可以利用 TensorRT-LLM RAG 开发者参考项目，创建自己基于 RAG 技术的应用程序，拓展应用场景和功能。

GitHub地址：https://github.com/NVIDIA/trt-llm-rag-windows