扎克·安德森
2025年10月1日12:39
NVIDIA引入了使用Ollama和LM Studio等工具在RTX PC上本地运行大型语言模型的优化，从而增强了AI应用程序的性能和隐私。
NVIDIA最近的一篇博客文章显示，NVIDIA通过优化RTX PC的大型语言模型（LLM）在本地AI处理方面取得了长足进步，从而为用户提供了增强的隐私和性能。该公司介绍了几种工具和更新，包括Ollama，Nothingllm和LM Studio，以简化LLM在个人计算机上的使用。
本地运行LLMS
随着用户寻求对数据的更大控制和隐私，对本地运行LLM的需求不断增长。直到最近，这需要妥协产出质量。但是，由于NVIDIA的进步，如Openai的GPT-Oss和Alibaba的QWEN 3，例如OpenAI的GPT-Oss和Alibaba的Qwen 3现在可以直接在PC上运行。这些模型承诺提供高质量的产出，使学生，业余爱好者和开发人员能够使用NVIDIA RTX PC在本地探索生成的AI应用程序。
RTX PC的优化工具
NVIDIA已针对RTX PC进行了优化的领先LLM应用，并利用RTX GPU中的张量核心以获得最高性能。一个关键工具是Ollama，这是一种开源接口，可以简化与LLMS的运行和交互。它支持功能，例如拖放PDF提示，对话聊天以及集成文本和图像的多模式工作流程。
NVIDIA与Ollama合作，以提高其在GeForce RTX GPU上的性能，为各种模型引入改进和新的模型调度系统。这些优化旨在最大程度地提高内存利用并提高多GPU效率。
LM Studio和Nothingllm
对于爱好者，由Llama.cpp框架提供动力的LM Studio为当地的运行模型提供了一个用户友好的界面。用户可以实时与不同的LLMS互动，并将其集成到自定义项目中，作为本地应用程序编程界面。 Nvidia曾与Llama.CPP合作，以优化RTX GPU的性能，实现闪光注意力和CUDA内核优化之类的功能。
此外，任何内容都允许用户使用任何LLM创建AI助手，从而为文档上传，自定义知识库和对话界面提供支持。这种灵活性使用户可以使用NVIDIA RTX PC构建AI驱动的研究辅助工具和研究工具，从而确保快速和私人的响应。
项目G-辅助增强功能
NVIDIA的实验性AI助手G-Assist Project已更新，以提供调整和控制游戏PC的新功能。最新更新包括调整笔记本电脑设置，优化应用程序的效率应用程序以及控制功能（例如Battery Boost和Whispermode）的命令。这种可扩展性允许用户使用G-Assist插件构建器创建自定义功能。
NVIDIA的这些进步旨在改变本地AI处理的景观，从而为用户在其RTX PC上提供高效，私人和高质量的AI体验。有关更多详细信息，请访问NVIDIA博客。
图像来源：Shutterstock
（tagstotranslate）AI（T）加密（T）区块链（T）新闻
关键词：