LM Studio v0.3.23-1绿色版

软件介绍

LM 基于llama的Studio是一种专注于本地大语言模型交互的工具.CPP构建，提供图形界面。支持模型管理、硬件协同优化、参数控制等功能，提升用户体验。GGUF格式模型可以被软件拉取、存储和运行，内存管理可以通过GPU卸载技术和模型定量优化。用户可以调整参数定制输出，加强文本搜索，并内置与OpenAI兼容的本地服务器功能，帮助应用程序高效实施。

软件截图

软件功能

模型管理:支持Huging 在Face等资源库中提取、存储和运行各种GGUF格式模型，用户可以在软件中轻松浏览、搜索和选择他们需要的模型。

硬件协同优化：依赖llama.CPP底层架构采用GPU卸载技术，合理分配操作任务，突破显存限制；在内存管理方面，通过模型量化手段减少内存占用，确保设备内存有限，大型模型也能顺利加载和运行。

参数控制：用户可灵活调整“温度”、“重复惩罚”等参数，准确定制模型输出。例如，“温度”参数可以调整输出文本的灵活性，而“重复惩罚”参数可以控制文本的多样性。

文本嵌入式强化检索：借助POST/v1/embeddings端点生成文本嵌入式向量（RAG）架构体系在海量文档和知识库搜索场景中表现突出。

本地服务器功能内置兼容OpenAI：基于OpenAI的无缝连接 API构建的应用和本地模型大大缩短了开发适应周期，有助于创新应用的高效实施。