LiteLLM配置教程，litellm路由调度——

本文目录一览：

• 1、从零开始Autogenstudio配合ollama安装本地大模型
• 2、【LLM101n】16:LLM部署:如何把模型变成应用?
• 3、【笔记】远端服务器部署大模型

从零开始Autogenstudio配合ollama安装本地大模型

验证本地 LLM 服务兼容性确保本地 LLM 服务（如 LM Studio、Ollama）提供的接口兼容 OpenAI API 规范。大多数主流本地 LLM 工具已默认支持，但需查阅其文档确认。最佳实践与注意事项保持 Autogen 更新通过 pip install --upgrade pyautogen 命令更新到最新版本，避免因旧版本 API 不兼容导致的问题。

【LLM101n】16:LLM部署:如何把模型变成应用?

创建streamlit应用，包括设置页面配置、加载模型和分词器、构建用户界面、处理用户输入和生成回复等。运行应用程序，浏览器会自动打开指定地址，用户可以在页面上与聊天机器人进行交互。通过以上步骤和组件，我们可以将训练好的LLM模型成功部署为应用，为用户提供便捷的交互体验。

课程背景与目标该课程由 Andrej Karpathy 上传至 Github，项目地址为：https：//github.com/karpathy/LLM101n。课程旨在构建一个 Storyteller AI 大型语言模型 （LLM），专注于使用 AI 创建、完善和说明小故事。

首个课程LLM101n详情课程定位：面向本科生级别，首个课程聚焦“讲故事AI大语言模型”的训练。

首款产品 LLM101n：一门本科课程，指导学生训练自己的 AI 模型（如 Storyteller AI 大型语言模型）。

【笔记】远端服务器部署大模型

1、远端服务器部署大模型的工具与步骤本文将指导你在服务器上部署本地大模型并调用API，主要使用Ollama、litellm和LM Studio这三种工具。Ollama快速简便，适合单模型部署；litellm可管理多个模型接口，适用于需要扩展的场景；LM Studio则提供了图形化界面，但同样支持单模型。

2、远端服务器部署大模型主要可以使用Ollama、litellm和LM Studio这三种工具，以下是具体的部署步骤：Ollama：环境要求：在Ubuntu 04环境中进行安装。安装步骤：输入sudo密码，将Ollama添加到系统命令。通过终端运行Ollama的安装命令。模型部署：安装成功后，使用ollama pull命令下载模型并运行。

3、在Cherry Studio客户端左下角点击配置按键。

4、配置运行环境打开服务器：启动下载的代码项目。

5、专注于在Obsidian中无缝集成Ollama模型，提供更灵活的交互方式。用户可通过插件定义特定工作流（如自动触发Ollama分析当前笔记、根据模板生成内容等）。支持对笔记进行批量操作，例如批量总结多篇笔记或统一调整文本风格。安装与配置：需先下载并运行本地Ollama服务（支持MacOS等系统）。