在Ubuntu24.04搭建VLLM, SGLang 和 LangChain环境 [!NOTE] 概述 整片文章是笔者的回忆(白天忙碌了一天,晚上进行的总结),所以有些地方的描述可能有误差,本文更多的是大体方向问题,细节步骤不是本文的重点,见谅 !!! 如何安装Ubuntu 24.04 制作启动U盘
termux环境下部署大语言模型测试了一下基本属于可用状态 在termux环境下 安装ollama服务 sudo snap install ollama 开启ollama服务 ollama serve 开启新的窗口拉模型,由于是小手机直接拉1.5b模型cpu硬算 ollama pull deepse