[!CAUTION]
RAM小于16GB或只有老旧核显的电脑不推荐尝试
测试环境：
-
R9-7945HX
-
RTX4060 Laptop 8G
-
32G DDR5 5200MHz
模型推荐：
- llama3.1 - 8b：16GB RAM可用，可自定义prompt，较为全面
- deepseek-coder-v2 - 16b：32GB RAM可用，代码能力较强，可自定义prompt，安全限制较少
- deepseek-r1 - 14b：推理很强，但是生成答案速度比较慢，不太适合用于比赛，但很聪明
安装Ollama
在该链接中下载Download Ollama对应系统版本的Ollama，并将其安装在任意位置，Windows也可以在WSL2中进行安装。
安装完成后双击快捷方式运行Ollama，然后在官网上查询想要部署的开源大模型 Models - Ollama，在Powershell中运行官网给出的命令即可进行安装并运行。
安装到其他盘
Ollama会默认安装到C:\Users%username%\AppData\Local\Programs\Ollama目录下，所有下载的模型都会安装到C:\Users%username%.ollama\models目录下，如有需求可以默认将下载的模型保存到其他盘。具体配置方法如下：
打开「系统环境变量」，新建一个系统变量OLLAMA_MODELS ，然后设置Ollama模型的存储路径。
变量名：OLLAMA_MODELS
变量值（路径）：D:\ZJNU\OLLAMA（修改为你需要的路径）
然后再执行ollama run或ollama pull，模型将会默认安装到你设置的路径下
运行Ollama
现版本Ollama会默认添加环境变量，只需在命令行窗口中输入ollama run 模型名称即可使用大模型。
安装AnythingLLM
该程序可为Ollama提供图形化界面，下载地址：AnythingLLM | The all-in-one AI application for everyone，安装完成后进行如下配置：Provider选择Ollama，Model选择之前安装的，其余配置保持默认即可，如果修改过端口则需要修改对应端口。
该配置日后也可以在设置中修改
自定义Prompt和知识库
在AnythingLLM中设置工作区和Thread后可以设置自定义Prompt和自定义知识库
该过程花费时间可能较长，老版本AnythingLLM可能会出现假死机情况，可以少量多次进行移动，新版本有所改善。
完成后在AnythingLLM中提问大模型即可引用自定义上传的资料。
配置端口（可选）
Ollama API 的默认访问地址和侦听端口是http://localhost:11434，只能在装有 Ollama 的系统中直接调用。如果要在网络中提供服务，需在环境变量中修改 API 的侦听地址和端口为：
1 | 变量名：OLLAMA_HOST |
只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000 端口。还需在Windows防火墙中开启远程访问。
允许浏览器跨域请求（可选）
Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求，如果你计划在其它前端面板中调用 Ollama API，比如Open WebUI，建议放开跨域限制：
1 | 变量名：OLLAMA_ORIGINS |