Windows 11 本地安装大模型ollama 打造个人私有AI

rap***

安装需要：dockers+ollama+open webui+ anythingLLM  一些不懂操作可以在网上搜索一下！


系统：Windows 11 ltsc 版本 有独立显卡8G显存以上可以流畅用 其他显存低运行很慢！推荐16系以上尝试！
依赖包：.net包（Windows可选功能安装==》（1）.net3.5 即可 有4.8framework 一起安装了 （2）Hyper-v 也在里面安装 （3）适用于linux 的Windows子系统 这个要wsl安装后才会显示注意开启 ）
其他依赖包:visual C++ 系列安装包 以及常用依赖包

首先系统开启hyper-v虚拟机

===============
管理员权限powershell运行
安装wsl 命令
wsl --install
==============
安装docker

安装完成后汉化地址https://github.com/raccoon666666/DockerDesktopChinese  下载app.asar ！
Docker安装目录(一般是C:\Program Files\Docker\Docker\frontend\resources)中找到原来app.asar并备份
将本仓库提供的app.asar替换上述文件
==============
安装ollama
默认安装
命令行安装llama3包：https://github.com/Shenzhi-Wang/Llama3-Chinese-Chat
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8
====

Windows命令行安装聊天界面命令CMD：https://github.com/open-webui/open-webui?tab=readme-ov-file

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

浏览器登陆http://localhost:3000/auth/


安装anything LLM支持各类办公文件解析 地址：https://github.com/Mintplex-Labs ... OW_TO_USE_DOCKER.md

#拉取命令CMD

docker pull mintplexlabs/anythingllm

#windows 安装命令

#打开系统powershell终端 以管理员权限

游客，如果您要查看本帖隐藏内容请回复

#登录http://localhost:3001 使用！

简单设置登录 LLM Preference 选择ollama 链接地址在open webui 查看

http://host.docker.internal:11434   模型选择你下载的模型  长度默认8192

在Embedding Preference 选项里面也按照上面设置就可以了

左下角返回按钮 新建会话 “New Workspace”

chat setting 设置选择ollama 你下载好的模型"wangshenzhi/llama3-8b-chinese-chat-ollama-q8"  ===>点最下面更新配置
Vector database identifier 设置默认重新设置即可
Workspace Agent LLM Provider  设置 一样选择ollama 你下载好的模型"wangshenzhi/llama3-8b-chinese-chat-ollama-q8" ===>点最下面更新配置
到此返回就可以在聊天室使用！可以上传文件帮你提纯&校对…………

ler***

多谢分享！！！！！！