东拉西扯 说说我的PVE家用NAS方案

xi***

PVE现在很热门，恩山也有很多教程帖子，PVE也用了有几年了，从最开始完全是因为套上PVE的软路由更新系统方便到现在ALL IN BOOM都一直稳定运行，闲着没事东拉西扯发个贴。
1、经常看到说PVE要有一定LINUX基础，其实几乎不需要的，使用web ui就已经足够了，登录web ui就可以直接粘贴命令了，连ssh都不需要。
2、很多时候可以直接看wiki，比如这里硬盘直通，GPU直通，还有官方论坛教程区，搜一下照着操作就可以。
3、关于套娃，其实文件共享、docker服务什么的是真不推荐直接在PVE系统下安装，保持PVE系统干净，也方便迁移或故障恢复，可以直接使用LXC容器或者VM主机对外提供共享服务，对局域网内提供nas服务推荐 turnkey fileserver lxc容器（在模板里搜索就有），有webmini管理界面，samb、nfs共享都是开箱即用，可以像nas系统一样简单直接配置共享服务。PVE套一个NAS系统直通硬盘的唯一好处是NAS对存储空间配置提供有webui界面，但PVE也可以方便的使用ZFS文件系统，只是没有webui界面，共享配置用fileserver一样简单。

4、关于LXC和VM其实两者性能差别并不大，主机CPU性能还行的话（我觉得家用J4125以上就还行了，曾经用蜗牛跑软路由、jellyfin、黑群和卡丁车win10）软路由和docker服务之类的直接用VM就好，省得LXC折腾，在LXC下面跑软路由和docker有可能会碰到一些奇怪的问题（只是有可能）。
5、目前我的ALL IN BOOM方案，原来是装的TURENAS，去年换了一台G5600后把软路由和NAS全部搬到PVE下组ALL IN BOOM了，目前是硬盘全部挂在PVE下并使用ZFS文件系统（从TURENAS直接导入到PVE），有关ZFS操作直接看甲骨文的文档，然后PVE下面开了四个LXC，分别是openwrt，一个adguardhom专用，一个turnkey fileserver专门配置共享，一个dockers（直通核显然后jellyfin，bt等需要的服务全装里头），三个vm，一个ubuntu桌面、一个win10桌面、一个黑群专门当照片服务（有好替代就换掉）。其实折腾到LXC里都是放假心情不好时瞎折腾的，实际还是推荐损失一些性能安装到VM里头更简单方便（好像官方说法是更安全）。

bsk***

左右硬盘交由pve组zfs，然后所有vm硬盘空间就调用此zfs吗？
那所有vm的硬盘存储都是虚拟化了，性能和安全性怎么样，主要是和黑裙比较

yyy***

我是直接esxi下装了2个op，一个主路由，另外一个当NAS，直接挂载NTFS硬盘。让ESXI PVE或者群晖管理硬盘，感觉太不靠谱了，当然我也装了黑群晖，只在上面挂了个1T的SSD放照片。

xi***

bskdsbz 发表于 2022-3-17 10:28
左右硬盘交由pve组zfs，然后所有vm硬盘空间就调用此zfs吗？
那所有vm的硬盘存储都是虚拟化了，性能和安全 ...

对，硬盘由pve组zfs，将pve目录挂载到lxc fileserver，由fileserver提供nfs、samba共享给vm和pc。
vm和pc的存储数据走网络，vm跟主机之间的网络肯定没问题啊，跑iperf3到10G了，pc到pve也是跑满千兆的。



补充一下，在使用之前我有测试过，在pve下面的zfs文件系统跟truenas、xigmanas之间可以无损导入的，所以即使是BOOM了用U盘启动个xigmanas系统然后导入zfs数据就能满血复活了。

xi***

yyysuo 发表于 2022-3-17 11:04
我是直接esxi下装了2个op，一个主路由，另外一个当NAS，直接挂载NTFS硬盘。让ESXI PVE或者群晖管理硬盘，感 ...

我黑群是建了一个8G的虚拟磁盘装系统，照片目录是挂载远程NFS目录方式，所以数据都是在zfs磁盘上，开了快照和压缩。
黑群挂载nfs文件夹到photostation有很多问题的，目前用黑群仅是为了备份照片方便，有好方案就替换掉，不需要黑群。

yyy***

xin_h 发表于 2022-3-17 11:19
我黑群是建了一个8G的虚拟磁盘装系统，照片目录是挂载远程NFS目录方式，所以数据都是在zfs磁盘上，开了快 ...

对啊，远程文件夹肯定是没办法给photo或者moments用的，nfs我没试过，都有啥问题啊。

133***

all in boom到底会不会真的boom，目前我用的系统是OMV，感觉大家都在搞PVE，我也要整一个。

99***

zfs吃内存，低于16G还是别搞。

试过8G内存（pve只开了一个VM 512M内存openwrt，一个VM 2G内存unas，也没做下载，纯做内网共享），几天就能占完内存不释放，然后整个pve系统都卡，最后看甲骨文Wiki提示加内存，使用一年多都正常了。

xi***

99010 发表于 2022-3-18 01:32
zfs吃内存，低于16G还是别搞。

试过8G内存（pve只开了一个VM 512M内存openwrt，一个VM 2G内存unas，也没 ...

对，zfs用内存当缓存的，现在的机子是16+8内存足够了，两个存储池有28T平时大概会用掉8-10G内存。

llp***

支持楼主的观点。

PVE跑 ros win10 dsm。
win10主要用网盘客户端的自动备份功能。docker跑在dsm里面，pve下的dsm直通也很完美。数据盘都直通，即使系统或者主板之类其他配件崩了。只要硬盘不坏，重新搭建下也都回来了。

配置完很稳定，没事别去apt upgrade即可。
PVE主要硬件兼容性好，洋垃圾，消费级硬件基本都能用。esxi的问题就是太挑硬件。

炫***

xin_h 发表于 2022-3-19 09:39
对，zfs用内存当缓存的，现在的机子是16+8内存足够了，两个存储池有28T平时大概会用掉8-10G内存。 ...

大佬，lxc的容器里把挂载的目录通过NFS共享出去存在权限问题，你是怎么解决的/