基于PVE虚拟化的AIO家庭多功能服务器

xz0609

还在编辑中，手抖，保存点成发布！

前言

早在16年的时候接触到了esxi虚拟化，一台当多台电脑用，看起来很厉害的样子，然后百度一下看了几篇diy家用esxi虚拟化的帖子，
感觉这个虚拟化平台比较挑硬件设备；后来无意间发现了Proxmox VE，esxi该有的它都有，
还不怎么挑硬件设备，就入了PVE这个坑。

我的主机硬件配置

部件名称	型号	数量	价格	金额	备注
CPU	e5 2650l v2	1	320	320	淘宝买的二手服务器CPU
CPU散热器	2011 散热器	1	65	65	6热管4线温控不发光（2风扇)
主板	华南X79烈焰战神	1	668	668	淘宝销量最好的寨板
内存	三星 16G DDR3 1600	1	215	215	淘宝买的二手服务器内存
电源	全模组白金额定600W	1	330	330	淘宝买的二手电源
SSD	英特尔 760P 256G	1	349	349	没必要买128G的，不划算
HDD	西数 1T 7200 64MB	5	260	1300	没钱买大容量的
显卡	GT520	1	0	0	旧电脑淘汰下来的
网卡	4口千兆网卡	1	168	168	intel 82576，Dell H092P
机箱	标准4U工控机箱	1	200	200	7890B＋12cm*1+6cm*2
合计：				3615

基本上都是洋垃圾，选华南主板是因为办公室那台华南x79用了2年还能用，质量还算过得去；
但是我这新买的x79烈焰战神有点问题，金泰克 P600和惠普 EX900把安装系统上后，过几个小时主板就不能识别了，
最后上了英特尔的760P，完美无瑕。
待机功耗：85瓦，
硬盘休眠后的功耗：65瓦

PVE安装与配置

PVE下载地址：Proxmox VE
下载最新发布日期的ISO即可，新版5.3可以通过GUI添加PCI直通。
当前最新版本：5.3-2

安装方法按照张大妈上的基于ProXmoX VE的虚拟化家庭服务器（篇一）—ProXmoX VE 安装及基础配置
我安装的有些不同：

• 1.系统安装位置
  
  target harddisk选Intel 760P nvme，

点旁边的options，
hdsize默认，
maxroot填入8(root分区8G足够)，

其他默认，不修改。

• 2.网卡设置
  management interface选择enp7s0板载千兆网卡(8169)

安装完成后，更新一下pve软件版本，也可以不更新。
网上搜索并整合了一个简单的apt更新shell脚本，
apt源换成中科大、修改pve-no-subscription源、屏蔽登陆订阅通知弹窗。
pve_patch.zip (794 Bytes, 下载次数: 94)

2019-1-31 12:56 上传

点击文件名下载附件

使用方法：
用winscp上传压缩包里的pve_patch.sh到root目录，

给文件附加运行权限
chmod a+x pve_patch.sh
运行脚本
./pve_patch.sh

3.登录web界面
用浏览器打开 https://你服务器的IP地址:8006/
用户名：root
密码：安装系统的时候你设置的管理密码

PVE目录说明

• 虚拟机镜像，VM images
  /var/lib/vz/images

• ISO镜像，ISO images
  /var/lib/vz/template/iso/

• 容器模板，Container templates
  /var/lib/vz/template/cache/

• 备份文件，Backup files
  /var/lib/vz/dump

• 虚拟机配置文件目录
  /etc/pve/nodes/pve/qemu-server/100.conf

4.修改Thin-LVM为DIR(可选)
Thin-LVM的储存为block块，感觉用不来，还是dir类型储存为file的方便。
方法：Directly_to_file_system
简单的步骤如下：

• 1.用winscp编辑/etc/pve/storage.cfg文件

dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

lvmthin: local-lvm
        thinpool data
        vgname pve
        content rootdir,images

改为：

dir: local
        path /var/lib/vz
        maxfiles 0
        content backup,iso,vztmpl,rootdir,images

• 2.重建/var/lib/vz目录

a.查看逻辑卷

lvs

b.删除逻辑卷

lvremove pve/data

c.创建逻辑卷

lvcreate --name data -l +100%FREE pve

d.格式化

mkfs.ext4 /dev/pve/data

• 3.开机自启
  编辑/etc/fstab文件，在最后一行添加下面代码。

  /dev/pve/data /var/lib/vz ext4 defaults 0 1

• 4.重启

OMV安装与配置

OpenMediaVault下载地址
openmediavault的iso镜像可以通过winscp传到/var/lib/vz/template/iso/目录。
新建OMV虚拟机

omv1

omv2

虚拟机里OMV安装就不再说明了，网上教程很多。
这里说下在PVE里安装OpenMediaVault后，添加硬盘有2种方式：

• 1、Physical_disk_to_kvm
  方法：Physical disk to kvm
  之前5个机械硬盘都是通过这个方式添加进来的，
  优点：比PCI直通简单方便。
  缺点：1、无法读取到硬盘smart信息；2、硬盘无法休眠。
• 2、PCI直通
  方法：Pci passthrough
  优点：能读取到硬盘smart信息和休眠。
  缺点：需要主板支持vt-d。

我现在用PCI直通这个方法添加的。

华南x79开启vt-d
按照下图设置就可以了。

保存BIOS设置并重启。

ssh连接pve主机

• 1、编辑/etc/default/grub文件
  在第9行找到GRUB_CMDLINE_LINUX_DEFAULT="quiet"
  并把GRUB_CMDLINE_LINUX_DEFAULT="quiet"

  • Intel CPU改为

    GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"

  • AMD CPU改为

    GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"

要使此更改生效，请确保运行下面命令。

update-grub

• 2、添加核心模块

echo "vfio" > /etc/modules
echo "vfio_iommu_type1" >> /etc/modules
echo "vfio_pci" >> /etc/modules
echo "vfio_virqfd" >> /etc/modules

要使此更改生效，请确保运行下面命令。

update-initramfs -u -k all

• 3、重启后，ssh运行

  dmesg grep-e dmar-e iommu

成功会输出如下信息：

root@pve:~# dmesg | grep -e DMAR -e IOMMU
[    0.000000] ACPI: DMAR 0x00000000BB1FDE68 0000BC (v01 A M I  OEMDMAR  00000001 INTL 00000001)
[    0.000000] DMAR: IOMMU enabled
[    0.004000] DMAR: Host address width 46
[    0.004000] DMAR: DRHD base: 0x000000fbffc000 flags: 0x1
[    0.004000] DMAR: dmar0: reg_base_addr fbffc000 ver 1:0 cap d2078c106f0466 ecap f020df
[    0.004000] DMAR: RMRR base: 0x000000bb814000 end: 0x000000bb822fff
[    0.004000] DMAR: ATSR flags: 0x0
[    0.004000] DMAR: RHSA base: 0x000000fbffc000 proximity domain: 0x0
[    0.004000] DMAR-IR: IOAPIC id 0 under DRHD base  0xfbffc000 IOMMU 0
[    0.004000] DMAR-IR: IOAPIC id 2 under DRHD base  0xfbffc000 IOMMU 0
[    0.004000] DMAR-IR: HPET id 0 under DRHD base 0xfbffc000
[    0.004000] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.004000] DMAR-IR: Enabled IRQ remapping in x2apic mode
[    1.439642] DMAR: dmar0: Using Queued invalidation
[    1.439657] DMAR: Setting RMRR:
[    1.439817] DMAR: Setting identity map for device 0000:00:1a.0 [0xbb814000 - 0xbb822fff]
[    1.439986] DMAR: Setting identity map for device 0000:00:1d.0 [0xbb814000 - 0xbb822fff]
[    1.439992] DMAR: Prepare 0-16MiB unity mapping for LPC
[    1.440167] DMAR: Setting identity map for device 0000:00:1f.0 [0x0 - 0xffffff]
[    1.440173] DMAR: Intel(R) Virtualization Technology for Directed I/O

---

find /sys/kernel/iommu_groups/ -type l

成功会输出如下信息：

root@pve:~# find /sys/kernel/iommu_groups/ -type l
/sys/kernel/iommu_groups/17/devices/0000:00:1c.6
/sys/kernel/iommu_groups/35/devices/0000:ff:0d.3
/sys/kernel/iommu_groups/35/devices/0000:ff:0d.1
/sys/kernel/iommu_groups/35/devices/0000:ff:0d.4
/sys/kernel/iommu_groups/35/devices/0000:ff:0d.2
/sys/kernel/iommu_groups/35/devices/0000:ff:0d.0
/sys/kernel/iommu_groups/7/devices/0000:00:11.0
/sys/kernel/iommu_groups/25/devices/0000:08:00.0
/sys/kernel/iommu_groups/15/devices/0000:00:1c.4
/sys/kernel/iommu_groups/33/devices/0000:ff:0b.0
/sys/kernel/iommu_groups/33/devices/0000:ff:0b.3
/sys/kernel/iommu_groups/5/devices/0000:00:04.4
/sys/kernel/iommu_groups/5/devices/0000:00:04.2
/sys/kernel/iommu_groups/5/devices/0000:00:04.0
/sys/kernel/iommu_groups/5/devices/0000:00:04.7
/sys/kernel/iommu_groups/5/devices/0000:00:04.5

如果没有输出，无法继续。

新版PVE的5.3版本支持在gui添加pci直通，OMV安装完毕后，关闭OMV虚拟机。

到这里PCI直通就完成了！

新生活

大神666666

淘子

哈哈哈，看来距离你编辑成功还有很久很久，毕竟才到omv

honry

个人一点小小的建议：omv是基于Debian9 pve也是基于Debian9，是不是可以不用虚拟机，直接搞在一起  emmmmm

ruianyu

就是功耗有点大。。

jc78256

折腾过ESXI和PVE 有几个理论上和实际上不懂的地方 希望能够得到楼主解答

1修改Thin-LVM为DIR
简单的说就是把硬盘分区变为一个吗？

2.准备直通的网卡需要做四口千兆网卡bond这里面的操作吗？

3.按照官方文档进行桥接，板载网卡成功。但是装上高恪有BUG，不知道是硬件还是软件问题。
PCIE网卡桥接某一口或全部后，灯全熄灭。请问有相关解决方案吗？

4.maxroot填入8(root分区8G足够)的意思就是宿主机分区8G的意思吗？

5.华南X79烈焰战神芯片是X79吗？
6.求显卡和声卡直通完，添加PCIE后的操作流程。比如安装驱动之类的。

还有对于前言其实我个人折腾下来觉得，PVE也没有这么强的代替性。
个人感觉笼统的说
低性能小内存不追求黑裙=omv
低性能小内存没直通/黑裙要休眠=PVE
要HTPC=omv/hyper-v
希望教程大把有=ESXI
然而有个I3I5级别的电脑，PVE和ESXI闭着眼睛挑一个顺手的就好。

jc78256

honry 发表于 2019-1-31 16:38
个人一点小小的建议：omv是基于Debian9 pve也是基于Debian9，是不是可以不用虚拟机，直接搞在一起  emmmmm{ ...

PVE下安装OMV解决办法反正肯定是有的。在网上粗略看了下是说
直接装OMV是不能当为虚拟机的，相反可以用插件开出虚拟机来。
自己没有实践过。

a937983423

jc78256 发表于 2019-1-31 18:29
折腾过ESXI和PVE 有几个理论上和实际上不懂的地方 希望能够得到楼主解答

1修改Thin-LVM为DIR

高格那个网卡要虚拟成E1000

xz0609

jc78256 发表于 2019-1-31 18:29
折腾过ESXI和PVE 有几个理论上和实际上不懂的地方 希望能够得到楼主解答

1修改Thin-LVM为DIR

1、是的，变成一个分区了。Thin-LVM下，新建一个虚拟机磁盘，就会创建一个逻辑卷，保存磁盘镜像文件还要通过dd命令；改成dir后，磁盘镜像文件保存在/var/lib/vz/images，但是性能会有所下降。
2、网卡直通的话就不用在pve里bond了。
3、这个目前没碰到过，不是很清楚；我这边路由器跟服务器是分开的，软路由器用的是小马3网口的主机。
4、是的，我这边使用下来，感觉宿主机根目录只要分8G就差不多了，占容量的文件大多在/var/lib/vz/
5、华南X79烈焰战神就是intel c600/x79
6、步骤还没写好，帖子就被我点错发布出去了。迟点不上步骤。

omv主要用来当nas来用，就开samba、rsync、nfs等3个服务。

xieahui

学习下 pve 占位