International Support > Russian

Proxmox, Ceph, ZFS ссылки.

(1/12) > >>

werter:
Доброе.

Тем, кого заинтересовал и заинтересует Proxmox, zfs, ceph.

Proxmox VE

Proxmox. Полное руководство. 2е изд. http://support.mdl.ru/MasteringProxmox.2ed/content/index.html
Книга рецептов Proxmox http://onreader.mdl.ru/ProxmoxCookbook/content/index.html
Полная виртуализация. Базовая коммерческая редакция: Proxmox-freeNAS-Zentyal-pfSense http://onreader.mdl.ru/VirtualizationComplete/content/index.html
https://nguvu.org/proxmox/proxmox-install/
https://pve.proxmox.com/pve-docs/
Configure the Proxmox firewall https://www.kiloroot.com/secure-proxmox-install-sudo-firewall-with-ipv6-and-more-how-to-configure-from-start-to-finish/
How To Create A NAS Using ZFS and Proxmox (with pictures) https://forum.level1techs.com/t/how-to-create-a-nas-using-zfs-and-proxmox-with-pictures/117375
Proxmox and let's encrypt with acme https://blog.chasefox.net/proxmox-lets-encrypt/
Virtualisierung (нем.) https://deepdoc.at/dokuwiki/doku.php?id=virtualisierung

Коллекция скриптов :
Post Install Script, Convert from LVM to ZFS, Create ZFS from devices, Creates default routes to allow for extra ip ranges to be used, Create Private mesh vpn/network using Tinc
https://github.com/extremeshok/xshok-proxmox

Proxmox VM watchdogs:
https://tompaw.net/proxmox-vm-watchdogs/
https://forum.proxmox.com/threads/i6300esb-watchdog-in-windows-help-needed.37990/
https://github.com/dmitriypavlov/pve-watchdog

GPU passthrough tutorial https://forum.proxmox.com/threads/gpu-passthrough-tutorial-reference.34303/

Flashing firmware and BIOS on LSI SAS HBAs https://www.broadcom.com/support/knowledgebase/1211161501344/flashing-firmware-and-bios-on-lsi-sas-hbas
Flashing LSI HBA\IBM ServeRAID M1015 to IT mode or IR Mode https://geeksunlimitedinc.wordpress.com/2017/02/16/flashing-lsi-hba-to-it-mode-or-ir-mode/
-

SR-IOV

Прим. При условии, если ваши мат. платы + cpu + сетевые адаптеры поддерживают.
http://www.osp.ru/lan/2012/05/13015724/
http://blog.pichuang.com.tw/Enable-SR-IOV-on-Proxmox/
http://enricorossi.org/blog/2016/intel_sr-iov_on_Debian_Stretch/
https://forum.proxmox.com/threads/cannot-use-sr-iov-on-proxmox.27045/

Сетевые адаптеры с поддержкой SR-IOV:
http://dpdk.org/doc/nics
https://www.intel.com/content/www/us/en/support/articles/000005722/network-and-i-o/ethernet-products.html
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=io (в Features выбрать SR-IOV и нажать Update and view results )

P.s. Напр.,  Asrock AB350 Pro4 при своей достачно скромной цене (в кач-ве мат. платы для сервера) умеет и amd_iommu и sr-iov - осталось только сетевую прикупить. Более того - совсем бюджетные Biostar A320MD PRO\A320MH PRO также умееют и amd_iommu и sr-iov!

---
ZFS (Zettabyte File System)
Мастерство FreeBSD: ZFS для профессионалов http://onreader.mdl.ru/AdvancedZFS/content/index.html
http://nas-faq.github.io/zfs/
Hardware recommendation ssd sata sas raid ashift 4k ecc memory http://open-zfs.org/wiki/Hardware
Performance tuning postgresql mysql logbias ashift ssd l2arc zil compression http://open-zfs.org/wiki/Performance_tuning
How to improve ZFS performance https://icesquare.com/wordpress/how-to-improve-zfs-performance/
"Write hole" phenomenon http://www.raid-recovery-guide.com/raid5-write-hole.aspx

SCT Error Recovery Control
Что такое на самом деле 'raid edition' для жёстких дисков https://geektimes.ru/post/92701/
Enabling CCTL/TLER https://b3n.org/best-hard-drives-for-zfs-server/
SCT Error Recovery Control in RAID drives https://rolandschnabel.de/blog/?p=75
Linux Software RAID and drive timeouts http://strugglers.net/~andy/blog/2015/11/09/linux-software-raid-and-drive-timeouts/
Т.е. если вы собираете zfs raid-z1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
если же собираетесь использовать zfs raid-0\1\10, то вкл. не нужно.


---
Ceph

Полное руководство Ceph http://onreader.mdl.ru/MasteringCeph/content/index.html
Книга рецептов Ceph http://onreader.mdl.ru/CephCookbook/content/index.html
P.s. Переводчикам - огромнейшее СПАСИБО за столь титанический труд.

---
Open vSwitch (OVS)

https://pve.proxmox.com/wiki/Open_vSwitch
https://habrahabr.ru/post/242741/
https://www.altlinux.org/Etcnet/openvswitch
http://vladimir-stupin.blogspot.com/2016/06/open-vswitch-debian.html
Проброс VLAN-ов через интернет openvpn OVSIntPort https://habrahabr.ru/post/239729/
Примеры создания vlan, bond, bridge, OVSIntPort https://forum.pfsense.org/index.php?topic=139045.0, https://forum.proxmox.com/threads/vlan-tag.38051/
OpenVswitch vlan trunk gre vxlan span rspan mirror lacp bonding https://gns3.com/news/article/containers-in-gns3-series-advanc

Использование OVS (Open vSwitch) в Proxmox (настоятельно рекомендуется)

Установка:
apt update && apt install openvswitch-switch ethtool

Переключение на ovs в gui :
1.  Delete the vmbr0 (Linux bridge) # линк с Proxmox не потеряется, не бойтесь
2.  Create vmbr0 as ovs-bridge with your IP/MASK/Gateway and Bridge ports [ethX] # вместо ethX - имя вашего физ. интерфейса
3.  Reboot Proxmox.

По https://blog.scottlowe.org/2012/10/04/some-insight-into-open-vswitch-configuration/ поясню немного :

Если хотите добавить сетевой интерфейс ВМ в определенный vlan , то в Gui в настройках сети ВМ просто укажите VLAN Tag. Это аналог untag\access порта на железном свитче. Задействовать назначенный выше vlan можно без перезагрузки ВМ, просто выкл\вкл сетевой интерфейс непосредственно в вирт. ОС.

Если хотите, чтобы ВМ находилась в опред. vlan и при этом могла "слушать" трафик из др. vlan-ов, то можно сделать так - https://forum.proxmox.com/threads/ovs-bridge-with-vlans.27280/
Аналог - создать еще один OVS IntPort в Gui. В настройках указать необходимые вам параметры для VLAN (и не только для VLAN). И прицепить созданный интерфейс к ВМ.
Но после создания OVS IntPort понадобится перезагрузить сеть\перезагрузить Proxmox!

Также можно объединять интерфейсы (bonding), настраивать балансировку\отказоустойчивость (LACP)  - https://blog.scottlowe.org/2012/10/19/link-aggregation-and-lacp-with-open-vswitch/

По ссылке Proxmox. Полное руководство. 2е изд есть глава, посвященная Ovs - http://onreader.mdl.ru/MasteringProxmox.2ed/content/Ch07.html

-
https://forum.proxmox.com/threads/proxmox-ve-on-debian-jessie-with-zfs-hetzner.33429/
2-ая страница крайне интересна.
Вкратце. Удаленная установка из iso, используя qemu и vnc. Причем таким образом можно устанавливать любой дистрибутив linux.

----
Pfsense

Virtualizing pfSense on Proxmox https://doc.pfsense.org/index.php/Virtualizing_pfSense_on_Proxmox
Virtualizing pfSense under Hyper-V https://doc.pfsense.org/index.php/Virtualizing_pfSense_under_Hyper-V
PfSense on VMware ESXi https://doc.pfsense.org/index.php/PfSense_on_VMware_vSphere_/_ESXi
HOW TO: 2.4.0 ZFS Install, RAM Disk, Hot Spare, Snapshot, Resilver Root Drive https://forum.pfsense.org/index.php?topic=126597.0

Нюансы работы pfsense в Proxmox:

--- Quote ---I've got a fresh install of  2.3.3-RELEASE-p1 (amd64), running on ovirt (kvm). My guests (only have linux guests) could ping out, but no udp or tcp.

Just selecting the "Disable hardware checksum offload" and rebooting (though I didn't check without rebooting) the pfsense instance did the trick.

I didn't need to change anything on the ovirt/kvm hypervisor - the default offload settings are in place. All guests (pfsense and the linux ones) are using virtio network drivers.
--- End quote ---

---
MS Windows

Рекомендации для гостевых ОС семейства Microsoft Windows:
https://pve.proxmox.com/wiki/Windows_2008_guest_best_practices
https://pve.proxmox.com/wiki/Windows_2012_guest_best_practices
https://www.proxmox.com/en/training/video-tutorials/item/install-windows-2016-server-on-proxmox-ve

VMware OS Optimization Tool - оптимизация Windows в виртуальной среде (подойдет и для proxmox) https://codebeer.ru/optimizaciya-windows-v-virtualnoj-srede/

pigbrother:
Спасибо за популяризацию Proxmox.

Из мануала по вашим ссылкам:

Proxmox VE сам по себе свободен для применения. Не существует абсолютно никаких платежей включенных в загрузку простого образа ISO и установки полнофункционального кластера Proxmox без оплаты лицензий или подписок.

С официального сайта:

COMMUNITY

Starting out
5,83/month (per CPU)

Отказ от подписки с точки зрения разработчиков допустим?

werter:

--- Quote ---Отказ от подписки с точки зрения разработчиков допустим?
--- End quote ---
Все строго добровольно. Хотите платную поддержку и сверх быструю реакцию на баги - платите. Нет? Пользуйте просто так.

P.s. Вот "увидивили". Был на 146% уверен, что уж вы-то, ув. pigbrother, точно KVM "тискали"  :'(

pigbrother:
Первый тестовый виртуальный домен поднимал в далеком 2001 году на PIII (Vmware Workstation).  ;),
Winows NT DC, рабочие станции Windows NT и 98, выход в интернет через RRAS с диалапом...

Сейчас в продакшн используется ESXi - выбор руководства. Мы посовещались и оно решило  ;).
С KVM за довольно долгую карьеру столкнуться, как ни странно, так и не пришлось. Сейчас же хочу покрутить для собственного интереса.

Что порекомендуете - сразу  5.0 или  начать с 4.4?

werter:
5-ку, ес-но. После установки - сразу обновить.

Если в будущем в продакшн соберетесь, то использовать ZFS raid от 2-ух (raid1), а лучше - 4 диска (raid10). Zfs raid идет из коробки и в самом начале установки конфигурируется.

Navigation

[0] Message Index

[#] Next page

Go to full version