The pfSense Store

Author Topic: Proxmox, Ceph, ZFS ссылки.  (Read 1706 times)

0 Members and 1 Guest are viewing this topic.

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Proxmox, Ceph, ZFS ссылки.
« on: September 09, 2017, 05:52:55 am »
Доброе.

Тем, кого заинтрересовал и заинтересует Proxmox, zfs, ceph.

Proxmox VE

Proxmox. Полное руководство. 2е изд. http://support.mdl.ru/MasteringProxmox.2ed/content/index.html
Книга рецептов Proxmox http://onreader.mdl.ru/ProxmoxCookbook/content/index.html
Полная виртуализация. Базовая коммерческая редакция: Proxmox-freeNAS-Zentyal-pfSense http://onreader.mdl.ru/VirtualizationComplete/content/index.html
https://nguvu.org/proxmox/proxmox-install/
https://pve.proxmox.com/pve-docs/
Configure the Proxmox firewall https://www.kiloroot.com/secure-proxmox-install-sudo-firewall-with-ipv6-and-more-how-to-configure-from-start-to-finish/
How To Create A NAS Using ZFS and Proxmox (with pictures) https://forum.level1techs.com/t/how-to-create-a-nas-using-zfs-and-proxmox-with-pictures/117375
Proxmox and let's encrypt with acme https://blog.chasefox.net/proxmox-lets-encrypt/
Virtualisierung (нем.) https://deepdoc.at/dokuwiki/doku.php?id=virtualisierung

Классная коллекция скриптов :
Post Install Script, Convert from LVM to ZFS, Create ZFS from devices, Creates default routes to allow for extra ip ranges to be used, Create Private mesh vpn/network using Tinc
https://github.com/extremeshok/xshok-proxmox

GPU passthrough tutorial https://forum.proxmox.com/threads/gpu-passthrough-tutorial-reference.34303/

Flashing firmware and BIOS on LSI SAS HBAs https://www.broadcom.com/support/knowledgebase/1211161501344/flashing-firmware-and-bios-on-lsi-sas-hbas
Flashing LSI HBA\IBM ServeRAID M1015 to IT mode or IR Mode https://geeksunlimitedinc.wordpress.com/2017/02/16/flashing-lsi-hba-to-it-mode-or-ir-mode/
-

SR-IOV

Прим. При условии, если ваши мат. платы + cpu + сетевые адаптеры поддерживают.
http://www.osp.ru/lan/2012/05/13015724/
http://blog.pichuang.com.tw/Enable-SR-IOV-on-Proxmox/
http://enricorossi.org/blog/2016/intel_sr-iov_on_Debian_Stretch/
https://forum.proxmox.com/threads/cannot-use-sr-iov-on-proxmox.27045/

Сетевые адаптеры с поддержкой SR-IOV:
http://dpdk.org/doc/nics
https://www.intel.com/content/www/us/en/support/articles/000005722/network-and-i-o/ethernet-products.html
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=ioFeatures выбрать SR-IOV и нажать Update and view results )

P.s. Напр.,  Asrock AB350 Pro4 Socket AM4 при своей достачно скромной цене (в кач-ве мат. платы для сервера) умеет и amd_iommu и sr-iov - осталось только сетевую прикупить. Более того - совсем бюджетные Biostar A320MD PRO\A320MH PRO также умееют и amd_iommu и sr-iov!

---
ZFS (Zettabyte File System)
Мастерство FreeBSD: ZFS для профессионалов http://onreader.mdl.ru/AdvancedZFS/content/index.html
http://nas-faq.github.io/zfs/
Hardware recommendation ssd sata sas raid ashift 4k ecc memory http://open-zfs.org/wiki/Hardware
Performance tuning postgresql mysql logbias ashift ssd l2arc zil compression http://open-zfs.org/wiki/Performance_tuning
How to improve ZFS performance https://icesquare.com/wordpress/how-to-improve-zfs-performance/
"Write hole" phenomenon http://www.raid-recovery-guide.com/raid5-write-hole.aspx

SCT Error Recovery Control
Что такое на самом деле 'raid edition' для жёстких дисков https://geektimes.ru/post/92701/
Enabling CCTL/TLER https://b3n.org/best-hard-drives-for-zfs-server/
SCT Error Recovery Control in RAID drives https://rolandschnabel.de/blog/?p=75
Linux Software RAID and drive timeouts http://strugglers.net/~andy/blog/2015/11/09/linux-software-raid-and-drive-timeouts/
Т.е. если вы собираете zfs raid-z1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
если же собираетесь использовать zfs raid-0\1\10, то вкл. не нужно.


---
Ceph

Полное руководство Ceph http://onreader.mdl.ru/MasteringCeph/content/index.html
Книга рецептов Ceph http://onreader.mdl.ru/CephCookbook/content/index.html
P.s. Переводчикам - огромнейшее СПАСИБО за столь титанический труд.

---
Open vSwitch (OVS)

https://pve.proxmox.com/wiki/Open_vSwitch
https://habrahabr.ru/post/242741/
https://www.altlinux.org/Etcnet/openvswitch
http://vladimir-stupin.blogspot.com/2016/06/open-vswitch-debian.html
Проброс VLAN-ов через интернет openvpn OVSIntPort https://habrahabr.ru/post/239729/
Примеры создания vlan, bond, bridge, OVSIntPort - https://forum.pfsense.org/index.php?topic=139045.0, https://forum.proxmox.com/threads/vlan-tag.38051/

Использование OVS (Open vSwitch) в Proxmox (настоятельно рекомендуется)

Установка:
apt update && apt install openvswitch-switch ethtool

Переключение на ovs в gui :
1.  Delete the vmbr0 (Linux bridge) # линк с Proxmox не потеряется, не бойтесь
2.  Create vmbr0 as ovs-bridge with your IP/MASK/Gateway and Bridge ports [ethX] # вместо ethX - имя вашего физ. интерфейса
3.  Reboot Proxmox.

По https://blog.scottlowe.org/2012/10/04/some-insight-into-open-vswitch-configuration/ поясню немного :

Если хотите добавить сетевой интерфейс ВМ в определенный vlan , то в Gui в настройках сети ВМ просто укажите VLAN Tag. Это аналог untag\access порта на железном свитче. Задействовать назначенный выше vlan можно без перезагрузки ВМ, просто выкл\вкл сетевой интерфейс непосредственно в вирт. ОС.

Если хотите, чтобы ВМ находилась в опред. vlan и при этом могла "слушать" трафик из др. vlan-ов, то можно сделать так - https://forum.proxmox.com/threads/ovs-bridge-with-vlans.27280/
Аналог - создать еще один OVS IntPort в Gui. В настройках указать необходимые вам параметры для VLAN (и не только для VLAN). И прицепить созданный интерфейс к ВМ.
Но после создания OVS IntPort понадобится перезагрузить сеть\перезагрузить Proxmox!

Также можно объединять интерфейсы (bonding), настраивать балансировку\отказоустойчивость (LACP)  - https://blog.scottlowe.org/2012/10/19/link-aggregation-and-lacp-with-open-vswitch/

По ссылке Proxmox. Полное руководство. 2е изд есть глава, посвященная Ovs - http://onreader.mdl.ru/MasteringProxmox.2ed/content/Ch07.html

-
https://forum.proxmox.com/threads/proxmox-ve-on-debian-jessie-with-zfs-hetzner.33429/
2-ая страница крайне интересна.
Вкратце. Удаленная установка из iso, используя qemu и vnc. Причем таким образом можно устанавливать любой дистрибутив linux.

----
Pfsense

Virtualizing pfSense on Proxmox https://doc.pfsense.org/index.php/Virtualizing_pfSense_on_Proxmox
Virtualizing pfSense under Hyper-V https://doc.pfsense.org/index.php/Virtualizing_pfSense_under_Hyper-V
PfSense on VMware ESXi https://doc.pfsense.org/index.php/PfSense_on_VMware_vSphere_/_ESXi
HOW TO: 2.4.0 ZFS Install, RAM Disk, Hot Spare, Snapshot, Resilver Root Drive https://forum.pfsense.org/index.php?topic=126597.0

Нюансы работы pfsense в Proxmox:
Quote
I've got a fresh install of  2.3.3-RELEASE-p1 (amd64), running on ovirt (kvm). My guests (only have linux guests) could ping out, but no udp or tcp.

Just selecting the "Disable hardware checksum offload" and rebooting (though I didn't check without rebooting) the pfsense instance did the trick.

I didn't need to change anything on the ovirt/kvm hypervisor - the default offload settings are in place. All guests (pfsense and the linux ones) are using virtio network drivers.

---
MS Windows

Рекомендации для гостевых ОС семейства Microsoft Windows:
https://pve.proxmox.com/wiki/Windows_2008_guest_best_practices
https://pve.proxmox.com/wiki/Windows_2012_guest_best_practices
https://www.proxmox.com/en/training/video-tutorials/item/install-windows-2016-server-on-proxmox-ve

VMware OS Optimization Tool - оптимизация Windows в виртуальной среде (подойдет и для proxmox) https://codebeer.ru/optimizaciya-windows-v-virtualnoj-srede/
« Last Edit: Today at 07:11:20 am by werter »

Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1710
  • Karma: +216/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #1 on: September 15, 2017, 06:21:22 am »
Спасибо за популяризацию Proxmox.

Из мануала по вашим ссылкам:

Proxmox VE сам по себе свободен для применения. Не существует абсолютно никаких платежей включенных в загрузку простого образа ISO и установки полнофункционального кластера Proxmox без оплаты лицензий или подписок.

С официального сайта:

COMMUNITY

Starting out
5,83/month (per CPU)

Отказ от подписки с точки зрения разработчиков допустим?

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #2 on: September 15, 2017, 06:29:51 am »
Quote
Отказ от подписки с точки зрения разработчиков допустим?
Все строго добровольно. Хотите платную поддержку и сверх быструю реакцию на баги - платите. Нет? Пользуйте просто так.

P.s. Вот "увидивили". Был на 146% уверен, что уж вы-то, ув. pigbrother, точно KVM "тискали"  :'(

Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1710
  • Karma: +216/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #3 on: September 15, 2017, 06:55:30 am »
Первый тестовый виртуальный домен поднимал в далеком 2001 году на PIII (Vmware Workstation).  ;),
Winows NT DC, рабочие станции Windows NT и 98, выход в интернет через RRAS с диалапом...

Сейчас в продакшн используется ESXi - выбор руководства. Мы посовещались и оно решило  ;).
С KVM за довольно долгую карьеру столкнуться, как ни странно, так и не пришлось. Сейчас же хочу покрутить для собственного интереса.

Что порекомендуете - сразу  5.0 или  начать с 4.4?

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #4 on: September 15, 2017, 07:01:23 am »
5-ку, ес-но. После установки - сразу обновить.

Если в будущем в продакшн соберетесь, то использовать ZFS raid от 2-ух (raid1), а лучше - 4 диска (raid10). Zfs raid идет из коробки и в самом начале установки конфигурируется.
« Last Edit: September 28, 2017, 06:26:34 am by werter »

Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1710
  • Karma: +216/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #5 on: September 15, 2017, 07:09:55 am »
Proxmox поддерживает nested virtualization?  Хочу попробовать в ESXi.  Нет под рукой свободного полноценного железа.

UPD.

Можно, так же как и для остальных гипервизоров, запускаемых в ESXi.
https://imanudin.net/2015/03/04/how-to-install-proxmox-nested-on-vmware-esxi-full-support-openvz-kvm/

Все это исключительно для тестов, нормальной работы от такого мутанта никто не ждет.
« Last Edit: September 15, 2017, 09:20:47 am by pigbrother »

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #6 on: September 15, 2017, 09:58:28 am »
Nested virtualization (вложенная виртуализация, т.е. возможность запускать гипервизор в гипервизоре) на Proxmox:

https://pve.proxmox.com/wiki/Nested_Virtualization
https://medium.com/@alexander.bazhenov/установка-vmware-esxi-внутри-proxmox-d5778b5a97a1

« Last Edit: September 28, 2017, 06:30:56 am by werter »

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #7 on: September 27, 2017, 06:39:42 am »
Миграция с других гипервизоров (локально).

https://www.reddit.com/r/homelab/comments/625i4p/tutorial_convert_vulnhub_vms_for_proxmox/

Небольшой how-to.

Внимание! Формат raw - это т.н. "сырой" формат образов дисков. Перед дальнейшими операциями убедиться в наличие
свободного места.

Подключаемся по SFTP к Proxmox. В Win это можно сделать с пом. WinSCP или FAR.

Забрасываем образ(ы) диска(ов), к-ые мы хотим подкинуть к ВМ в предварительно созданную временную папку.

Прим. Если у вас ova-образ - сперва распаковываем
tar -xvf disk.ova

Конвертируем (на примере vmware .vmdk)
qemu-img convert -p -O raw disk.vmdk disk.raw

Смотрим размер получившегося
ls -ahl

Cоздаем через gui ВМ с диском(-ми) не меньшего размера. ВМ не запускать!

Смотрим что у нас получилось (у вас путь к образам дисков может быть другой)
ls -al /dev/zvol/rpool/data/

Разворачиваем образ диска в диск ВМ
dd if=/path/to/file/disk.raw of=/dev/zvol/ZFS-Pool-Name/vm-XYZ-disk-X
ZFS-Pool-Name и vm-XYZ-disk-X изменить на свои

После
qm rescan

Upd2.
Короткий вариант. Проверил - работает.
qemu-img convert -p -O raw disk.vmdk /dev/zvol/ZFS-Pool-Name/vm-XYZ-disk-X
ZFS-Pool-Name и vm-XYZ-disk-X изменить на свои
qm rescan

Запускаем ВМ. Проверяем.

Upd3.
Специально для тех, кто переходит с MS Hyper-V на Proxmox (KVM):

Подкидываем vhdx-образ по SFTP во временную папку на Proxmox.

Далее повторяем ранее описанное (т.е., создаем через gui ВМ с диском необх. размера, но не вкл. её! )

Команда для конвертации:
qemu-img convert -p -O raw disk.vhdx /dev/zvol/ZFS-Pool-Name/vm-XYZ-disk-X
ZFS-Pool-Name и vm-XYZ-disk-X изменить на свои
qm rescan

Запускаем ВМ. Проверяем.

Upd4.
И для догадливых (типа меня, ага  8))
Аналогично описанному выше (только наоборот  ;)) можно конвертировать zfs-диски Proxmox-а во все самые распространненные форматы:

Сперва выкл. ВМ, конечно.

VHD\VHDX (Hyper-V)
qemu-img convert -p -O vhdx /dev/zvol/ZFS-Pool-Name/vm-XYZ-disk-X /path/to/file/disk.vhdx
ZFS-Pool-Name , vm-XYZ-disk-X и /path/to/file/ изменить на свои

Остальные форматы https://docs.openstack.org/image-guide/convert-images.html

P.s. Также имеется возможность миграции\конвертирования по сети используя netcat, dd, pv, gzip\pigz\bzip2, ssh и
SystemRescueCD https://pve.proxmox.com/wiki/Migration_of_servers_to_Proxmox_VE


Так что, добро пожаловать в мир открытого ПО. Для тех кто еще не решился )
« Last Edit: September 28, 2017, 06:40:37 am by werter »

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #8 on: September 28, 2017, 03:41:47 am »
Мигрируем удаленно.

Предупреждение. Все ниже описанное вы делаете на свой страх и риск. Внимательно проверяйте какие диски копируете и куда принимаете. Крайне желательно иметь резервные копии данных.


И так. Как сказал один оч. известный и достойный Человек: "Поехали!"

Качаем на принимающей и отдающей сторонах SystemRescueCD (http://www.system-rescue-cd.org/).

Принимающая сторона:
На Proxmox создаем ВМ с размером диска как у отдающей стороны.
Загружаемся с SystemRescueCD в эту ВМ.
Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s

На отдающей стороне:
Загружаемся с SystemRescueCD.
Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s

Запускаем на принимающей стороне:
nc -w10 -vvnlp 19000 | pigz -5 -dfc | cat > /dev/disk-name, где :

-w10 - время ожидания данных в сек. на приним. стороне (меняется на ваше усмотрение).
19000 - номер порта, к-ый слушает netcat и принимает на него данные от отдающей стороны (меняется на ваше усмотрение)
pigz -5 - степень сжатия (меняется на ваше усмотрение)
disk-name - имя диска внутри ВМ (меняете на свое)

Считаем до трех и запускаем на отдающей стороне:
pv /dev/disk-name | pigz -5 -fc | nc -vvn remote-server-ip 19000, где:

disk-name - имя диска, к-ый вы хотите передать (узнается по fdisk -l)
pigz -5 - степень сжатия (меняется на ваше усмотрение)
remote-server-ip - ip-адрес\имя удаленного сервера-приемника
19000 - номер порта удаленного сервера-приемника

Всё. Скрещиваем пальцы, чтобы линк между отдающей и принимающей сторонами не упал и ждем окончания процесса.
После удачного окончания выкл. ВМ на принимающей стороне. Извлекаем в gui из вирт. привода SystemRescueCD и пробуем загрузиться.


Пример с SSH (кому необходима секьюрность):

Принимающая сторона:
Создаем ВМ с размером диска как у отдающей стороны.
Загружаемся с SystemRescueCD в эту ВМ.
Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s
Смотрим какие диски у нас есть - fdisk -l. Запоминаем\записываем имя нужного нам диска.
Более ничего на принимающей стороне делать\запускать не надо.

На отдающей стороне:
Загружаемся с SystemRescueCD.
Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s
Запускаем команду:
pv /dev/disk-name | pigz -5 -fc | ssh remote-server-ip "cat > /dev/disk-name", где :

disk-name - имя диска на принимающей стороне, к-ое мы внимательно выбрали и запомнили ранее
remote-server-ip - ip\имя примающей стороны

Ожидаем удачного окончания процесса передачи. После выкл. ВМ на принимающей стороне. Извлекаем в gui из вирт. привода SystemRescueCD и пробуем загрузиться.
« Last Edit: September 28, 2017, 06:47:09 am by werter »

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #9 on: October 15, 2017, 11:29:44 am »
Обновил шапку.

Offline derwin

  • Full Member
  • ***
  • Posts: 193
  • Karma: +17/-1
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #10 on: October 16, 2017, 01:17:10 am »
а кто расскажет, какое преимущество у zfs перед ufs ?
это какое странное достижение. Слижком уж не специфичное для фаервола.

Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1710
  • Karma: +216/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #11 on: October 16, 2017, 01:45:24 am »
а кто расскажет, какое преимущество у zfs перед ufs ?
это какое странное достижение. Слижком уж не специфичное для фаервола.
https://www.reddit.com/r/PFSENSE/comments/76cmjv/advantages_andor_disadvantages_zfs/

Применительно к pfSense на одном диске -
устойчивость к пропаданию питания, например. UFS крайне этого не любит
возможность работать со  снапшотами, как в VM.

Статья, которая, может быть, заинтересует ув. werter:
http://jrs-s.net/2016/05/09/testing-copies-equals-n-resiliency/

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #12 on: October 16, 2017, 06:23:03 am »
Доброе.
а кто расскажет, какое преимущество у zfs перед ufs ?
это какое странное достижение. Слижком уж не специфичное для фаервола.

В шапке есть картинки. Нагляднее некуда.

Offline derwin

  • Full Member
  • ***
  • Posts: 193
  • Karma: +17/-1
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #13 on: October 16, 2017, 06:33:05 am »
вы не поняли суть вопроса. Можно сравнивать жареную куропатку с боингом.
А зачем оно (ZFS) для фаервола?
чтобы логи хранить в отказоустойчивом пуле ?? смешно....
вот вам в топку http://2gusia.livejournal.com/7545.html

Offline werter

  • Hero Member
  • *****
  • Posts: 4930
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #14 on: October 16, 2017, 06:50:14 am »
Причем тут логи? Речь идет обо всей ОС в данном случае.

Пример? Легко.
Перед обновлением пф делаете снепшот (вот так http://linux.cpms.ru/?p=8931). Криво встало обновление ? Не работают пакеты, к-ые работали до обновления ? Что же делать? Звонить в Спортлото!
Да просто откатиться с пом. сделанного ранее снепшота  ::)

Вот от вас, ув. derwin, таких откровенно глупых вопросов я не ожидал.
« Last Edit: October 16, 2017, 06:56:59 am by werter »