pfSense Forum

International Support => Russian => Topic started by: werter on September 09, 2017, 05:52:55 am

Title: Proxmox, Ceph, ZFS ссылки.
Post by: werter on September 09, 2017, 05:52:55 am
Доброе.

Тем, кого заинтересовал и заинтересует Proxmox, zfs, ceph.

Proxmox VE

Proxmox. Полное руководство. 2е изд. http://support.mdl.ru/MasteringProxmox.2ed/content/index.html
Книга рецептов Proxmox http://onreader.mdl.ru/ProxmoxCookbook/content/index.html
Полная виртуализация. Базовая коммерческая редакция: Proxmox-freeNAS-Zentyal-pfSense http://onreader.mdl.ru/VirtualizationComplete/content/index.html
https://nguvu.org/proxmox/proxmox-install/
https://pve.proxmox.com/pve-docs/
Configure the Proxmox firewall https://www.kiloroot.com/secure-proxmox-install-sudo-firewall-with-ipv6-and-more-how-to-configure-from-start-to-finish/
How To Create A NAS Using ZFS and Proxmox (with pictures) https://forum.level1techs.com/t/how-to-create-a-nas-using-zfs-and-proxmox-with-pictures/117375
Proxmox and let's encrypt with acme https://blog.chasefox.net/proxmox-lets-encrypt/
Virtualisierung (нем.) https://deepdoc.at/dokuwiki/doku.php?id=virtualisierung

Классная коллекция скриптов :
Post Install Script, Convert from LVM to ZFS, Create ZFS from devices, Creates default routes to allow for extra ip ranges to be used, Create Private mesh vpn/network using Tinc
https://github.com/extremeshok/xshok-proxmox

GPU passthrough tutorial https://forum.proxmox.com/threads/gpu-passthrough-tutorial-reference.34303/

Flashing firmware and BIOS on LSI SAS HBAs https://www.broadcom.com/support/knowledgebase/1211161501344/flashing-firmware-and-bios-on-lsi-sas-hbas
Flashing LSI HBA\IBM ServeRAID M1015 to IT mode or IR Mode https://geeksunlimitedinc.wordpress.com/2017/02/16/flashing-lsi-hba-to-it-mode-or-ir-mode/
-

SR-IOV

Прим. При условии, если ваши мат. платы + cpu + сетевые адаптеры поддерживают.
http://www.osp.ru/lan/2012/05/13015724/
http://blog.pichuang.com.tw/Enable-SR-IOV-on-Proxmox/
http://enricorossi.org/blog/2016/intel_sr-iov_on_Debian_Stretch/
https://forum.proxmox.com/threads/cannot-use-sr-iov-on-proxmox.27045/

Сетевые адаптеры с поддержкой SR-IOV:
http://dpdk.org/doc/nics
https://www.intel.com/content/www/us/en/support/articles/000005722/network-and-i-o/ethernet-products.html
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=io (в Features выбрать SR-IOV и нажать Update and view results )

P.s. Напр.,  Asrock AB350 Pro4 Socket AM4 при своей достачно скромной цене (в кач-ве мат. платы для сервера) умеет и amd_iommu и sr-iov - осталось только сетевую прикупить. Более того - совсем бюджетные Biostar A320MD PRO\A320MH PRO также умееют и amd_iommu и sr-iov!

---
ZFS (Zettabyte File System)
Мастерство FreeBSD: ZFS для профессионалов http://onreader.mdl.ru/AdvancedZFS/content/index.html
http://nas-faq.github.io/zfs/
Hardware recommendation ssd sata sas raid ashift 4k ecc memory http://open-zfs.org/wiki/Hardware
Performance tuning postgresql mysql logbias ashift ssd l2arc zil compression http://open-zfs.org/wiki/Performance_tuning
How to improve ZFS performance https://icesquare.com/wordpress/how-to-improve-zfs-performance/
"Write hole" phenomenon http://www.raid-recovery-guide.com/raid5-write-hole.aspx

SCT Error Recovery Control
Что такое на самом деле 'raid edition' для жёстких дисков https://geektimes.ru/post/92701/
Enabling CCTL/TLER https://b3n.org/best-hard-drives-for-zfs-server/
SCT Error Recovery Control in RAID drives https://rolandschnabel.de/blog/?p=75
Linux Software RAID and drive timeouts http://strugglers.net/~andy/blog/2015/11/09/linux-software-raid-and-drive-timeouts/
Т.е. если вы собираете zfs raid-z1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
если же собираетесь использовать zfs raid-0\1\10, то вкл. не нужно.


---
Ceph

Полное руководство Ceph http://onreader.mdl.ru/MasteringCeph/content/index.html
Книга рецептов Ceph http://onreader.mdl.ru/CephCookbook/content/index.html
P.s. Переводчикам - огромнейшее СПАСИБО за столь титанический труд.

---
Open vSwitch (OVS)

https://pve.proxmox.com/wiki/Open_vSwitch
https://habrahabr.ru/post/242741/
https://www.altlinux.org/Etcnet/openvswitch
http://vladimir-stupin.blogspot.com/2016/06/open-vswitch-debian.html
Проброс VLAN-ов через интернет openvpn OVSIntPort https://habrahabr.ru/post/239729/
Примеры создания vlan, bond, bridge, OVSIntPort https://forum.pfsense.org/index.php?topic=139045.0, https://forum.proxmox.com/threads/vlan-tag.38051/
OpenVswitch vlan trunk gre vxlan span rspan mirror lacp bonding https://gns3.com/news/article/containers-in-gns3-series-advanc

Использование OVS (Open vSwitch) в Proxmox (настоятельно рекомендуется)

Установка:
apt update && apt install openvswitch-switch ethtool

Переключение на ovs в gui :
1.  Delete the vmbr0 (Linux bridge) # линк с Proxmox не потеряется, не бойтесь
2.  Create vmbr0 as ovs-bridge with your IP/MASK/Gateway and Bridge ports [ethX] # вместо ethX - имя вашего физ. интерфейса
3.  Reboot Proxmox.

По https://blog.scottlowe.org/2012/10/04/some-insight-into-open-vswitch-configuration/ поясню немного :

Если хотите добавить сетевой интерфейс ВМ в определенный vlan , то в Gui в настройках сети ВМ просто укажите VLAN Tag. Это аналог untag\access порта на железном свитче. Задействовать назначенный выше vlan можно без перезагрузки ВМ, просто выкл\вкл сетевой интерфейс непосредственно в вирт. ОС.

Если хотите, чтобы ВМ находилась в опред. vlan и при этом могла "слушать" трафик из др. vlan-ов, то можно сделать так - https://forum.proxmox.com/threads/ovs-bridge-with-vlans.27280/
Аналог - создать еще один OVS IntPort в Gui. В настройках указать необходимые вам параметры для VLAN (и не только для VLAN). И прицепить созданный интерфейс к ВМ.
Но после создания OVS IntPort понадобится перезагрузить сеть\перезагрузить Proxmox!

Также можно объединять интерфейсы (bonding), настраивать балансировку\отказоустойчивость (LACP)  - https://blog.scottlowe.org/2012/10/19/link-aggregation-and-lacp-with-open-vswitch/

По ссылке Proxmox. Полное руководство. 2е изд есть глава, посвященная Ovs - http://onreader.mdl.ru/MasteringProxmox.2ed/content/Ch07.html

-
https://forum.proxmox.com/threads/proxmox-ve-on-debian-jessie-with-zfs-hetzner.33429/
2-ая страница крайне интересна.
Вкратце. Удаленная установка из iso, используя qemu и vnc. Причем таким образом можно устанавливать любой дистрибутив linux.

----
Pfsense

Virtualizing pfSense on Proxmox https://doc.pfsense.org/index.php/Virtualizing_pfSense_on_Proxmox
Virtualizing pfSense under Hyper-V https://doc.pfsense.org/index.php/Virtualizing_pfSense_under_Hyper-V
PfSense on VMware ESXi https://doc.pfsense.org/index.php/PfSense_on_VMware_vSphere_/_ESXi
HOW TO: 2.4.0 ZFS Install, RAM Disk, Hot Spare, Snapshot, Resilver Root Drive https://forum.pfsense.org/index.php?topic=126597.0

Нюансы работы pfsense в Proxmox:
Quote
I've got a fresh install of  2.3.3-RELEASE-p1 (amd64), running on ovirt (kvm). My guests (only have linux guests) could ping out, but no udp or tcp.

Just selecting the "Disable hardware checksum offload" and rebooting (though I didn't check without rebooting) the pfsense instance did the trick.

I didn't need to change anything on the ovirt/kvm hypervisor - the default offload settings are in place. All guests (pfsense and the linux ones) are using virtio network drivers.

---
MS Windows

Рекомендации для гостевых ОС семейства Microsoft Windows:
https://pve.proxmox.com/wiki/Windows_2008_guest_best_practices
https://pve.proxmox.com/wiki/Windows_2012_guest_best_practices
https://www.proxmox.com/en/training/video-tutorials/item/install-windows-2016-server-on-proxmox-ve

VMware OS Optimization Tool - оптимизация Windows в виртуальной среде (подойдет и для proxmox) https://codebeer.ru/optimizaciya-windows-v-virtualnoj-srede/
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on September 15, 2017, 06:21:22 am
Спасибо за популяризацию Proxmox.

Из мануала по вашим ссылкам:

Proxmox VE сам по себе свободен для применения. Не существует абсолютно никаких платежей включенных в загрузку простого образа ISO и установки полнофункционального кластера Proxmox без оплаты лицензий или подписок.

С официального сайта:

COMMUNITY

Starting out
€ 5,83/month (per CPU)

Отказ от подписки с точки зрения разработчиков допустим?
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on September 15, 2017, 06:29:51 am
Quote
Отказ от подписки с точки зрения разработчиков допустим?
Все строго добровольно. Хотите платную поддержку и сверх быструю реакцию на баги - платите. Нет? Пользуйте просто так.

P.s. Вот "увидивили". Был на 146% уверен, что уж вы-то, ув. pigbrother, точно KVM "тискали"  :'(
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on September 15, 2017, 06:55:30 am
Первый тестовый виртуальный домен поднимал в далеком 2001 году на PIII (Vmware Workstation).  ;),
Winows NT DC, рабочие станции Windows NT и 98, выход в интернет через RRAS с диалапом...

Сейчас в продакшн используется ESXi - выбор руководства. Мы посовещались и оно решило  ;).
С KVM за довольно долгую карьеру столкнуться, как ни странно, так и не пришлось. Сейчас же хочу покрутить для собственного интереса.

Что порекомендуете - сразу  5.0 или  начать с 4.4?
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on September 15, 2017, 07:01:23 am
5-ку, ес-но. После установки - сразу обновить.

Если в будущем в продакшн соберетесь, то использовать ZFS raid от 2-ух (raid1), а лучше - 4 диска (raid10). Zfs raid идет из коробки и в самом начале установки конфигурируется.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on September 15, 2017, 07:09:55 am
Proxmox поддерживает nested virtualization?  Хочу попробовать в ESXi.  Нет под рукой свободного полноценного железа.

UPD.

Можно, так же как и для остальных гипервизоров, запускаемых в ESXi.
https://imanudin.net/2015/03/04/how-to-install-proxmox-nested-on-vmware-esxi-full-support-openvz-kvm/

Все это исключительно для тестов, нормальной работы от такого мутанта никто не ждет.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on September 15, 2017, 09:58:28 am
Nested virtualization (вложенная виртуализация, т.е. возможность запускать гипервизор в гипервизоре) на Proxmox:

https://pve.proxmox.com/wiki/Nested_Virtualization
https://medium.com/@alexander.bazhenov/установка-vmware-esxi-внутри-proxmox-d5778b5a97a1

Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on September 27, 2017, 06:39:42 am
Миграция с других гипервизоров (локально).

https://www.reddit.com/r/homelab/comments/625i4p/tutorial_convert_vulnhub_vms_for_proxmox/

Небольшой how-to.

Внимание! Формат raw - это т.н. "сырой" формат образов дисков. Перед дальнейшими операциями убедиться в наличие
свободного места.

Подключаемся по SFTP к Proxmox. В Win это можно сделать с пом. WinSCP или FAR.

Забрасываем образ(ы) диска(ов), к-ые мы хотим подкинуть к ВМ в предварительно созданную временную папку.

Прим. Если у вас ova-образ - сперва распаковываем
tar -xvf disk.ova

Конвертируем (на примере vmware .vmdk)
qemu-img convert -p -O raw disk.vmdk disk.raw

Смотрим размер получившегося
ls -ahl

Cоздаем через gui ВМ с диском(-ми) не меньшего размера. ВМ не запускать!

Смотрим что у нас получилось (у вас путь к образам дисков может быть другой)
ls -al /dev/zvol/rpool/data/

Разворачиваем образ диска в диск ВМ
dd if=/path/to/file/disk.raw of=/dev/zvol/ZFS-Pool-Name/vm-XYZ-disk-X
ZFS-Pool-Name и vm-XYZ-disk-X изменить на свои

После
qm rescan

Upd2.
Короткий вариант. Проверил - работает.
qemu-img convert -p -O raw disk.vmdk /dev/zvol/ZFS-Pool-Name/vm-XYZ-disk-X
ZFS-Pool-Name и vm-XYZ-disk-X изменить на свои
qm rescan

Запускаем ВМ. Проверяем.

Upd3.
Специально для тех, кто переходит с MS Hyper-V на Proxmox (KVM):

Подкидываем vhdx-образ по SFTP во временную папку на Proxmox.

Далее повторяем ранее описанное (т.е., создаем через gui ВМ с диском необх. размера, но не вкл. её! )

Команда для конвертации:
qemu-img convert -p -O raw disk.vhdx /dev/zvol/ZFS-Pool-Name/vm-XYZ-disk-X
ZFS-Pool-Name и vm-XYZ-disk-X изменить на свои
qm rescan

Запускаем ВМ. Проверяем.

Upd4.
И для догадливых (типа меня, ага  8))
Аналогично описанному выше (только наоборот  ;)) можно конвертировать zfs-диски Proxmox-а во все самые распространненные форматы:

Сперва выкл. ВМ, конечно.

VHD\VHDX (Hyper-V)
qemu-img convert -p -O vhdx /dev/zvol/ZFS-Pool-Name/vm-XYZ-disk-X /path/to/file/disk.vhdx
ZFS-Pool-Name , vm-XYZ-disk-X и /path/to/file/ изменить на свои

Остальные форматы https://docs.openstack.org/image-guide/convert-images.html

P.s. Также имеется возможность миграции\конвертирования по сети используя netcat, dd, pv, gzip\pigz\bzip2, ssh и
SystemRescueCD https://pve.proxmox.com/wiki/Migration_of_servers_to_Proxmox_VE


Так что, добро пожаловать в мир открытого ПО. Для тех кто еще не решился )
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on September 28, 2017, 03:41:47 am
Мигрируем удаленно.

Прим. Примеры использования pv - http://linux-notes.org/utilita-pv-progress-bar-dlya-konsol-ny-h-utilit-v-unix-linux/

Предупреждение. Все ниже описанное вы делаете на свой страх и риск. Внимательно проверяйте какие диски копируете и куда принимаете. Крайне желательно иметь резервные копии данных.


И так. Как сказал один оч. известный и достойный Человек: "Поехали!"

Качаем на принимающей и отдающей сторонах SystemRescueCD (http://www.system-rescue-cd.org/).

Принимающая сторона:
На Proxmox создаем ВМ с размером диска как у отдающей стороны.
Загружаемся с SystemRescueCD в эту ВМ.
Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s

На отдающей стороне:
Загружаемся с SystemRescueCD.
Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s

Запускаем на принимающей стороне:
nc -w10 -vvnlp 19000 | pigz -5 -dfc | cat > /dev/disk-name, где :

-w10 - время ожидания данных в сек. на приним. стороне (меняется на ваше усмотрение).
19000 - номер порта, к-ый слушает netcat и принимает на него данные от отдающей стороны (меняется на ваше усмотрение)
pigz -5 - степень сжатия (меняется на ваше усмотрение)
disk-name - имя диска внутри ВМ (меняете на свое)

Считаем до трех и запускаем на отдающей стороне:
pv /dev/disk-name | pigz -5 -fc | nc -vvn remote-server-ip 19000, где:

disk-name - имя диска, к-ый вы хотите передать (узнается по fdisk -l)
pigz -5 - степень сжатия (меняется на ваше усмотрение)
remote-server-ip - ip-адрес\имя удаленного сервера-приемника
19000 - номер порта удаленного сервера-приемника

Всё. Скрещиваем пальцы, чтобы линк между отдающей и принимающей сторонами не упал и ждем окончания процесса.
После удачного окончания выкл. ВМ на принимающей стороне. Извлекаем в gui из вирт. привода SystemRescueCD и пробуем загрузиться.


Пример с SSH (кому необходима секьюрность):

Принимающая сторона:
Создаем ВМ с размером диска как у отдающей стороны.
Загружаемся с SystemRescueCD в эту ВМ.
Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s
Смотрим какие диски у нас есть - fdisk -l. Запоминаем\записываем имя нужного нам диска.
Более ничего на принимающей стороне делать\запускать не надо.

На отдающей стороне:
Загружаемся с SystemRescueCD.
Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s
Запускаем команду:
pv /dev/disk-name | pigz -5 -fc | ssh remote-server-ip "cat > /dev/disk-name", где :

disk-name - имя диска на принимающей стороне, к-ое мы внимательно выбрали и запомнили ранее
remote-server-ip - ip\имя примающей стороны

Ожидаем удачного окончания процесса передачи. После выкл. ВМ на принимающей стороне. Извлекаем в gui из вирт. привода SystemRescueCD и пробуем загрузиться.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 15, 2017, 11:29:44 am
Обновил шапку.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: derwin on October 16, 2017, 01:17:10 am
а кто расскажет, какое преимущество у zfs перед ufs ?
это какое странное достижение. Слижком уж не специфичное для фаервола.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on October 16, 2017, 01:45:24 am
а кто расскажет, какое преимущество у zfs перед ufs ?
это какое странное достижение. Слижком уж не специфичное для фаервола.
https://www.reddit.com/r/PFSENSE/comments/76cmjv/advantages_andor_disadvantages_zfs/

Применительно к pfSense на одном диске -
устойчивость к пропаданию питания, например. UFS крайне этого не любит
возможность работать со  снапшотами, как в VM.

Статья, которая, может быть, заинтересует ув. werter:
http://jrs-s.net/2016/05/09/testing-copies-equals-n-resiliency/
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 16, 2017, 06:23:03 am
Доброе.
а кто расскажет, какое преимущество у zfs перед ufs ?
это какое странное достижение. Слижком уж не специфичное для фаервола.

В шапке есть картинки. Нагляднее некуда.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: derwin on October 16, 2017, 06:33:05 am
вы не поняли суть вопроса. Можно сравнивать жареную куропатку с боингом.
А зачем оно (ZFS) для фаервола?
чтобы логи хранить в отказоустойчивом пуле ?? смешно....
вот вам в топку http://2gusia.livejournal.com/7545.html
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 16, 2017, 06:50:14 am
Причем тут логи? Речь идет обо всей ОС в данном случае.

Пример? Легко.
Перед обновлением пф делаете снепшот (вот так http://linux.cpms.ru/?p=8931). Криво встало обновление ? Не работают пакеты, к-ые работали до обновления ? Что же делать? Звонить в Спортлото!
Да просто откатиться с пом. сделанного ранее снепшота  ::)

Вот от вас, ув. derwin, таких откровенно глупых вопросов я не ожидал.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: derwin on October 16, 2017, 07:14:07 am
что то я не вижу гуя по управлению zfs,а значит всё равно звонить сергею брину.
у меня до 2,4 итак всё было на снапшотах на уровне vmware. Мне мозги пропарило обновление - сейчас откатился до 2,3,4 и нет проблем.

werter
фишка zfs это блочное управление и отказоусточивость за счёт проца + памяти. У меня в филиальных бордерах до недавнего времени вообще флешки стояли и я горя не знал! сдохла - вставь резервную...  спасибо 2,4 - теперь заказал SSD на 60гб.....
я себе в будущем году мож прикуплю сервак с полкой под 300-дисковый zfs пул. Но это NAS сервер, а не пакетный фаервол!!!!

PS: 2.4 меня вообще в тоску вгоняет.... мало того, что удалили radius2 из репо, дык ещё и с 2.3.4 запретили качать пакеты.... это какой то сплошной фейспалм.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: oleg1969 on October 16, 2017, 07:21:04 am
Пример? Легко.
Перед обновлением пф делаете снепшот (вот так http://linux.cpms.ru/?p=8931). Криво встало обновление ? Не работают пакеты, к-ые работали до обновления ? Что же делать? Звонить в Спортлото!
Да просто откатиться с пом. сделанного ранее снепшота  ::)

Учитывая что уже большая часть программных роутеров ,фаерволов итд устанавливаются на VM которые сами умеют делать снапшот и для них ZFS это лишнее

Даже на чистом железе при падении PF не важно отчего (накрылся hdd ,или кривого обновления) при наличии Бэкапа полная установка с заменой винта занимает не более 15 минут

Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on October 16, 2017, 07:24:37 am
что то я не вижу гуя по управлению zfs,

Гуй точно будет. Для снэпшотов он и не шибко нужен - сделал снэпшот в CLI\восстановил  снэпшот в CLI.
У меня как-то регулярно пропадало электричество, UFS при этом ведет себя крайне ненадежно. Не зря в 2.4 сделали для опции выключения - перезагрузить и запустить fsck.

Учитывая что уже большая часть программных роутеров ,фаерволов итд устанавливаются на VM


У такого решения полно как сторонников, так и противников. Я - не сторонник.
Имел случай проверить свою правоту.

И никто не заставляет ZFS использовать, более того - по умолчанию 2.4 ставится по прежнему на UFS.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: derwin on October 16, 2017, 07:33:58 am
я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 17, 2017, 02:46:30 am
я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.

Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: derwin on October 17, 2017, 05:31:25 am
я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.

Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.
я по первому высшему инженер-котельщик-атомщик  ;)
Работал по специальности, всё видел и делал
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 23, 2017, 03:32:20 am
Доброе всем.
С утра запустил обновление Proxmox. Прилетело масштабное (!) - ядро теперь 4.13 (наираспоследнее LTS) , zfs - 0.7.2.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on October 23, 2017, 08:11:45 am
Обновил тестовый PVE.
apt-get update and apt-get upgrade версии не изменили, хотя пакеты и скачались и установились.

apt-get dist-upgrade - сработало.


Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 24, 2017, 02:02:03 am
Доброе.
Используйте apt <параметры>. Современные дебиан-подобные с ним корректнее пакетные зависимости разрешают.

P.s. Также следует обновить zfs - https://docs.oracle.com/cd/E19253-01/819-5461/gcikw/index.html
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: ToXaNSK on October 24, 2017, 04:55:59 am
На что лучше устанавливать? SSD или HDD?
На что хватит ресурсов 8 Xeon/32 Гб?
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 24, 2017, 05:13:26 am
У меня - на 4-ех HDD 7200 rpm . При установке в самом начале (внизу) выбрал zfs raid 10 и свои 4 диска + lz4 сжатие явно указал.
Плюс, отдельно докинут SSD, к-ый разбит на 2 партиции - меньшая для l2arc cache, большая - как zfs для дисков вирт. машин.

Quote
На что хватит ресурсов 8 Xeon/32 Гб?
А кто ж его знает.

P.s. Разворачивание proxmox я бы рекомендовал начать с тестов в Virtualbox. Чтобы не залюбиться.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on October 24, 2017, 07:23:37 am
Правильно ли я понимаю, что аппаратных рейдов надо избегать? Они не нужны?
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 24, 2017, 09:27:41 am
Верно. Избегать как огня.

Quote
"ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity"

Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on October 24, 2017, 12:16:56 pm
Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

Т.е. в режим обычного SATA\SAS контроллера?
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 25, 2017, 02:43:25 am
Доброе.
Quote
Т.е. в режим обычного SATA\SAS контроллера?
Что-то типа того.

Для LSI, напр., это наз-ся IT mode - https://b3n.org/freenas-9-3-on-vmware-esxi-6-0-guide/

Также можно попробовать собрать в настройках bios raid-контроллера raid0-массив из 1\каждого диска.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: pigbrother on October 25, 2017, 08:56:21 am
Интересный мануал, спасибо.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on October 29, 2017, 11:55:44 am
Добавил инф-цию по SCT Error Recovery Control.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on November 11, 2017, 07:03:09 am
Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: derwin on November 12, 2017, 06:45:33 pm
Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort
вот если бы ко мне пришёл сотрудник и сказал "я прокинул VLAN через OpenVPN" - я бы его уволил. Чесслово. Это как копать огород клавиатурой. Чисто сисадминский подход. Хотя бытовая задача для нетворк инженера.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on November 13, 2017, 01:43:48 am
Доброго.
Попробуйте объяснить большинству работодателей, что есть Системный адм-р, есть Системный инженер, есть Сетевой инженер . Это как минимум, потому как еще и Программистов не берем во внимание.
И все это - разные люди, а не один. И ЗП им надо платить по отдельности.
 
Quote
Хотя бытовая задача для нетворк инженера.
Современные "одмины" хорошо, чтобы вообще объяснить могли, что такое VLAN и для чего оно надо. Тут не до жиру, коллега.
В современных реалиях зачастую вот https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on November 21, 2017, 07:07:11 am
Добавил ссылки по разворачиванию пф в различн. вирт. средах.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: T-Virus on November 26, 2017, 05:55:57 pm
Доброго времени суток!

Попробовал поставить proxmox ve 5.1 и сразу уперся в проблему - не работает kvm.

Code: [Select]
root@pve:~# kvm
Could not access KVM kernel module: No such file or directory
failed to initialize KVM: No such file or directory

Система ibm x3550 7978K1Y
2x CPU intel xeon 5140
Чипсет intel 5000x
16gb ram
bios последний 1.17

Code: [Select]
root@pve:~# uname -a
Linux pve 4.13.4-1-pve #1 SMP PVE 4.13.4-25 (Fri, 13 Oct 2017 08:59:53 +0200) x86_64 GNU/Linux

Code: [Select]
CPU Options

Active Energy Manager 'Capping Enabled'
Processor Perfofmance States 'Enabled'
System Cache Type 'Write Back'
Snoop Filter 'Enabled'
Execute Disable Bit 'Enabled'
Enhanced C1 Power State 'Enabled'
Intel Virtualization Technology 'Enabled'
Processor Hardware Prefetcher 'Enabled'
Processor Adjacent Sector Prefetch 'Auto-configure'

Уже при установке proxmox вижу ошибки:
Code: [Select]
modprobe: ERROR: could not insert 'kvm_intel': Input/output error
modprobe: ERROR: could not insert 'intel_powerclamp': No such device

и при старте ВМ (windows xp, kvm32):
Code: [Select]
Could not access KVM kernel module: No such file or directory
failed to initialize KVM: No such file or directory
TASK ERROR: start failed: command '/usr/bin/kvm -id 100.....

На FreeBSD kvm работал с этой системой. Что я делаю не так?
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on November 27, 2017, 02:18:34 am
Доброго.

https://bobcares.com/blog/how-to-fix-error-could-not-access-kvm-kernel-module/

1. Покажите вывод lscpu
2. Вывод lsmod | grep kvm
3. Поправьте репозитории https://pve.proxmox.com/wiki/Package_Repositories:
- откл. Proxmox VE Enterprise Repository - mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak

- в /etc/apt/sources.list у вас должно быть только :

Code: [Select]
deb http://ftp.ru.debian.org/debian stretch main contrib

# PVE pve-no-subscription repository provided by proxmox.com,
# NOT recommended for production use
deb http://download.proxmox.com/debian/pve stretch pve-no-subscription

# security updates
deb http://security.debian.org stretch/updates main contrib

4. Делаете sudo apt update && sudo apt upgrade

5. После обновления выкл. сервер (не перезагружаете, а именно выкл.). Выдергиваете кабель питания из его БП. И пускай он постоит минут 10.

6. Вкл. сервер. Проверяете снова.

P.s. Есть сомнения работоспособности "полноценной" вирт-ции на вашем cpu (https://ark.intel.com/ru/products/27217/Intel-Xeon-Processor-5140-4M-Cache-2_33-GHz-1333-MHz-FSB), т.к. он не умеет Intel® VT-x с таблицами Extended Page Tables (EPT) . Но вот тут (https://social.technet.microsoft.com/Forums/ru-RU/e743ef99-1034-42b6-b5d2-3268413ec109/-hyperv-bios-?) говорят, что "Серверный гипервизор не требует поддержки SLAT (EPT в терминологии Intel), так что поддержка виртуализации у этого процессора есть. Попробуйте обесточить сервер полностью."
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: T-Virus on November 27, 2017, 03:39:37 am
Поправил репы, обновил, выключил, обесточил, подождал, включил - результат отрицательный.

Code: [Select]
root@pve:~# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                4
On-line CPU(s) list:   0-3
Thread(s) per core:    1
Core(s) per socket:    2
Socket(s):             2
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 15
Model name:            Intel(R) Xeon(R) CPU            5140  @ 2.33GHz
Stepping:              6
CPU MHz:               2327.410
CPU max MHz:           2324.0000
CPU min MHz:           1992.0000
BogoMIPS:              4654.82
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              4096K
NUMA node0 CPU(s):     0-3
Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good nopl cpuid aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca lahf_lm tpr_shadow dtherm

Code: [Select]
root@pve:~# lsmod | grep kvm
kvm                   581632  0
irqbypass              16384  1 kvm

Повторюсь - под freebsd и ubuntu server kvm работает на этой системе и пишет следующее:
Code: [Select]
INFO: /dev/kvm exists
KVM acceleration can be used
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on November 27, 2017, 04:51:16 am
Code: [Select]
root@pve:~# lsmod | grep kvm
kvm                   581632  0
irqbypass              16384  1 kvm

У меня lsmod | grep kvm :

root@pve:~# lsmod | grep kvm
kvm_amd              2179072  34
kvm                   581632  1 kvm_amd
irqbypass              16384  24 kvm

Разницу увидели ? У вас там где kvm должно быть kvm xxxxxx 1 kvm_intel
Покажите dmesg | grep kvm и modinfo kvm_intel
И попробуйте руками sudo modprobe kvm-intel
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: T-Virus on November 27, 2017, 08:29:21 am
Разницу вижу.

dmesg | grep kvm - пусто

Code: [Select]
root@pve:~# modinfo kvm_intel
filename:       /lib/modules/4.13.4-1-pve/kernel/arch/x86/kvm/kvm-intel.ko
license:        GPL
author:         Qumranet
srcversion:     7CEE7EE092D65CA2BC3BD89
alias:          cpu:type:x86,ven*fam*mod*:feature:*0085*
depends:        kvm
intree:         Y
name:           kvm_intel
vermagic:       4.13.4-1-pve SMP mod_unload modversions
parm:           vpid:bool
parm:           flexpriority:bool
parm:           ept:bool
parm:           unrestricted_guest:bool
parm:           eptad:bool
parm:           emulate_invalid_guest_state:bool
parm:           fasteoi:bool
parm:           enable_apicv:bool
parm:           enable_shadow_vmcs:bool
parm:           nested:bool
parm:           pml:bool
parm:           preemption_timer:bool
parm:           ple_gap:int
parm:           ple_window:int
parm:           ple_window_grow:int
parm:           ple_window_shrink:int
parm:           ple_window_max:int

Code: [Select]
root@pve:~# modprobe kvm-intel
modprobe: ERROR: could not insert 'kvm_intel': Input/output error

p.s. сейчас ради эксперимента поставил  ubuntu на другой диск:

Code: [Select]
user@u16:~$ uname -a
Linux u16 4.4.0-87-generic #110-Ubuntu SMP Tue Jul 18 12:55:35 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

user@u16:~$ kvm-ok
INFO: /dev/kvm exists
KVM acceleration can be used

user@u16:~$ lsmod | grep kvm
kvm_intel             172032  0
kvm                   544768  1 kvm_intel
irqbypass              16384  1 kvm

bios не трогал.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on November 28, 2017, 10:49:57 am
Доброго.
Попробуйте руками https://forum.proxmox.com/threads/kvm-modules-not-loading-at-boot.29984/ и перезагрузиться.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: T-Virus on November 29, 2017, 03:16:05 am
В той теме модуль изначально получалось загрузить командой modprobe kvm_intel. У меня же выдает ошибку на этом этапе.
Я добавил kvm_intel в /etc/modules и обновил груб.
Поменялось лишь то, что в вывод при загрузке добавилось
Code: [Select]
[FAILED] Failed to start kernel module
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on November 29, 2017, 07:06:52 am
Попробуйте снова обновить proxmox - сегодня ядро новое вышло. И перезагрузиться.
Если снова не получится - вот тут есть тестовое https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/

Видимо это баг :( Может в 4.14 пофиксят.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: T-Virus on November 29, 2017, 11:12:23 am
Поставил ядро из темы - kvm работает, правда ругается:

Code: [Select]
root@pve:~# kvm
Could not initialize SDL(No available video device) - exiting

Но винда работает и usb проброс тоже.
С Open vSwitch разобрался на ubuntu, оч понравилось. Думаю на proxmox тоже будет не хуже.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on November 30, 2017, 01:21:35 am
Доброго.
Супер.

Quote
Думаю на proxmox тоже будет не хуже.
Вы себе не представляете насколько они близкие родственники  ::)

P.s. И вы - молодчина, что не бросили затею, столкнувшись с трудностями. Таким :'( людям есть желание помогать.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on December 05, 2017, 06:31:28 am
Доброго.

Пофиксили проблему со старыми платформами - https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/page-2

Quote
new kernel is available on pvetest (pve-kernel-4.13.8-3-pve with version 4.13.8-29):
cherry-pick KVM fix for old CPUs
cherry-pick / backport IB fixes
cherry-pick vhost perf regression and mem-leak fix
cherry-pick final Windows BSOD fix
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on December 07, 2017, 06:57:47 am
Доброго.
Добавил ссылку на коллекцию интересных скриптов.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on December 08, 2017, 09:29:09 am
Добавил про SR-IOV
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: Scodezan on December 11, 2017, 07:22:25 am
Вопрос чуть в сторону, прошу совета ERC / TLER на программном рейде включать или выключать?
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on December 12, 2017, 01:25:46 am
Доброго.
Если вы собираете zfs raidz-1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
если же собираетесь использовать zfs raid 0\1\10, то вкл. не нужно.

Upd. Добавил ссылку про проброс GPU в ВМ.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: Scodezan on December 12, 2017, 07:42:59 am
Задался таким вопросом, так как у меня  zfs raid 1 винты  ERC / TLER не поддерживают.
Один из винтов сыплется. Система вешается при обращении к битым участкам винта.

Соответственно вопрос, можно ли было как-то сделать чтоб сервер не зависал?
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on December 13, 2017, 06:59:40 am
Доброго.
Отвечу. Не любить себе причинные места - заменить hdd.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: Scodezan on December 13, 2017, 08:02:33 am
Спасибо)) Это я сейчас знаю, что винт деградирует. А раньше я только мог только догадываться о причинах зависания. Сейчас я знаю, что винт пытался выжить о чём писал в таблицу SMART и больше никуда. Динамику SMART я не мониторил. Scrub не запускал. Впрочем, последний здесь не сильно помогает.

Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on December 14, 2017, 01:19:36 am
Доброго.
СМАРТ для этого же и предназначен изначально. Если он сообщает о проблемах - все, нужно менять.
Title: Re: Proxmox, Ceph, ZFS ссылки.
Post by: werter on December 31, 2017, 04:59:34 am
Доброго.
Добавил примеры использования pv для удаленной миграции на Proxmox VE.