The pfSense Store

Author Topic: Proxmox, Ceph, ZFS ссылки.  (Read 1600 times)

0 Members and 1 Guest are viewing this topic.

Offline derwin

  • Full Member
  • ***
  • Posts: 193
  • Karma: +17/-1
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #15 on: October 16, 2017, 07:14:07 am »
что то я не вижу гуя по управлению zfs,а значит всё равно звонить сергею брину.
у меня до 2,4 итак всё было на снапшотах на уровне vmware. Мне мозги пропарило обновление - сейчас откатился до 2,3,4 и нет проблем.

werter
фишка zfs это блочное управление и отказоусточивость за счёт проца + памяти. У меня в филиальных бордерах до недавнего времени вообще флешки стояли и я горя не знал! сдохла - вставь резервную...  спасибо 2,4 - теперь заказал SSD на 60гб.....
я себе в будущем году мож прикуплю сервак с полкой под 300-дисковый zfs пул. Но это NAS сервер, а не пакетный фаервол!!!!

PS: 2.4 меня вообще в тоску вгоняет.... мало того, что удалили radius2 из репо, дык ещё и с 2.3.4 запретили качать пакеты.... это какой то сплошной фейспалм.
« Last Edit: October 16, 2017, 07:21:12 am by derwin »

Offline oleg1969

  • Full Member
  • ***
  • Posts: 233
  • Karma: +39/-0
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #16 on: October 16, 2017, 07:21:04 am »
Пример? Легко.
Перед обновлением пф делаете снепшот (вот так http://linux.cpms.ru/?p=8931). Криво встало обновление ? Не работают пакеты, к-ые работали до обновления ? Что же делать? Звонить в Спортлото!
Да просто откатиться с пом. сделанного ранее снепшота  ::)

Учитывая что уже большая часть программных роутеров ,фаерволов итд устанавливаются на VM которые сами умеют делать снапшот и для них ZFS это лишнее

Даже на чистом железе при падении PF не важно отчего (накрылся hdd ,или кривого обновления) при наличии Бэкапа полная установка с заменой винта занимает не более 15 минут


Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1705
  • Karma: +214/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #17 on: October 16, 2017, 07:24:37 am »
что то я не вижу гуя по управлению zfs,

Гуй точно будет. Для снэпшотов он и не шибко нужен - сделал снэпшот в CLI\восстановил  снэпшот в CLI.
У меня как-то регулярно пропадало электричество, UFS при этом ведет себя крайне ненадежно. Не зря в 2.4 сделали для опции выключения - перезагрузить и запустить fsck.

Учитывая что уже большая часть программных роутеров ,фаерволов итд устанавливаются на VM


У такого решения полно как сторонников, так и противников. Я - не сторонник.
Имел случай проверить свою правоту.

И никто не заставляет ZFS использовать, более того - по умолчанию 2.4 ставится по прежнему на UFS.
« Last Edit: October 16, 2017, 07:29:43 am by pigbrother »

Offline derwin

  • Full Member
  • ***
  • Posts: 193
  • Karma: +17/-1
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #18 on: October 16, 2017, 07:33:58 am »
я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.

Offline werter

  • Hero Member
  • *****
  • Posts: 4919
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #19 on: October 17, 2017, 02:46:30 am »
я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.

Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.

Offline derwin

  • Full Member
  • ***
  • Posts: 193
  • Karma: +17/-1
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #20 on: October 17, 2017, 05:31:25 am »
я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.

Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.
я по первому высшему инженер-котельщик-атомщик  ;)
Работал по специальности, всё видел и делал

Offline werter

  • Hero Member
  • *****
  • Posts: 4919
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #21 on: October 23, 2017, 03:32:20 am »
Доброе всем.
С утра запустил обновление Proxmox. Прилетело масштабное (!) - ядро теперь 4.13 (наираспоследнее LTS) , zfs - 0.7.2.

Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1705
  • Karma: +214/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #22 on: October 23, 2017, 08:11:45 am »
Обновил тестовый PVE.
apt-get update and apt-get upgrade версии не изменили, хотя пакеты и скачались и установились.

apt-get dist-upgrade - сработало.



Offline werter

  • Hero Member
  • *****
  • Posts: 4919
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #23 on: October 24, 2017, 02:02:03 am »
Доброе.
Используйте apt <параметры>. Современные дебиан-подобные с ним корректнее пакетные зависимости разрешают.

P.s. Также следует обновить zfs - https://docs.oracle.com/cd/E19253-01/819-5461/gcikw/index.html
« Last Edit: October 24, 2017, 02:20:07 am by werter »

Offline ToXaNSK

  • Full Member
  • ***
  • Posts: 107
  • Karma: +0/-0
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #24 on: October 24, 2017, 04:55:59 am »
На что лучше устанавливать? SSD или HDD?
На что хватит ресурсов 8 Xeon/32 Гб?
Say what you mean, mean what you say. (Interstate 60)

Offline werter

  • Hero Member
  • *****
  • Posts: 4919
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #25 on: October 24, 2017, 05:13:26 am »
У меня - на 4-ех HDD 7200 rpm . При установке в самом начале (внизу) выбрал zfs raid 10 и свои 4 диска + lz4 сжатие явно указал.
Плюс, отдельно докинут SSD, к-ый разбит на 2 партиции - меньшая для l2arc cache, большая - как zfs для дисков вирт. машин.

Quote
На что хватит ресурсов 8 Xeon/32 Гб?
А кто ж его знает.

P.s. Разворачивание proxmox я бы рекомендовал начать с тестов в Virtualbox. Чтобы не залюбиться.

Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1705
  • Karma: +214/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #26 on: October 24, 2017, 07:23:37 am »
Правильно ли я понимаю, что аппаратных рейдов надо избегать? Они не нужны?

Offline werter

  • Hero Member
  • *****
  • Posts: 4919
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #27 on: October 24, 2017, 09:27:41 am »
Верно. Избегать как огня.

Quote
"ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity"

Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1705
  • Karma: +214/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #28 on: October 24, 2017, 12:16:56 pm »
Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

Т.е. в режим обычного SATA\SAS контроллера?

Offline werter

  • Hero Member
  • *****
  • Posts: 4919
  • Karma: +231/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #29 on: October 25, 2017, 02:43:25 am »
Доброе.
Quote
Т.е. в режим обычного SATA\SAS контроллера?
Что-то типа того.

Для LSI, напр., это наз-ся IT mode - https://b3n.org/freenas-9-3-on-vmware-esxi-6-0-guide/

Также можно попробовать собрать в настройках bios raid-контроллера raid0-массив из 1\каждого диска.
« Last Edit: October 25, 2017, 02:48:29 am by werter »