pfSense Support Subscription

Author Topic: Proxmox, Ceph, ZFS ссылки.  (Read 1722 times)

0 Members and 1 Guest are viewing this topic.

Offline pigbrother

  • Hero Member
  • *****
  • Posts: 1711
  • Karma: +216/-2
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #30 on: October 25, 2017, 08:56:21 am »
Интересный мануал, спасибо.

Offline werter

  • Hero Member
  • *****
  • Posts: 4934
  • Karma: +234/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #31 on: October 29, 2017, 11:55:44 am »
Добавил инф-цию по SCT Error Recovery Control.

Offline werter

  • Hero Member
  • *****
  • Posts: 4934
  • Karma: +234/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #32 on: November 11, 2017, 07:03:09 am »
Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort

Offline derwin

  • Full Member
  • ***
  • Posts: 193
  • Karma: +17/-1
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #33 on: November 12, 2017, 06:45:33 pm »
Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort
вот если бы ко мне пришёл сотрудник и сказал "я прокинул VLAN через OpenVPN" - я бы его уволил. Чесслово. Это как копать огород клавиатурой. Чисто сисадминский подход. Хотя бытовая задача для нетворк инженера.

Offline werter

  • Hero Member
  • *****
  • Posts: 4934
  • Karma: +234/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #34 on: November 13, 2017, 01:43:48 am »
Доброго.
Попробуйте объяснить большинству работодателей, что есть Системный адм-р, есть Системный инженер, есть Сетевой инженер . Это как минимум, потому как еще и Программистов не берем во внимание.
И все это - разные люди, а не один. И ЗП им надо платить по отдельности.
 
Quote
Хотя бытовая задача для нетворк инженера.
Современные "одмины" хорошо, чтобы вообще объяснить могли, что такое VLAN и для чего оно надо. Тут не до жиру, коллега.
В современных реалиях зачастую вот https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера

Offline werter

  • Hero Member
  • *****
  • Posts: 4934
  • Karma: +234/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #35 on: November 21, 2017, 07:07:11 am »
Добавил ссылки по разворачиванию пф в различн. вирт. средах.

Offline T-Virus

  • Newbie
  • *
  • Posts: 13
  • Karma: +0/-0
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #36 on: November 26, 2017, 05:55:57 pm »
Доброго времени суток!

Попробовал поставить proxmox ve 5.1 и сразу уперся в проблему - не работает kvm.

Code: [Select]
root@pve:~# kvm
Could not access KVM kernel module: No such file or directory
failed to initialize KVM: No such file or directory

Система ibm x3550 7978K1Y
2x CPU intel xeon 5140
Чипсет intel 5000x
16gb ram
bios последний 1.17

Code: [Select]
root@pve:~# uname -a
Linux pve 4.13.4-1-pve #1 SMP PVE 4.13.4-25 (Fri, 13 Oct 2017 08:59:53 +0200) x86_64 GNU/Linux

Code: [Select]
CPU Options

Active Energy Manager 'Capping Enabled'
Processor Perfofmance States 'Enabled'
System Cache Type 'Write Back'
Snoop Filter 'Enabled'
Execute Disable Bit 'Enabled'
Enhanced C1 Power State 'Enabled'
Intel Virtualization Technology 'Enabled'
Processor Hardware Prefetcher 'Enabled'
Processor Adjacent Sector Prefetch 'Auto-configure'

Уже при установке proxmox вижу ошибки:
Code: [Select]
modprobe: ERROR: could not insert 'kvm_intel': Input/output error
modprobe: ERROR: could not insert 'intel_powerclamp': No such device

и при старте ВМ (windows xp, kvm32):
Code: [Select]
Could not access KVM kernel module: No such file or directory
failed to initialize KVM: No such file or directory
TASK ERROR: start failed: command '/usr/bin/kvm -id 100.....

На FreeBSD kvm работал с этой системой. Что я делаю не так?

Offline werter

  • Hero Member
  • *****
  • Posts: 4934
  • Karma: +234/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #37 on: November 27, 2017, 02:18:34 am »
Доброго.

https://bobcares.com/blog/how-to-fix-error-could-not-access-kvm-kernel-module/

1. Покажите вывод lscpu
2. Вывод lsmod | grep kvm
3. Поправьте репозитории https://pve.proxmox.com/wiki/Package_Repositories:
- откл. Proxmox VE Enterprise Repository - mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak

- в /etc/apt/sources.list у вас должно быть только :

Code: [Select]
deb http://ftp.ru.debian.org/debian stretch main contrib

# PVE pve-no-subscription repository provided by proxmox.com,
# NOT recommended for production use
deb http://download.proxmox.com/debian/pve stretch pve-no-subscription

# security updates
deb http://security.debian.org stretch/updates main contrib

4. Делаете sudo apt update && sudo apt upgrade

5. После обновления выкл. сервер (не перезагружаете, а именно выкл.). Выдергиваете кабель питания из его БП. И пускай он постоит минут 10.

6. Вкл. сервер. Проверяете снова.

P.s. Есть сомнения работоспособности "полноценной" вирт-ции на вашем cpu (https://ark.intel.com/ru/products/27217/Intel-Xeon-Processor-5140-4M-Cache-2_33-GHz-1333-MHz-FSB), т.к. он не умеет Intel® VT-x с таблицами Extended Page Tables (EPT) . Но вот тут (https://social.technet.microsoft.com/Forums/ru-RU/e743ef99-1034-42b6-b5d2-3268413ec109/-hyperv-bios-?) говорят, что "Серверный гипервизор не требует поддержки SLAT (EPT в терминологии Intel), так что поддержка виртуализации у этого процессора есть. Попробуйте обесточить сервер полностью."
« Last Edit: November 27, 2017, 02:26:58 am by werter »

Offline T-Virus

  • Newbie
  • *
  • Posts: 13
  • Karma: +0/-0
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #38 on: November 27, 2017, 03:39:37 am »
Поправил репы, обновил, выключил, обесточил, подождал, включил - результат отрицательный.

Code: [Select]
root@pve:~# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                4
On-line CPU(s) list:   0-3
Thread(s) per core:    1
Core(s) per socket:    2
Socket(s):             2
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 15
Model name:            Intel(R) Xeon(R) CPU            5140  @ 2.33GHz
Stepping:              6
CPU MHz:               2327.410
CPU max MHz:           2324.0000
CPU min MHz:           1992.0000
BogoMIPS:              4654.82
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              4096K
NUMA node0 CPU(s):     0-3
Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good nopl cpuid aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca lahf_lm tpr_shadow dtherm

Code: [Select]
root@pve:~# lsmod | grep kvm
kvm                   581632  0
irqbypass              16384  1 kvm

Повторюсь - под freebsd и ubuntu server kvm работает на этой системе и пишет следующее:
Code: [Select]
INFO: /dev/kvm exists
KVM acceleration can be used

Offline werter

  • Hero Member
  • *****
  • Posts: 4934
  • Karma: +234/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #39 on: November 27, 2017, 04:51:16 am »
Code: [Select]
root@pve:~# lsmod | grep kvm
kvm                   581632  0
irqbypass              16384  1 kvm

У меня lsmod | grep kvm :

root@pve:~# lsmod | grep kvm
kvm_amd              2179072  34
kvm                   581632  1 kvm_amd
irqbypass              16384  24 kvm

Разницу увидели ? У вас там где kvm должно быть kvm xxxxxx 1 kvm_intel
Покажите dmesg | grep kvm и modinfo kvm_intel
И попробуйте руками sudo modprobe kvm-intel
« Last Edit: November 27, 2017, 04:55:28 am by werter »

Offline T-Virus

  • Newbie
  • *
  • Posts: 13
  • Karma: +0/-0
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #40 on: November 27, 2017, 08:29:21 am »
Разницу вижу.

dmesg | grep kvm - пусто

Code: [Select]
root@pve:~# modinfo kvm_intel
filename:       /lib/modules/4.13.4-1-pve/kernel/arch/x86/kvm/kvm-intel.ko
license:        GPL
author:         Qumranet
srcversion:     7CEE7EE092D65CA2BC3BD89
alias:          cpu:type:x86,ven*fam*mod*:feature:*0085*
depends:        kvm
intree:         Y
name:           kvm_intel
vermagic:       4.13.4-1-pve SMP mod_unload modversions
parm:           vpid:bool
parm:           flexpriority:bool
parm:           ept:bool
parm:           unrestricted_guest:bool
parm:           eptad:bool
parm:           emulate_invalid_guest_state:bool
parm:           fasteoi:bool
parm:           enable_apicv:bool
parm:           enable_shadow_vmcs:bool
parm:           nested:bool
parm:           pml:bool
parm:           preemption_timer:bool
parm:           ple_gap:int
parm:           ple_window:int
parm:           ple_window_grow:int
parm:           ple_window_shrink:int
parm:           ple_window_max:int

Code: [Select]
root@pve:~# modprobe kvm-intel
modprobe: ERROR: could not insert 'kvm_intel': Input/output error

p.s. сейчас ради эксперимента поставил  ubuntu на другой диск:

Code: [Select]
user@u16:~$ uname -a
Linux u16 4.4.0-87-generic #110-Ubuntu SMP Tue Jul 18 12:55:35 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

user@u16:~$ kvm-ok
INFO: /dev/kvm exists
KVM acceleration can be used

user@u16:~$ lsmod | grep kvm
kvm_intel             172032  0
kvm                   544768  1 kvm_intel
irqbypass              16384  1 kvm

bios не трогал.
« Last Edit: November 27, 2017, 09:24:35 am by T-Virus »

Offline werter

  • Hero Member
  • *****
  • Posts: 4934
  • Karma: +234/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #41 on: November 28, 2017, 10:49:57 am »
Доброго.
Попробуйте руками https://forum.proxmox.com/threads/kvm-modules-not-loading-at-boot.29984/ и перезагрузиться.

Offline T-Virus

  • Newbie
  • *
  • Posts: 13
  • Karma: +0/-0
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #42 on: November 29, 2017, 03:16:05 am »
В той теме модуль изначально получалось загрузить командой modprobe kvm_intel. У меня же выдает ошибку на этом этапе.
Я добавил kvm_intel в /etc/modules и обновил груб.
Поменялось лишь то, что в вывод при загрузке добавилось
Code: [Select]
[FAILED] Failed to start kernel module

Offline werter

  • Hero Member
  • *****
  • Posts: 4934
  • Karma: +234/-14
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #43 on: November 29, 2017, 07:06:52 am »
Попробуйте снова обновить proxmox - сегодня ядро новое вышло. И перезагрузиться.
Если снова не получится - вот тут есть тестовое https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/

Видимо это баг :( Может в 4.14 пофиксят.

Offline T-Virus

  • Newbie
  • *
  • Posts: 13
  • Karma: +0/-0
    • View Profile
Re: Proxmox, Ceph, ZFS ссылки.
« Reply #44 on: November 29, 2017, 11:12:23 am »
Поставил ядро из темы - kvm работает, правда ругается:

Code: [Select]
root@pve:~# kvm
Could not initialize SDL(No available video device) - exiting

Но винда работает и usb проброс тоже.
С Open vSwitch разобрался на ubuntu, оч понравилось. Думаю на proxmox тоже будет не хуже.