Netgate SG-1000 microFirewall

Show Posts

This section allows you to view all posts made by this member. Note that you can only see posts made in areas you currently have access to.


Topics - werter

Pages: [1] 2 3
2
Обновляемый список майнинг-паразитов для внесения в pfblocker https://github.com/ZeroDot1/CoinBlockerLists/

3
Layer 7 filter для блокирования приложений, используя Snort (о, а Suricata де ?  :-\) и OpenAppID
https://www.netgate.com/blog/application-detection-on-pfsense-software.html , https://doc.pfsense.org/index.php/Setup_Snort_Package

4
Russian / Using CARP, XMLRPC and pfsync high availability
« on: April 07, 2018, 11:09:21 am »
Видео по настройке отзакоустойчивого кластера на pfsense https://www.youtube.com/watch?v=VnBnnh81G7w

5
Russian / Advanced OpenVPN on pfSense
« on: April 07, 2018, 10:56:26 am »
Просто замечательное видео для понимания работы Openvpn на pfsense. Описаны режимы работы, работа с multiwan, динамическая маршрутизация ospf (quagga).
Упомянуты моменты, в каком случае надо явно объявлять Openvpn интерфейсом, описаны директивы port-share, reneg-sec, allow-recursive-routing.

Лично для себя почерпнул много интересного. Крайне рекомендую для просмотра.

https://www.youtube.com/watch?v=ku-fNfJJV7w

P.s. Жаль только, что .pdf на этом видео доступен только по подписке  :'(

P.p.s. Наделал скриншотов с важными (для себя) моментами. Прикладываю. Возможно, поможет многое понять в настройке\работе Openvpn на pfsense :


6
Russian / Bogon networks lists
« on: April 03, 2018, 04:49:36 am »
Возможно, что кому-то пригодится. Место, откуда pfsense тянет список немаршрутизируемых в Интернет ip-адресов (bogon networks) https://files.pfsense.org/lists/

7
Russian / DHCP в деталях статья
« on: March 25, 2018, 09:40:33 am »
Хорошая статья о том, как работает dhcp - http://foxnetwork.ru/index.php/component/content/article/207-dhcp.html

10
Доброго всем.
https://forum.pfsense.org/index.php?topic=112335.0

I now recommend that you use both, WPAC as the default and transparent with splice all as backup. So software that has no proxy settings still get redirected to the proxy in stead of getting blocked by the firewall rule 80 443. For android you can manually set the proxy, sometimes splice all can show SSL errors when web browsing. I will clean up the guide when I have time.

12
Russian / Pfsense+Proxmox+AMD Ryzen+AES-NI
« on: October 19, 2017, 05:22:59 am »
Доброе.

Список CPU c поддержкой AES-NI - https://en.wikipedia.org/wiki/AES_instruction_set
Проверить, поддерживает ли Ваш CPU AES-NI прямо в консоле Pfsense - dmesg | grep Features2

Настройка поддержки AES-NI в связке Pfsense+Proxmox+AMD Ryzen.

При создании ВМ указал в Type : host
После на pf в System: Advanced: Miscellaneous в Cryptographic & Thermal Hardware выбрал AES-NI CPU-based ...
Перезагрузил pf.

Upd. Собственно, тесты (методика - http://ask.xmodulo.com/check-aes-ni-enabled-openssl.html)

[2.4.0-RELEASE]: dmesg | grep Features2 Features2=0xfff83203<SSE3,PCLMULQDQ,SSSE3,FMA,CX16,SSE4.1,SSE4.2,x2APIC,MOVBE,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX,F16C,RDRAND,HV>
  AMD Features2=0x3f3<LAHF,CMP,CR8,ABM,SSE4A,MAS,Prefetch,OSVW>

Без поддержки aes-ni:
[2.4.0-RELEASE]: openssl speed -elapsed aes-256-cbc
You have chosen to measure elapsed time instead of user CPU time.
Doing aes-256 cbc for 3s on 16 size blocks: 19124964 aes-256 cbc's in 3.00s
Doing aes-256 cbc for 3s on 64 size blocks: 5186824 aes-256 cbc's in 3.03s
Doing aes-256 cbc for 3s on 256 size blocks: 1187964 aes-256 cbc's in 3.07s
Doing aes-256 cbc for 3s on 1024 size blocks: 675125 aes-256 cbc's in 3.00s
Doing aes-256 cbc for 3s on 8192 size blocks: 85621 aes-256 cbc's in 3.02s
OpenSSL 1.0.2k-freebsd  26 Jan 2017
built on: date not available
options:bn(64,64) rc4(8x,int) des(idx,cisc,16,int) aes(partial) idea(int) blowfish(idx)
compiler: clang
The 'numbers' are in 1000s of bytes per second processed.
type                         16 bytes     64 bytes         256 bytes   1024 bytes     8192 bytes
aes-256 cbc     101999.81k   109511.50k    99051.41k   230442.67k   231989.99k


С вкл. поддержкой aes-ni (Cryptographic Hardware:BSD Crypto Device):
[2.4.0-RELEASE]: openssl speed -elapsed -evp aes-256-cbc
You have chosen to measure elapsed time instead of user CPU time.
Doing aes-256-cbc for 3s on 16 size blocks: 145737716 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 64 size blocks: 40931890 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 256 size blocks: 10642665 aes-256-cbc's in 3.06s
Doing aes-256-cbc for 3s on 1024 size blocks: 2659040 aes-256-cbc's in 3.02s
Doing aes-256-cbc for 3s on 8192 size blocks: 329856 aes-256-cbc's in 3.00s
OpenSSL 1.0.2k-freebsd  26 Jan 2017
built on: date not available
options:bn(64,64) rc4(8x,int) des(idx,cisc,16,int) aes(partial) idea(int) blowfish(idx)
compiler: clang
The 'numbers' are in 1000s of bytes per second processed.
type                          16 bytes     64 bytes       256 bytes       1024 bytes   8192 bytes
aes-256-cbc     777267.82k   873213.65k   889639.92k   902916.30k   900726.78k

С вкл. поддержкой aes-ni (Cryptographic Hardware:AES-NI CPU ...)
[2.4.0-RELEASE] openssl speed -elapsed -evp aes-256-cbc
You have chosen to measure elapsed time instead of user CPU time.
Doing aes-256-cbc for 3s on 16 size blocks: 149285579 aes-256-cbc's in 3.05s
Doing aes-256-cbc for 3s on 64 size blocks: 40418641 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 256 size blocks: 10569031 aes-256-cbc's in 3.02s
Doing aes-256-cbc for 3s on 1024 size blocks: 2548063 aes-256-cbc's in 3.01s
Doing aes-256-cbc for 3s on 8192 size blocks: 318113 aes-256-cbc's in 3.00s
OpenSSL 1.0.2k-freebsd  26 Jan 2017
built on: date not available
options:bn(64,64) rc4(8x,int) des(idx,cisc,16,int) aes(partial) idea(int) blowfish(idx)
compiler: clang
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
aes-256-cbc     781935.72k   862264.34k   894899.24k   867479.78k   868660.57k

Разницу посчитаете сами  ;)

13
Russian / calcru: runtime went backwards
« on: October 19, 2017, 04:35:04 am »
Доброе.

У кого в консоли\логах сыпет вот таким:

Quote
Oct 18 15:27:23   kernel      calcru: runtime went backwards from 80 usec to 48 usec for pid 12 (intr)
Oct 18 15:27:23   kernel      calcru: runtime went backwards from 13724059 usec to 8110152 usec for pid 12 (intr)
Oct 18 15:27:23   kernel      calcru: runtime went backwards from 822462 usec to 502252 usec for pid 12 (intr)

Решение - https://forum.pfsense.org/index.php?topic=57234.0  https://spuder.wordpress.com/2012/01/14/freebsd-calcru-runtime-went-backwards/

Quote
You can try to change the timecounter (search around for kern.timecounter.choice and kern.timecounter.hardware) to see if that helps.
Certain newer versions of vmware can have the clock flake out if it's using HPET.

Thanks for the tip, I had the same issue with my pfsense vm, I tried the above commands:

Current settings
sysctl kern.timecounter.hardware

Available options
sysctl kern.timecounter.choice

Руками значение kern.timecounter.hardware устанавливать не нужно. Заходим в System: Advanced: System Tunables,  добавляем (у меня Value - ACPI-fast - ваше может быть другим) и перезагружаем pfsense.


14
Попалась вот такая штука

https://www.zerotier.com/
ZeroTier One - Open source приложение для создания огромных распределенных Ethernet-сетей. Используется end-to-end шифрование для всего трафика. Есть коммерческая и бесплатная версия.

Имеется (не бесплатная) возможность развернуть контроллер на своем собственном VPS.

Как я понял, их сервер используется (только?) для аутентификации и настроек. Связь между клиентами p2p.

Ценовая политика
https://www.zerotier.com/pricing.shtml
Connect <100 Devices Free

Установка и настройка под все распространенные платформы.
https://support.zerotier.com/knowledgebase.php

И самое интересное  ::). Имеется (рабочий?) пакет клиента и для pfsense - https://forum.pfsense.org/index.php?topic=102404.0

15
Russian / Proxmox, Ceph, ZFS
« on: September 09, 2017, 05:52:55 am »
Доброе.

Тем, кого заинтересовал и заинтересует Proxmox, zfs, ceph.

Proxmox VE

Proxmox. Полное руководство. 2е изд. http://support.mdl.ru/MasteringProxmox.2ed/content/index.html
Книга рецептов Proxmox http://onreader.mdl.ru/ProxmoxCookbook/content/index.html
Полная виртуализация. Базовая коммерческая редакция: Proxmox-freeNAS-Zentyal-pfSense http://onreader.mdl.ru/VirtualizationComplete/content/index.html
https://nguvu.org/proxmox/proxmox-install/
https://pve.proxmox.com/pve-docs/
Configure the Proxmox firewall https://www.kiloroot.com/secure-proxmox-install-sudo-firewall-with-ipv6-and-more-how-to-configure-from-start-to-finish/
How To Create A NAS Using ZFS and Proxmox (with pictures) https://forum.level1techs.com/t/how-to-create-a-nas-using-zfs-and-proxmox-with-pictures/117375
Proxmox and let's encrypt with acme https://blog.chasefox.net/proxmox-lets-encrypt/
Virtualisierung (нем.) https://deepdoc.at/dokuwiki/doku.php?id=virtualisierung

Коллекция скриптов :
Post Install Script, Convert from LVM to ZFS, Create ZFS from devices, Creates default routes to allow for extra ip ranges to be used, Create Private mesh vpn/network using Tinc
https://github.com/extremeshok/xshok-proxmox
-

Установка Proxmox по сети (PXE\iPXE) с помощью FOG Project (https://fogproject.org/) - a free open-source network computer cloning and management solution (некий аналог WDS (Windows Deployment Services))

Небольшой ликбез по FOG Project:
С помощью FOG-а можно:
- использовать как систему резервного копировани, создавая по расписанию снимки разделов , установив клиента и разворачивать эти снимки по сети на др. компьютеры в сети (у меня с помощью sysprep созданы эталонные образы Windows 7\10\Server и создав в FOG-e снимок, я разворачиваю их на компьютеры в сети);
- использовать как систему миграции серверов из физ. среды в виртуальные;
- загружать по сети все, что может загружаться с помощью PXE - windows, linux, антивирусные live-cd (https://www.comss.ru/list.php?c=bootcd) , ПО для брендового серверного оборудования HP, Dell , загружать тонкие клиенты etc.


Install FOG Server on Ubuntu https://www.ceos3c.com/sysadmin/install-fog-server-ubuntu-server-16-04-lts-ultimate-guide-virtualbox/
Create a Generalized Windows 10 Image (sysprep) and Deploy it with FOG Server https://www.ceos3c.com/sysadmin/create-generalized-windows-10-image-deploy-fog-server/

Загрузка c .iso в FOG Project:
Add an ISO entry in the iPXE Boot menu https://memo-linux.com/fog-ajouter-une-entree-dans-le-menu-ipxe-boot/
Booting MDT 2013 LiteTouch with FOG https://forums.fogproject.org/topic/6284/booting-mdt-2013-litetouch-with-fog/25
ISO's in FOG PXE https://community.spiceworks.com/topic/997567-iso-s-in-fog-pxe \ https://youtu.be/KYp-XVPxg3I
Advanced Boot Menu Configuration options https://wiki.fogproject.org/wiki/index.php/Advanced_Boot_Menu_Configuration_options
Include any ISO in the FOG Bootmenu https://wiki.fogproject.org/wiki/index.php?title=Include_any_ISO_in_the_FOG_Bootmenu

Скрипт, к-ый "уговаривает" Proxmox VE загружаться по сети https://github.com/morph027/pve-iso-2-pxe
После того ,как скрипт отработал, поправил меню FOG-а под себя (скриншот прилагается) :
Code: [Select]
kernel http://${fog-ip}/fog/isos/proxmox/linux26 vga=791 video=vesafb:ywrap,mtrr ramdisk_size=16777216 rw quiet splash=silent
initrd http://${fog-ip}/fog/isos/proxmox/initrd.iso.img
boot

-

Proxmox VM watchdogs:
https://tompaw.net/proxmox-vm-watchdogs/
https://forum.proxmox.com/threads/i6300esb-watchdog-in-windows-help-needed.37990/
https://github.com/dmitriypavlov/pve-watchdog

GPU passthrough tutorial https://forum.proxmox.com/threads/gpu-passthrough-tutorial-reference.34303/

Flashing firmware and BIOS on LSI SAS HBAs https://www.broadcom.com/support/knowledgebase/1211161501344/flashing-firmware-and-bios-on-lsi-sas-hbas
Flashing LSI HBA\IBM ServeRAID M1015 to IT mode or IR Mode https://geeksunlimitedinc.wordpress.com/2017/02/16/flashing-lsi-hba-to-it-mode-or-ir-mode/

ZnapZend - open source ZFS backup with mbuffer and ssh support perl script http://www.znapzend.org/ , https://forum.proxmox.com/threads/znapzend-backup-generator-script.33309/

eve4pve-autosnap - automatic snapshot tool https://github.com/EnterpriseVE/eve4pve-autosnap

Installing macOS High Sierra on Proxmox 5 http://www.nicksherlock.com/2017/10/installing-macos-high-sierra-on-proxmox-5/

Включение и использование ZSWAP в Proxmox VE и любом современном дистр-ве Linux с ядром >= 3.11.
https://www.hippolab.ru/linux-zswap-dayte-mashine-shans, https://wiki.archlinux.org/index.php/Zswap , http://ru.knowledgr.com/19459262/Zswap , http://linuxoidblog.blogspot.com/2015/12/zram-zswap.html

Script for creating hybrid swap space from zram swaps, swap files and swap partitions https://github.com/Nefelim4ag/systemd-swap

Вкратце, это технология, позволяющяя оптимизировать работу ядра со swap - хранилищем избыточных страниц памяти.

Как включить (на примере debian-а и его деривативов):

0. Обновляемся: apt clean; apt update; apt full-upgrade -y. Перезагружаемся.

1. Проверяем включено ли в ядре cat /boot/config-`uname -r`| grep -i zswap. Если все ок, должно выдать
CONFIG_ZSWAP=y

2. Правим строку в Grub :
sudo cp -f /etc/default/grub{,.orig}

sudo nano /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash zswap.enabled=1 zswap.compressor=lz4 zswap.zpool=z3fold zswap.max_pool_percent=25"

sudo update-grub

3. Вкл. модули компрессии

sudo nano /etc/initramfs-tools/modules и добавляем:
lz4
lz4_compress
z3fold

Сохраняемся, делаем sudo update-initramfs -u и перезагружаемся.

4. Проверяем

cat /sys/module/zswap/parameters/enabled
Должно быть Y, если все ок.

dmesg | grep -i zswap
Должно быть zswap: loaded using pool lz4/z3fold

Прим. Касаемо строки zswap.zpool=z3fold. По умолчанию в совр. linux исп-ся zbud в кач-ве распределителя памяти.
Он обкатан и надежен, но появился новый и более эффективный z3fold:

Quote
The zpool parameter controls the management of the compressed memory pool, it is by default set to zbud. With the zbud data allocator, 2 compressed objects are stored into 1 page which limits the compression ratio to 2 or less. The superior z3fold allocator allows up to 3 compressed objects by page. The compression ratio with z3fold typically averages 2.7 while it is 1.7 for zbud.

И это действительно так - z3fold намного эффективнее zbud (скрины внизу, условия работы на тестируемой системе совершенно одинаковы). Однако, компрессия требует наличие относительно современного CPU в системе. Вообщем, проверяйте и тестируйте. Благо, что вернутся к настройкам ядра по умолчанию можно оч. быстро.

Прим.2. Кстати в MS Windows 10 также используется похожая технология  ;)
-

SR-IOV

Прим. При условии, если ваши мат. платы + cpu + сетевые адаптеры поддерживают.
http://www.osp.ru/lan/2012/05/13015724/
http://blog.pichuang.com.tw/Enable-SR-IOV-on-Proxmox/
http://enricorossi.org/blog/2016/intel_sr-iov_on_Debian_Stretch/
https://forum.proxmox.com/threads/cannot-use-sr-iov-on-proxmox.27045/

Сетевые адаптеры с поддержкой SR-IOV:
http://dpdk.org/doc/nics
https://www.intel.com/content/www/us/en/support/articles/000005722/network-and-i-o/ethernet-products.html
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=ioFeatures выбрать SR-IOV и нажать Update and view results )

P.s. Напр.,  Asrock AB350 Pro4 при своей достачно скромной цене (в кач-ве мат. платы для сервера) умеет и amd_iommu и sr-iov - осталось только сетевую прикупить. Более того - совсем бюджетные Biostar A320MD PRO\A320MH PRO также умееют и amd_iommu и sr-iov!

---
ZFS (Zettabyte File System)

Мастерство FreeBSD: ZFS для профессионалов http://onreader.mdl.ru/AdvancedZFS/content/index.html
http://nas-faq.github.io/zfs/
Hardware recommendation ssd sata sas raid ashift 4k ecc memory http://open-zfs.org/wiki/Hardware
Performance tuning postgresql mysql logbias ashift ssd l2arc zil compression http://open-zfs.org/wiki/Performance_tuning
How to improve ZFS performance https://icesquare.com/wordpress/how-to-improve-zfs-performance/
"Write hole" phenomenon http://www.raid-recovery-guide.com/raid5-write-hole.aspx
ZFS: Тестируем надежность на плохих дисках https://habrahabr.ru/post/347640/

SCT Error Recovery Control
Что такое на самом деле 'raid edition' для жёстких дисков https://geektimes.ru/post/92701/
Enabling CCTL/TLER https://b3n.org/best-hard-drives-for-zfs-server/
SCT Error Recovery Control in RAID drives https://rolandschnabel.de/blog/?p=75
Linux Software RAID and drive timeouts http://strugglers.net/~andy/blog/2015/11/09/linux-software-raid-and-drive-timeouts/
Т.е. если вы собираете zfs raid-z1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
если же собираетесь использовать zfs raid-0\1\10, то вкл. не нужно.

Use snapshots, clones and replication in ZFS https://www.howtoforge.com/tutorial/how-to-use-snapshots-clones-and-replication-in-zfs-on-linux/


---
Ceph

Полное руководство Ceph http://onreader.mdl.ru/MasteringCeph/content/index.html
Книга рецептов Ceph http://onreader.mdl.ru/CephCookbook/content/index.html
P.s. Переводчикам - огромнейшее СПАСИБО за столь титанический труд.

---
Open vSwitch (OVS)

https://pve.proxmox.com/wiki/Open_vSwitch
https://habrahabr.ru/post/242741/
https://www.altlinux.org/Etcnet/openvswitch
http://vladimir-stupin.blogspot.com/2016/06/open-vswitch-debian.html
Проброс VLAN-ов через интернет openvpn OVSIntPort https://habrahabr.ru/post/239729/
Примеры создания vlan, bond, bridge, OVSIntPort https://forum.pfsense.org/index.php?topic=139045.0, https://forum.proxmox.com/threads/vlan-tag.38051/
OpenVswitch vlan trunk gre vxlan span rspan mirror lacp bonding https://gns3.com/news/article/containers-in-gns3-series-advanc

Использование OVS (Open vSwitch) в Proxmox (настоятельно рекомендуется)

Установка:
apt update && apt install openvswitch-switch ethtool

Переключение на ovs в gui :
1.  Delete the vmbr0 (Linux bridge) # линк с Proxmox не потеряется, не бойтесь
2.  Create vmbr0 as ovs-bridge with your IP/MASK/Gateway and Bridge ports [ethX] # вместо ethX - имя вашего физ. интерфейса
3.  Reboot Proxmox.

По https://blog.scottlowe.org/2012/10/04/some-insight-into-open-vswitch-configuration/ поясню немного :

Если хотите добавить сетевой интерфейс ВМ в определенный vlan , то в Gui в настройках сети ВМ просто укажите VLAN Tag. Это аналог untag\access порта на железном свитче. Задействовать назначенный выше vlan можно без перезагрузки ВМ, просто выкл\вкл сетевой интерфейс непосредственно в вирт. ОС.

Если хотите, чтобы ВМ находилась в опред. vlan и при этом могла "слушать" трафик из др. vlan-ов, то можно сделать так - https://forum.proxmox.com/threads/ovs-bridge-with-vlans.27280/
Аналог - создать еще один OVS IntPort в Gui. В настройках указать необходимые вам параметры для VLAN (и не только для VLAN). И прицепить созданный интерфейс к ВМ.
Но после создания OVS IntPort понадобится перезагрузить сеть\перезагрузить Proxmox!

Также можно объединять интерфейсы (bonding), настраивать балансировку\отказоустойчивость (LACP)  - https://blog.scottlowe.org/2012/10/19/link-aggregation-and-lacp-with-open-vswitch/

По ссылке Proxmox. Полное руководство. 2е изд есть глава, посвященная Ovs - http://onreader.mdl.ru/MasteringProxmox.2ed/content/Ch07.html

-
https://forum.proxmox.com/threads/proxmox-ve-on-debian-jessie-with-zfs-hetzner.33429/
2-ая страница крайне интересна.
Вкратце. Удаленная установка из iso, используя qemu и vnc. Причем таким образом можно устанавливать любой дистрибутив linux.

----
Pfsense

Virtualizing pfSense on Proxmox https://doc.pfsense.org/index.php/Virtualizing_pfSense_on_Proxmox
Virtualizing pfSense under Hyper-V https://doc.pfsense.org/index.php/Virtualizing_pfSense_under_Hyper-V
PfSense on VMware ESXi https://doc.pfsense.org/index.php/PfSense_on_VMware_vSphere_/_ESXi
HOW TO: 2.4.0 ZFS Install, RAM Disk, Hot Spare, Snapshot, Resilver Root Drive https://forum.pfsense.org/index.php?topic=126597.0

Нюансы работы pfsense в Proxmox:
Quote
I've got a fresh install of  2.3.3-RELEASE-p1 (amd64), running on ovirt (kvm). My guests (only have linux guests) could ping out, but no udp or tcp.

Just selecting the "Disable hardware checksum offload" and rebooting (though I didn't check without rebooting) the pfsense instance did the trick.

I didn't need to change anything on the ovirt/kvm hypervisor - the default offload settings are in place. All guests (pfsense and the linux ones) are using virtio network drivers.

---
MS Windows

Рекомендации для гостевых ОС семейства Microsoft Windows:
https://pve.proxmox.com/wiki/Windows_2008_guest_best_practices
https://pve.proxmox.com/wiki/Windows_2012_guest_best_practices
https://www.proxmox.com/en/training/video-tutorials/item/install-windows-2016-server-on-proxmox-ve

VMware OS Optimization Tool - оптимизация Windows в виртуальной среде (подойдет и для proxmox) https://codebeer.ru/optimizaciya-windows-v-virtualnoj-srede/

Pages: [1] 2 3