Заполнение Memory usage с последующим зависанием

alexbirukov

Блин. Столкнулся с подобной проблемой. Есть pfsense 2.1.3. Всё года полтора работало просто замечательно, пока в один прекрасный момент, не стала заполнятся память. К слову установлен 1Гб, до этого, всё работало как часы.

Из установленного отдельно tinyDNS, BrandwidthD и настроен OpenVPN. Особо ничего нет, пользователям разрешено гулять где угодно, контроля нет, логгирование нигде особо не включал. Есть пара пробросов портов и PPTP сервер для подключения, который используется КРАЙНЕ редко.

Сервер работает как у ТС, перезагружаю, работает и начинает потихоньку заполнять память, до тех пор пока не уйдёт в ступор. Веб морда не открывается, консоль тоже не работает и ни на что не реагирует. В результате помогает только жёсткая перезагрузка.

Подскажите, куда копать, куда смотреть, а то уже все глаза и голову сломал, вроде ничего лишнего не запускаю, откуда проблема сама по себе взялась совершенно неясно.

Спасибо.

werter

Смотрите свободное место на диске.

alexbirukov

@werter:

Смотрите свободное место на диске.

Места много, занят 1% от 34Гб. Была ошибка в консоли как-то заметил kerm.maxfiles, я так понял, что превышено число свободных дискрипторов файлов, но куда смотреть даже не знаю. Грешу, может диск загибается, но pfSense показывает, что диск нормальный passed.

Piece

@alexbirukov:

Места много….

Приветствую, сквида, лайтскивида, скивад3 точно нет пакетов?? даже просто отключенных, но установленных?

anzak84

Такая же проблема… скорей всего она возникает после обновления установленных пакетов

![out memory.JPG](/public/imported_attachments/1/out memory.JPG)
![out memory.JPG_thumb](/public/imported_attachments/1/out memory.JPG_thumb)

rubic

Может не по теме, но тем, у кого pfSense крутится в виртуалке (особенно ESXi определенных версий) и у кого она периодически виснет, нужно поменять sysctl kern.timecounter.hardware на ACPI-fast (или ACPI-safe). Причина зависания - остановка system clock и крах сервисов, зависящих от времени. В Diagnostics > Command смотрим какие в системе есть каунтеры:

$ sysctl -a | grep timecounter

kern.timecounter.tc.HPET.mask: 4294967295
kern.timecounter.tc.HPET.counter: 481087843
kern.timecounter.tc.HPET.frequency: 14318180
kern.timecounter.tc.HPET.quality: 950
kern.timecounter.tc.i8254.mask: 65535
kern.timecounter.tc.i8254.counter: 36339
kern.timecounter.tc.i8254.frequency: 1193182
kern.timecounter.tc.i8254.quality: 0
kern.timecounter.tc.ACPI-fast.mask: 16777215
kern.timecounter.tc.ACPI-fast.counter: 15743557
kern.timecounter.tc.ACPI-fast.frequency: 3579545
kern.timecounter.tc.ACPI-fast.quality: 900
kern.timecounter.tc.TSC-low.mask: 4294967295
kern.timecounter.tc.TSC-low.counter: 415943858
kern.timecounter.tc.TSC-low.frequency: 1200042500
kern.timecounter.tc.TSC-low.quality: -100
kern.timecounter.stepwarnings: 0
kern.timecounter.alloweddeviation: 5
kern.timecounter.hardware: HPET
kern.timecounter.choice: TSC-low(-100) ACPI-fast(900) i8254(0) HPET(950) dummy(-1000000)
kern.timecounter.tick: 1
kern.timecounter.fast_gettime: 1
kern.timecounter.invariant_tsc: 1
kern.timecounter.smp_tsc: 0
kern.timecounter.smp_tsc_adjust: 0
kern.timecounter.tsc_shift: 1

а потом в System > Advanced > System Tunables заводим значение kern.timecounter.hardware : ACPI-fast или ACPI-safe (в зависимости от того, какой у вас есть в списке).

Сcылки:

https://forum.pfsense.org/index.php?topic=50863
https://forums.freebsd.org/threads/freebsd-9-on-esxi-5-clock-stops.31929/

или то, что у ТС в крашдампе светится:

https://forum.pfsense.org/index.php?topic=57234.0
https://forum.pfsense.org/index.php?topic=93289.0

werter

В догонку для тех , кто исп. pf как ВМ MS Hyper-V в System > Advanced > System Tunables заводим значение и перезагружаем pf:

kern.timecounter.hardware = TSC

anzak84

PHP Errors:
[22-Oct-2015 17:01:48 Asia/Vladivostok] PHP Fatal error: Out of memory (allocated 3407872) (tried to allocate 4294967295 bytes) in /etc/inc/radius.inc on line 446

В моем случае похоже что проблема с FreeRadius (после обновления пакета)

hvac14400

@werter:

В догонку для тех , кто исп. pf как ВМ MS Hyper-V в System > Advanced > System Tunables заводим значение и перезагружаем pf:
kern.timecounter.hardware = TSC 

не рекомендую :D
https://forum.pfsense.org/index.php?topic=94239.msg527723#msg527723

werter

@hvac14400:

@werter:
В догонку для тех , кто исп. pf как ВМ MS Hyper-V в System > Advanced > System Tunables заводим значение и перезагружаем pf:
kern.timecounter.hardware = TSC 
не рекомендую :D
https://forum.pfsense.org/index.php?topic=94239.msg527723#msg527723

Версия Гипер-В ? У меня 2012 (не R2).

И не надо руками добавлять в конф. файл. Делайте через пункт в вебе пф.
3 мес "ни одного разрыва".

hvac14400

@werter:

Версия Гипер-В ? У меня 2012 (не R2).

И не надо руками добавлять в конф. файл. Делайте через пункт в вебе пф.
3 мес "ни одного разрыва".

версия 12 R2 конечно - в просто 12 половины функционала нету : )

вопрос в другом - у вас integration services в виртуалке сенса установлены? я имею в виду time sinchronization? возможно во время прошлого эксперимента я эту галку снимал.

werter

@hvac14400:

@werter:

Версия Гипер-В ? У меня 2012 (не R2).

И не надо руками добавлять в конф. файл. Делайте через пункт в вебе пф.
3 мес "ни одного разрыва".

версия 12 R2 конечно - в просто 12 половины функционала нету : )

вопрос в другом - у вас integration services в виртуалке сенса установлены? я имею в виду time sinchronization? возможно во время прошлого эксперимента я эту галку снимал.

Нет, не установлены. Но в настройках ВМ стоят все галки.

hvac14400

если галки стоят значит установлены - в dmesg будут такие строчки присутствовать

hyperv-utils0 on vmbus0
hyperv-utils0: Hyper-V Service attaching: Hyper-V Heartbeat Service

hyperv-utils1 on vmbus0
hyperv-utils1: Hyper-V Service attaching: Hyper-V KVP Service

hyperv-utils2 on vmbus0
hyperv-utils2: Hyper-V Service attaching: Hyper-V Shutdown Service

hyperv-utils3 on vmbus0
hyperv-utils3: Hyper-V Service attaching: Hyper-V Time Synch Service

а нтп демон работает?

werter

@hvac14400:

если галки стоят значит установлены - в dmesg будут такие строчки присутствовать

hyperv-utils0 on vmbus0
hyperv-utils0: Hyper-V Service attaching: Hyper-V Heartbeat Service

hyperv-utils1 on vmbus0
hyperv-utils1: Hyper-V Service attaching: Hyper-V KVP Service

hyperv-utils2 on vmbus0
hyperv-utils2: Hyper-V Service attaching: Hyper-V Shutdown Service

hyperv-utils3 on vmbus0
hyperv-utils3: Hyper-V Service attaching: Hyper-V Time Synch Service

а нтп демон работает?

Установка 2.2.х "чистая". Видимо 10-я БСД уже знает про то, чо она запущена на Hyper-V
NTPd - работает.

2.2.4-RELEASE][root@pfSense]/root: dmesg | grep hyper
hyperv-utils0 on vmbus0
hyperv-utils0: Hyper-V Service attaching: Hyper-V Heartbeat Service
hyperv-utils1 on vmbus0
hyperv-utils1: Hyper-V Service attaching: Hyper-V KVP Service
hyperv-utils2 on vmbus0
hyperv-utils2: Hyper-V Service attaching: Hyper-V Shutdown Service
hyperv-utils3 on vmbus0
hyperv-utils3: Hyper-V Service attaching: Hyper-V Time Synch Service

hvac14400

у меня сенс 2.2.2
если есть нтп - зачем синхронизация гипер ви, или если есть гипер ви - зачем синхронизация нтп? тем более если сам гипер ви тоже синхронизирован например с контроллером домена, который берёт время с того же самого нтп.
видимо что-то одно можно отключить?

werter

@hvac14400:

у меня сенс 2.2.2
если есть нтп - зачем синхронизация гипер ви, или если есть гипер ви - зачем синхронизация нтп? тем более если сам гипер ви тоже синхронизирован например с контроллером домена, который берёт время с того же самого нтп.
видимо что-то одно можно отключить?

Отключите синхронизацию времени в настройках ВМ на Гипер-В. И посмотрите, что будет.

hvac14400

@werter:

В догонку для тех , кто исп. pf как ВМ MS Hyper-V в System > Advanced > System Tunables заводим значение и перезагружаем pf:
kern.timecounter.hardware = TSC 

время при этом идёт примерно в 2 раза быстрее - слева на скриншоте tsc, справа hyper-v, пинги длиннее и их кол-во в 2 раза больше, хотя команды запущены практически одновременно.
у "apinger Gateway Monitoring Daemon" вообще крышу сносит - начинает показывает задержки в 1000мс например, после перезапуска вручную какое-то время работает, потом опять, в общем как я и описывал в посте "не рекомендую" - ерунда полная.

хотя время после загрузки сенса назад не идёт, но оно и понятно - сравните частоты таймеров.
короче решения как не было так и нет, сенс 2.2.4.

Untitleda.png_thumb

hvac14400

@werter:

@hvac14400:

у меня сенс 2.2.2
если есть нтп - зачем синхронизация гипер ви, или если есть гипер ви - зачем синхронизация нтп? тем более если сам гипер ви тоже синхронизирован например с контроллером домена, который берёт время с того же самого нтп.
видимо что-то одно можно отключить?

Отключите синхронизацию времени в настройках ВМ на Гипер-В. И посмотрите, что будет.

отключил - ничего не поменялось.

werter

@hvac14400:

@werter:

@hvac14400:

у меня сенс 2.2.2
если есть нтп - зачем синхронизация гипер ви, или если есть гипер ви - зачем синхронизация нтп? тем более если сам гипер ви тоже синхронизирован например с контроллером домена, который берёт время с того же самого нтп.
видимо что-то одно можно отключить?

Отключите синхронизацию времени в настройках ВМ на Гипер-В. И посмотрите, что будет.

отключил - ничего не поменялось.

У меня "убегать" начинает через нек-ое время. Повторюс, версия Hyper-V не R2

P.s. Рекомендую Proxmox (KVM). Как раз недавно дистр. до 4-й вер обновился. Оч. хороший продукт - кластеризация, бэкапы, не нужно бренд. железо, zfs soft-raid из коробки.