Потеря пакетов. Обрывы онлайн трансляций.

Spics

Ребят привет, я не сильно селен в теоретической части поэтому сразу скажу что все осваиваю самостоятельно.
Итак проблема:
Имеем локальную сеть с адресами: 172.16.10.0\24
В ней порядка 40 ПК (Сеть общежития)
У нас один канал интернета и все параметры подключения я получаю по DHCP
На сервере нет ничего сверх естественного, я использую DHCP, Captive portal, и Port forwarding (для локальных игровых серверов (отдельный ПК))

Появилась проблема с интернетом следующего характера:
При просмотре онлайн видео возникает обрыв связи прием не важно на каком сайте я его смотрю. А при просмотре веб страниц наблюдается некоторая заторможенность. При этом тест скорости кажет что все гуд и у меня 90 Мб\с от провайдера.

При этом я постоянно вижу обрывы пинга (теряется не много 1-3 пакета из 35-50) но это пинг только на mail.ru.
Пробовал пинг на разные ресурсы рвется практически одновременно.

Пользую я 2.1.5-RELEASE (i386) built on Mon Aug 25 07:44:26 EDT 2014 FreeBSD 8.3-RELEASE-p16

Я думал что проблема в том что провайдер просто закрыл пинг на свой шлюз, и отключил его контроль. Ситуация не изменилась. Теряюсь в догадках что делать. Может ктото сталкивался?

Ping.jpg_thumb

Rules.jpg_thumb

Spics

Неужто я первый у кого такая проблема? Нет предположений?

aleksvolgin

А как провайдер смотрит на ваш колхоз аж в 40 ПК? Вы официально работаете?
Для проверки железо/софт поставьте микротик что-ли.

werter

На чем построен pfsense ? Задействован ли Limiter, shaper?

Spics

@aleksvolgin:

А как провайдер смотрит на ваш колхоз аж в 40 ПК? Вы официально работаете?
Для проверки железо/софт поставте микротик что-лии.

Провайдер не как не смотрит, в общежитии одно крыло (типа подъезда) отдано под проживание преподавателей, в него затянули интернет, а по комнатам растягивать не стали. Поэтому сеть сделали 3 года назад сами студенты на неуправляемых коммутаторах. Кароче 1 этаж это как раз 40 комнат. С провайдером проблем нет. Оплачивается все вовремя. К нам никаких претензий.

По поводу микротика - дорого, ПК насобирать по товарищам вообще не проблема а вот деньги это уже другой вопрос. Вот скриншот Status: Dashboard.

Dashboard.jpg_thumb

Spics

@werter:

На чем построен pfsense ? Задействован ли Limiter, shaper?

Нет не задействованы. Я не совсем еше разобрался с их функционалом. Суть в том что раньше был вообще обычный роутер. А тут мене пришлось сменить парня который сьехал и он отвечал за него. И вот я поставил Pf и все было норм а тут на тебе.

![Log General2.jpg](/public/imported_attachments/1/Log General2.jpg)
![Log General2.jpg_thumb](/public/imported_attachments/1/Log General2.jpg_thumb)

Dashboard.jpg_thumb

werter

Нет не задействованы. Я не совсем еше разобрался с их функционалом. Суть в том что раньше был вообще обычный роутер. А тут мене пришлось сменить парня который сьехал и он отвечал за него. И вот я поставил Pf и все было норм а тут на тебе.

Т.е. Вы не можете представить ситуацию, когда один-два-три-n человек из ~40 врубят на полную торренты, youtube в HD-кач-ве, а еще есть и вирусы? Как вы с этим бороться будете? Судя по всему это УЖЕ случилось.

По этому голову в руки и вперед настраивать хотя бы limiter. Это поможет всем динамически-равномерно раздать канал.
И да, чтобы лимитер работал корректно , указывайте в его настройках 80% от заявленной провайдером скорости.

А я бы еще на LAN ту же Suricata прикрутил для отслеживания и блокирования подозрительной активности пол-лей. Иначе им интернету при любых скоростях хватать не будет :)

P.p.s. Новосибирск ? ТТК?

Spics

@werter:

Нет не задействованы. Я не совсем еше разобрался с их функционалом. Суть в том что раньше был вообще обычный роутер. А тут мене пришлось сменить парня который сьехал и он отвечал за него. И вот я поставил Pf и все было норм а тут на тебе.

Т.е. Вы не можете представить ситуацию, когда один-два-три-n человек из ~40 врубят на полную торренты, youtube в HD-кач-ве, а еще есть и вирусы? Как вы с этим бороться будете? Судя по всему это УЖЕ случилось.

По этому голову в руки и вперед настраивать хотя бы limiter. Это поможет всем динамически-равномерно раздать канал.
И да, чтобы лимитер работал корректно , указывайте в его настройках 80% от заявленной провайдером скорости.

А я бы еще на LAN ту же Suricata прикрутил для отслеживания и блокирования подозрительной активности пол-лей. Иначе им интернету при любых скоростях хватать не будет :)

P.p.s. Новосибирск ? ТТК?

Ну скорость я Captive portalom ограничивал. И да ТТК …

Ну а по поводу строчек в логах не подскажите что это за unknow protocol??

Spics

Ребят, настроил лимитер, все как бы в норме относительно но в лог всерасно сыпятся строки про SSL… Некто не вкурсе что это за грабли? Или гуда посмотреть то?

pigbrother

Предположу, что потери пакетов и ошибки в логе вида

lighttpd…Connection reset by peer

Между собой не связаны.

Записи lighttpd в логе - жалобы встроенного в pfSense веб- сервера.

_Probably safe to ignore. The lighty logs were going nowhere before, now they go to the system log. Lots of normal things are showing in the log and confusing people. :-)

That just means that the browser or whatever else was talking to lighttpd closed the connection abruptly. Could happen for any number of reasons._

Лечится так:
On 2.1 I added a checkbox to the system log settings to disable the logs from lighttpd. So you won't need to edit the code directly once you move to 2.1, just (un)check the box.

https://forum.pfsense.org/index.php?topic=59028.0

Может также помочь включение в

System: Advanced: Admin Access

доступа по HTTP вместо HTTPS

WY6EPT

а я бы не смотрел в сторону косячности каких то настроек, pfsense из коробки отлично работает.

а сейчас внимание вопрос!!!
какая входящая скорость?
какие сетевухи?

количество дропаных пакетов на сетевухах смотрели?

а то если у вас рилтэк, эти 40 человек могут закидать ваш роутер мелкими пакетами и вы будете получать переполнение буфера и огромные очереди из-за самой сетевухи.

на дашборде какое количество состояний ната показывает?
командой TOP в консоли посмотрите на что проц уходит?
возможно, что нужно увеличить размер буферов приёма и передачи, а так же максимальный размер всех буферов.

Spics

@WY6EPT:

а я бы не смотрел в сторону косячности каких то настроек, pfsense из коробки отлично работает.

а сейчас внимание вопрос!!!
какая входящая скорость?
какие сетевухи?

количество дропаных пакетов на сетевухах смотрели?

а то если у вас рилтэк, эти 40 человек могут закидать ваш роутер мелкими пакетами и вы будете получать переполнение буфера и огромные очереди из-за самой сетевухи.

на дашборде какое количество состояний ната показывает?
командой TOP в консоли посмотрите на что проц уходит?
возможно, что нужно увеличить размер буферов приёма и передачи, а так же максимальный размер всех буферов.

И так, настроил шейпер. Разобрался. Понравилось.
Теперь о команде TOP:

$ top -S -H -d1
last pid: 98756;  load averages:  0.09,  0.04,  0.01  up 0+13:06:59    09:56:16
139 processes: 3 running, 118 sleeping, 18 waiting

Mem: 147M Active, 19M Inact, 69M Wired, 280K Cache, 31M Buf, 1722M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root     171 ki31     0K    16K CPU1    1 766:00 100.00% idle{idle: cpu1}
   11 root     171 ki31     0K    16K RUN     0 753:01 100.00% idle{idle: cpu0}
   12 root     -68    -     0K   144K WAIT    0  21:36  0.39% intr{irq23: rl0 uhci0}
53367 root      45    0 80304K 29884K piperd  1   0:04  0.10% php
    0 root     -68    0     0K    88K -       0  13:25  0.00% kernel{alc0 taskq}
    0 root     -68    0     0K    88K -       0   4:15  0.00% kernel{dummynet}
   12 root     -32    -     0K   144K WAIT    0   1:40  0.00% intr{swi4: clock}
93681 root      44    0  3412K  1420K select  0   1:20  0.00% syslogd
18904 root      44    0 14056K 11520K bpf     1   1:04  0.00% tcpdump
   14 root     -16    -     0K     8K -       1   0:51  0.00% yarrow
  258 root      76   20  3352K  1204K kqread  1   0:32  0.00% check_reload_status
    0 root     -16    0     0K    88K sched   1   0:30  0.00% kernel{swapper}
19184 root      44    0  3264K   896K piperd  1   0:28  0.00% logger
38357 nobody    44    0  7300K  4068K select  1   0:12  0.00% dnsmasq
16894 root      44    0  3660K  1964K select  1   0:10  0.00% top
25609 root      44    0  3264K  1248K select  1   0:06  0.00% apinger
40169 dhcpd     44    0 11456K  8772K select  0   0:06  0.00% dhcpd
    8 root     -16    -     0K     8K pftm    1   0:06  0.00% pfpurge

Как видно процессор загружен на оба ядра, и это при отцутствующем трафике (1,5-10 мБит\Сек)
А на Dashboard мне показывает 2 процента от силы…
В чем секрет??

Скорость от провайдера если цепляться на прямую ~90 мБит\Сек

Сетевые карты у меня TP-link TF-3239DL стоят. http://www.tp-linkru.com/products/details/?categoryid=236&model=TF-3239DL#/specifications

$ vmstat -i
interrupt                          total       rate
irq1: atkbd0                          59          0
irq19: uhci1+                     168575          2
irq23: rl0 uhci0+               97964050       1665
cpu0: timer                    117660918       1999
irq256: alc0                    84206473       1431
cpu1: timer                    117660775       1999
Total                          417660850       7099

Вроде на все отписал, говорите скрины могу всего чего угодно скинуть.

Dashboard.jpg_thumb
1.jpg_thumb

werter

Как видно процессор загружен на оба ядра, и это при отцутствующем трафике (1,5-10 мБит\Сек)
А на Dashboard мне показывает 2 процента от силы…
В чем секрет??

Приехали :'(
Т.е. Вы считаете что idle - это и есть нагрузка? Тогда откройте у себя на Win Диспетчер задач и посмотрите на сколько процентов
грузит систему процесс Бездействие системы. Оч. удивитесь.

Spics

@werter:

Как видно процессор загружен на оба ядра, и это при отцутствующем трафике (1,5-10 мБит\Сек)
А на Dashboard мне показывает 2 процента от силы…
В чем секрет??

Приехали :'(
Т.е. Вы считаете что idle - это и есть нагрузка? Тогда откройте у себя на Win Диспетчер задач и посмотрите на сколько процентов
грузит систему процесс Бездействие системы. Оч. удивитесь.

Каюсь! Твою же… Очишуеть... я не увидел что там Idle написано... Я олень.... Пора спать...

Ладно, тут я сам себе злобный дятел... А что с прерываниями делать????

werter

А что с прерываниями делать?

А что у вас с ними?

Spics

@werter:

А что с прерываниями делать?

А что у вас с ними?

Ну я иак понимаю что из-за их большого количества происходит шторм… Или я не прав? Как такое можно побороть?

$ vmstat -i
interrupt                          total       rate
irq1: atkbd0                         182          0
irq19: atapci1                    268611          2
irq23: rl0                     183297152       1988
cpu0: timer                    184360566       1999
irq256: alc0                   153936759       1669
cpu1: timer                    184360403       1999
Total                          706223673       7661

Сейчас 2 часа дня у меня 10 мегабит не набирается трафика, а ощущение что канал под завязку забит, при этом я не могу нормально ни веб страницу открыть ни видео посмотреть. Куда капать? В сторону железа? Вот скриншоты.

1.jpg_thumb

2.jpg_thumb

3.jpg_thumb

4.jpg_thumb

5.jpg_thumb

6.jpg_thumb

werter

Смените свои сетевые на что-то от Intel, Broadcom.
Intel PWLA8391GT
Intel PWLA8390MT

Или на pci-e

Только сперва HCL freebsd 8.3 просмотрите на предмет совместимости.

Spics

@werter:

Смените свои сетевые на что-то от Intel, Broadcom.
Intel PWLA8391GT
Intel PWLA8390MT

Или на pci-e

Только сперва HCL freebsd 8.3 просмотрите на предмет совместимости.

Поставил новые сетевые Intel PWLA8391GT. Купил поставил. Стало попроще…. Но проблема с обрывами онлайн трансляций осталась. Хотя пропали потери пакетов...

werter

Дождитесь релиза 2.2 . Немного осталось - https://redmine.pfsense.org/projects/pfsense/roadmap