Потери пакетов при увеличении нагрузки
-
Доброе время суток, уважаемые господа сетевики!
Вопрос достаточно простой, но требует большого опыта в раздаче интернета.Имеем работающий сервер, чистый, только что установленный, функция одна - НАТ:
1.2.3-RELEASE
built on Sun Dec 6 23:21:36 EST 2009
FreeBSD 7.2-RELEASE-p5 i386Intel(R) Core(TM)2 CPU 6300 @ 1.86GHz
WAN сетевая карта - встроенная, на 100mbps, re0 (RTL8201L)
LAN сетевая карта - торчит в pci слоте, на 1000mbps, D-link DGE-528T, (на чипсете rtl8169s)c LAN'a траффик идет к свичу D-link DES-1024D, а от него дальше, по большим и маленьким свичам равномерно распределяя канал 50/25mbps(down/up) на 50-100 пользователей. Месячный оборот траффика около 7-8 Тб.
Проблема в потере пакетов. pingtest(pingtest.net) показывает от 2 до 18 процентов в пиковое время (19:00 до 01:00), на графиках же все еще хуже (см. в приложении).
Соответственно, в моменты отдыха все лучше, потери стремятся к 1 проценту, что терпимо.
Нагрузка на процессор минимальна, выходит дело в сетевых картах, либо в свиче, я так полагаю.
Быть может, возможно как-то это определить? Или же неверно настроен pfsense?
Подскажите, куда смотреть и как можно это потестировать.
Спасибо.upd. Для решения проблемы потребовалось увеличить значение State table size в параметрах Advanced.
Спасибо to "rubic" за решение проблемы! И за лучший совет, который помог диагностировать работоспособность железа. (без него были бы куплены пара ненужных сетевух и планировалось взять на тестирование большой дорогой и ненужный(в данном контексте) управляемый свич(в главной мере из-за моей некомпетенции)
И большое спасибо всем, кто принимал участие в дискуссии!
 -
что-нибудь вроде HP V1905-48 Switch, и выбросить половину свитчей. Постоянный мониторинг по SNMP каждого порта в коммутаторе (траффик, коллизии, icmp)
-
тебе нада все узлы проверять :) ох и геморная это штука :)
-
WAN сетевая карта - встроенная, на 100mbps, dlink (re0)
это как?
читать отсюда http://forum.ixbt.com/topic.cgi?id=14:13800
-
WAN сетевая карта - встроенная, на 100mbps, dlink (re0)
это как?
Имелось ввиду как WAN интерфейс используется встроенная в материнскую плату сетевая карта dlink на 100мбпс.
тебе нада все узлы проверять :) ох и геморная это штука :)
Данная проблема абсолютно во всех частях сети. И зависит только от нагрузки. Т.е. если подключить только одного пользователя на любом узле - потерь не будет.
что-нибудь вроде HP V1905-48 Switch, и выбросить половину свитчей. Постоянный мониторинг по SNMP каждого порта в коммутаторе (траффик, коллизии, icmp)
Поменять самый дешевый Длинк на управляемый ХП это вариант, конечно. Подскажите, какие параметры критичны, на что обращать внимания при выборе. Необходимо 16 портов, примерно 10k pps(пропускная способность пакетов в секунду), и 50mbps скорость интернет канала(в перспективе увеличение до 100). Это основной свич, который идет после маршрутизатора и распределяет траффик на другие(16ти портовые) свичи.
Но зачем выкидывать свичи? У нас до клиента самая длинная цепь это: сервер - дальше центральный свич - от него кабеля расходится на 16 этажей, и на каждом стоит 16портовый свич - от него кабеля идут по блокам, в каждом из которых еще один свич и несколько клиентов, подключенных к нему.
Укоротить схему возможности нет, ибо это повлечет на собой рассистематизацию и провода в неконтролируемом количестве.Получается и свич менять и сетевухи?
Но начать надо таки со свича, так? -
встроенная в материнскую плату сетевая карта dlink
ещё раз
сетевая карта - встроенная, на 100mbps, dlink (re0)
-
Еще раз - что тут не ясно?
Или Вы имеете ввиду, что само собой разумеется, встроенная сетевая карта не выдерживает нагрузки?
Перспектива читать 55 страниц форума о том, как человек выбирает себе сетевую карту для подключению 2х домашних компьютером не кажется мне очень целесообразным -
Сетевухи конечно лучше сменить на Intel, этажные свитчи на гигабитные, главный свитч на гигабитый ну и мониторинг по всем портам в кактус (или что там у вас есть). Так вы узнайте хотябы какие блоки у вас заражены троянами ботнетов.
-
Вы считаете что имеет смысл менять свичи на гигабитные, когда соединение с провайдером все-равно 100мегабитное?
Управляемый свич только чтобы найти ботнеты? Не подскажете какие параметры и функции желательно иметь у свича для увеличения его производительности при наших нагрузках(оперативная, флэш память)? Пока я понял, что желательны управляемые порты. Но кроме поиска перегрузок на узлах не вижу в этом плюсов. Но я никогда не имел дело с управляемыми портами, поэтому не могу судить.
Сетевые сменить на интел, Intel PILA8461B, например, будет лучше нашего D-link DGE-530T (или 528го, не помню точно) или Intel PILA8460M? Будет ли разница? и за счет чего? (WAN должен быть только 100мб, т.к. там стоят медиаконвертеры, работающие только со 100мбитами)
-
Обнаружена очень интересная подробность!
При быстром увеличении дропов траффик шэйпера неимоверно подлетает потеря пакетов.Сейчас 7:17 утра. Сеть разгружена. Имеем пакету пакетов 0-2%, при небольшом (10мегабит) траффике торрентов(pingtest.net). При ограничения upperlimit'a до 1% пропускной способности (256кбит) сильно подлетают дропы лишних пакетов и pingtest показывает до 52%(!!!) потерь пакетов(хотя RRD графики pfsens'a) молчат. Когда ограничение на 1% повышается до 80% - потери, фиксируемые pingtest'oм, снова приближаются к 0-2%.
И, внимание, при отключении шэйпера - потери стабильно 0%!
Жду вечера для подтверждения тестов. Пока главное предположение - все дело в дропах шэйпера.
Но как его "правильно" настроить - еще вопрос. -
встроенная в материнскую плату сетевая карта dlink
ещё раз
сетевая карта - встроенная, на 100mbps, dlink (re0)
Алекс, видимо, хочет сказать, что не d-link у тебя, а realtek.
-
Вопрос достаточно простой,
Тут я бы не горячился.
Проблема в потере пакетов. pingtest показывает от 2 до 18 процентов в пиковое время (19:00 до 01:00), на графиках же все еще хуже (см. в приложении).
откуда выполняется pingtest?
-
откуда выполняется pingtest?
В основном - клиентский компьютер. Иногда подсоединяется напрямую к LAN карте сервера. Иногда напрямую к кабелю провайдера.
Я почти уверен, что у провайдера проблем нет. И после тестов я почти уверен, что проблема связана с шейпингом -
откуда выполняется pingtest?
В основном - клиентский компьютер. Иногда подсоединяется напрямую к LAN карте сервера. Иногда напрямую к кабелю провайдера.
Я почти уверен, что у провайдера проблем нет. И после тестов я почти уверен, что проблема связана с шейпингомС консоли pfSense попробуй.
Что-то мне подсказывает, что это не "проблема связана с шейпингом", а как раз шейпинг в работе. Радоваться нужно! Шейпинг работает -) -
Извиняюсь, что сразу не пояснил до конца - pingtest это тест с сайта pingtest.net.
С самого же маршрутизатора пинг летает успешно(как, собственно, и с клиентских машин), а проблемы я смотрю по RRD графикам.Работающий шейпинг мы прошли уже очень давно =) (http://forum.pfsense.org/index.php/topic,26220.0.html)
Это конечно хорошо, но когда потери такие как на графиках - это уже огромная проблема в производительности сети. Приложения в реальном времени почти совсем не работали.
Сейчас я перенастроил шейпер Визардом(видимо, вся проблема была в том, что я не правильно его настроил), в этот раз почти не меняя настроек после его работы. И с нетерпением жду вечернего краш-теста.
Первый сюрприз - начал лагать веб-интерфейс. top показывает, что процессы php находятся в состоянии piperd и по очень подолгу не отвечают. Решилось - ребутом–----------------------------------------------------------------------------------------
Итак, прогресса почти нет =(
Снова нагрузка возрастает - потери увеличиваются. И так до тех же показателей потерь, как на приложении в первом сообщении.Пинг с сервера почти не выявляет потери(~0.5%), несмотря на графики RRD.
пинг с клиенских маших - потери до 16%Главный вывод - проблема в сетевой карте LAN или со свичем.
Подтвердите кто-нибудь, а =) -
1 народ прав :) ни длинк, ни тем более реалтек - не годны для подобного трафика :)
з.ы. как пример - почему то VMWARE ESX их не поддерживают :)
2 какая загрузка собстенно на пк? память? проц ? что немаловажно - винты? если у тебя логи какие то пишутся может не хватать…
по процу - если график такая же "гребенка" как и с потерями - то надо задуматься, + какое ядро стоит?
но 90% что таки сетевуха, возьми и поставь интел, для начала... -
Еще раз:
Интерфейс LAN - сетевая карта re0: <rtl8201l 10="" 100="" media="" interface="">Интерфейс WAN - сетевая карта re1: <d-link dge-528(t)="" gigabit="" ethernet="" adapter="">Использование жесткого диска(32253MB <maxtor 4k040h2="" a08.1500="">) - 0%
Использование оперативной памяти - максимум(2Gb) 5-6%
Использование процессора(Intel(R) Core(TM)2 CPU 6300 @ 1.86GHz) - максимум до 15-20% доходит. Но обычно 5-12%.С этим - все в порядке.
Насчет сетевой карты - Какую посоветуете? И на что смотреть при выборе? Какие параметры критичны? Что в реалтеках/длинках не так?
Ведь есть у них качественное оборудование. У билайна, например, все оборудование, кроме самых больших, шлюзовых элементов, стоят д-линки. Странно выглядят советы - просто сменить на Интел. Сейчас в сервере не самый худший д-линк(D-link DGE-528T) на интерфейсе ЛАН стоит. А интелы и по 200рублей бывают. Можно поточнее характеристики, модели, функции.
Пока я вижу разницу только в наличии функции Flow Control, которая, ввиду разгруженного процессора, не будет иметь профита. Тем более в нашем д-линке(интерфейс ЛАН) она тоже есть.Кроме того, freebsd 7.2 не поддерживает никакие 100мегабитные карты Интела, судя по http://www.freebsd.org/releases/7.2R/hardware.html
Думаю взять Intel EXPI9301CT как LAN, а что на WAN пока не придумал. Нужно 100мегабит. В крайнем случае грамотный способ смены режима работы на 100мегабит гигабитной карты. (аналог обычного rc.conf'a где находится в pfsense? или еще как-нибудь. Пока кроме прописывания ifconfig media 100baseT/UTP ничего в голову не приходит. Может создать в /etc/rc.d/file.sh в который и вписать эту команду? Но, имхо, просто карта на 100мегабит надежнее)
На яндекс-маркете так ничего 100мегабитного не на чипсетах реалтека и д-линка не нашел =(
Cегодня заменил карту на LAN'e с D-Link DGE-528(T) на D-Link DFE-530TX+, она 100мегабитная, но может будет лучше. Ждем вечера и заказываем Intel EXPI9301CT.
Жду советов что взять на WAN интерфейс (pci, 100mbps)</maxtor></d-link></rtl8201l>
-
pingtest.net - это не совсем пинг, вернее совсем не он, не ICMP. Там с вашей машины летят пакетики на TCP или UDP порт 8080 удаленного сервера. И вот только pfsense знает в какую очередь шейпера они попадают, какой у нее приоритет и насколько она загружена вашими пользователями.
Что касается RRD Quality, то там, насколько я понял, задержки и потери пакетов определяются постоянным пингом шлюза с WANa pfSense. Как-то трудно представить себе сценарий, при котором вся ваша остальная инфраструктура могла бы на этот график хоть как-то влиять. Единственное исключение - конкретный перегруз канала. Ну еще, учитывая, что upload трафик шейпится на выходе с WAN, возможны варианты.
Отключите шейпер в момент максимальной нагрузки и посмотрите что будет. Если все нормально, то причем тут свитчи и сетевые карты? -
Кроме того, freebsd 7.2 не поддерживает никакие 100мегабитные карты Интела
:D чукча не читатель, чукча писатель :D
http://www.freebsd.org/releases/7.2R/hardware.html#ETHERNET
Adapters supported by the fxp(4) driver include:
Intel EtherExpress PRO/10
Intel InBusiness 10/100
Intel PRO/100B / EtherExpressPRO/100 B PCI Adapter
Intel PRO/100+ Management Adapter
Intel PRO/100 VE Desktop Adapter
Intel PRO/100 VM Network Connection
Intel PRO/100 M Desktop Adapter
Intel PRO/100 S Desktop, Server and Dual-Port Server Adapters
Contec C-NET(PI)-100TX (PC-98)
NEC PC-9821Ra20, Rv20, Xv13, Xv20 internal 100Base-TX (PC-98)
NEC PC-9821X-B06 (PC-98)
Many on-board network interfaces on Intel motherboards
http://www.freebsd.org/cgi/man.cgi?query=fxp&sektion=4&manpath=FreeBSD+7.2-RELEASE
The fxp driver provides support for Ethernet adapters based on the Intel
i82557, i82558, i82559, i82550, and i82562 chips. The driver supports
TCP/UDP/IP checksum offload for both transmit and receive on i82550 and
i82551. On i82559 only TCP/UDP checksum offload for receive is sup-
ported. TCP segmentation offload (TSO) for IPv4 as well as VLAN hardware
tag insertion/stripping is supported on i82550 and i82551. Wake On Lan
(WOL) support is provided on all controllers except i82557, i82259ER and
early i82558 revisions. -
Да, признаю, что ошибся с картами. Криво смотрел. Спасибо, что показали.