Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Потери пакетов при увеличении нагрузки

    Scheduled Pinned Locked Moved Russian
    41 Posts 8 Posters 27.1k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • G
      goliy
      last edited by

      Доброе время суток, уважаемые господа сетевики!
      Вопрос достаточно простой, но требует большого опыта в раздаче интернета.

      Имеем работающий сервер, чистый, только что установленный, функция одна - НАТ:
      1.2.3-RELEASE
      built on Sun Dec 6 23:21:36 EST 2009
      FreeBSD 7.2-RELEASE-p5 i386

      Intel(R) Core(TM)2 CPU 6300 @ 1.86GHz

      WAN сетевая карта - встроенная, на 100mbps, re0 (RTL8201L)
      LAN сетевая карта - торчит в pci слоте, на 1000mbps, D-link DGE-528T, (на чипсете rtl8169s)

      c LAN'a траффик идет к свичу D-link DES-1024D, а от него дальше, по большим и маленьким свичам равномерно распределяя канал 50/25mbps(down/up) на 50-100 пользователей. Месячный оборот траффика около 7-8 Тб.

      Проблема в потере пакетов. pingtest(pingtest.net) показывает от 2 до 18 процентов в пиковое время (19:00 до 01:00), на графиках же все еще хуже (см. в приложении).

      Соответственно, в моменты отдыха все лучше, потери стремятся к 1 проценту, что терпимо.

      Нагрузка на процессор минимальна, выходит дело в сетевых картах, либо в свиче, я так полагаю.

      Быть может, возможно как-то это определить? Или же неверно настроен pfsense?

      Подскажите, куда смотреть и как можно это потестировать.
      Спасибо.

      upd. Для решения проблемы потребовалось увеличить значение State table size в параметрах Advanced.
      Спасибо to
      "rubic" за решение проблемы! И за лучший совет, который помог диагностировать работоспособность железа. (без него были бы куплены пара ненужных сетевух и планировалось взять на тестирование большой дорогой и ненужный(в данном контексте) управляемый свич(в главной мере из-за моей некомпетенции)
      И большое спасибо всем, кто принимал участие в дискуссии!

      ![packet loss.png](/public/imported_attachments/1/packet loss.png)
      ![packet loss.png_thumb](/public/imported_attachments/1/packet loss.png_thumb)

      2.0.2-RELEASE (i386)
      Intel(R) Atom(TM) CPU 330 @ 1.60GHz
      eth: Intel 82574L
      DOM sata, 1Gb
      over 150 users

      1 Reply Last reply Reply Quote 0
      • D
        deutsche
        last edited by

        что-нибудь вроде HP V1905-48 Switch, и выбросить половину свитчей. Постоянный мониторинг по SNMP каждого порта в коммутаторе (траффик, коллизии, icmp)

        http://ru.doc.pfsense.org/

        1 Reply Last reply Reply Quote 0
        • T
          Tamriel
          last edited by

          тебе нада все узлы проверять :)  ох и геморная это штука :)

          AMD Athlon™ XP 1700+
          384MB Ram
          NanoBSD Boot Slice pfsense0 / da0s1
          Platform nanobsd (512mb)
          Version 2.0-RELEASE (i386)
          built on Wed Sep 14 09:08:10 EDT 2011

          1 Reply Last reply Reply Quote 0
          • A
            aleksvolgin
            last edited by

            WAN сетевая карта - встроенная, на 100mbps, dlink (re0)

            это как?

            читать отсюда http://forum.ixbt.com/topic.cgi?id=14:13800

            1 Reply Last reply Reply Quote 0
            • G
              goliy
              last edited by

              @aleksvolgin:

              WAN сетевая карта - встроенная, на 100mbps, dlink (re0)

              это как?

              Имелось ввиду как WAN интерфейс используется встроенная в материнскую плату сетевая карта dlink на 100мбпс.

              @Tamriel:

              тебе нада все узлы проверять :)  ох и геморная это штука :)

              Данная проблема абсолютно во всех частях сети. И зависит только от нагрузки. Т.е. если подключить только одного пользователя на любом узле - потерь не будет.

              @deutsche:

              что-нибудь вроде HP V1905-48 Switch, и выбросить половину свитчей. Постоянный мониторинг по SNMP каждого порта в коммутаторе (траффик, коллизии, icmp)

              Поменять самый дешевый Длинк на управляемый ХП это вариант, конечно. Подскажите, какие параметры критичны, на что обращать внимания при выборе. Необходимо 16 портов, примерно 10k pps(пропускная способность пакетов в секунду), и 50mbps скорость интернет канала(в перспективе увеличение до 100). Это основной свич, который идет после маршрутизатора и распределяет траффик на другие(16ти портовые) свичи.

              Но зачем выкидывать свичи? У нас до клиента самая длинная цепь это: сервер - дальше центральный свич - от него кабеля расходится на 16 этажей, и на каждом стоит 16портовый свич - от него кабеля идут по блокам, в каждом из которых еще один свич и несколько клиентов, подключенных к нему.
               Укоротить схему возможности нет, ибо это повлечет на собой рассистематизацию и провода в неконтролируемом количестве.

              Получается и свич менять и сетевухи?
              Но начать надо таки со свича, так?

              2.0.2-RELEASE (i386)
              Intel(R) Atom(TM) CPU 330 @ 1.60GHz
              eth: Intel 82574L
              DOM sata, 1Gb
              over 150 users

              1 Reply Last reply Reply Quote 0
              • A
                aleksvolgin
                last edited by

                встроенная в материнскую плату сетевая карта dlink

                ещё раз

                сетевая карта - встроенная, на 100mbps, dlink (re0)

                1 Reply Last reply Reply Quote 0
                • G
                  goliy
                  last edited by

                  Еще раз - что тут не ясно?

                  Или Вы имеете ввиду, что само собой разумеется, встроенная сетевая карта не выдерживает нагрузки?
                  Перспектива читать 55 страниц форума о том, как человек выбирает себе сетевую карту для подключению 2х домашних компьютером не кажется мне очень целесообразным

                  2.0.2-RELEASE (i386)
                  Intel(R) Atom(TM) CPU 330 @ 1.60GHz
                  eth: Intel 82574L
                  DOM sata, 1Gb
                  over 150 users

                  1 Reply Last reply Reply Quote 0
                  • D
                    deutsche
                    last edited by

                    Сетевухи конечно лучше сменить на Intel, этажные свитчи на гигабитные, главный свитч на гигабитый ну и мониторинг по всем портам в кактус (или что там у вас есть). Так вы узнайте хотябы какие блоки у вас заражены троянами ботнетов.

                    http://ru.doc.pfsense.org/

                    1 Reply Last reply Reply Quote 0
                    • G
                      goliy
                      last edited by

                      Вы считаете что имеет смысл менять свичи на гигабитные, когда соединение с провайдером все-равно 100мегабитное?

                      Управляемый свич только чтобы найти ботнеты? Не подскажете какие параметры и функции желательно иметь у свича для увеличения его производительности при наших нагрузках(оперативная, флэш память)? Пока я понял, что желательны управляемые порты. Но кроме поиска перегрузок на узлах не вижу в этом плюсов. Но я никогда не имел дело с управляемыми портами, поэтому не могу судить.

                      Сетевые сменить на интел, Intel PILA8461B, например, будет лучше нашего D-link DGE-530T (или 528го, не помню точно) или Intel PILA8460M? Будет ли разница? и за счет чего? (WAN должен быть только 100мб, т.к. там стоят медиаконвертеры, работающие только со 100мбитами)

                      2.0.2-RELEASE (i386)
                      Intel(R) Atom(TM) CPU 330 @ 1.60GHz
                      eth: Intel 82574L
                      DOM sata, 1Gb
                      over 150 users

                      1 Reply Last reply Reply Quote 0
                      • G
                        goliy
                        last edited by

                        Обнаружена очень интересная подробность!
                        При быстром увеличении дропов траффик шэйпера неимоверно подлетает потеря пакетов.

                        Сейчас 7:17 утра. Сеть разгружена. Имеем пакету пакетов 0-2%, при небольшом (10мегабит) траффике торрентов(pingtest.net). При ограничения upperlimit'a до 1% пропускной способности (256кбит) сильно подлетают дропы лишних пакетов и pingtest показывает до 52%(!!!) потерь пакетов(хотя RRD графики pfsens'a) молчат. Когда ограничение на 1% повышается до 80% - потери, фиксируемые pingtest'oм, снова приближаются к 0-2%.

                        И, внимание, при отключении шэйпера - потери стабильно 0%!

                        Жду вечера для подтверждения тестов. Пока главное предположение - все дело в дропах шэйпера.
                        Но как его "правильно" настроить - еще вопрос.

                        2.0.2-RELEASE (i386)
                        Intel(R) Atom(TM) CPU 330 @ 1.60GHz
                        eth: Intel 82574L
                        DOM sata, 1Gb
                        over 150 users

                        1 Reply Last reply Reply Quote 0
                        • E
                          Eugene
                          last edited by

                          @aleksvolgin:

                          встроенная в материнскую плату сетевая карта dlink

                          ещё раз

                          сетевая карта - встроенная, на 100mbps, dlink (re0)

                          Алекс, видимо, хочет сказать, что не d-link у тебя, а realtek.

                          http://ru.doc.pfsense.org

                          1 Reply Last reply Reply Quote 0
                          • E
                            Eugene
                            last edited by

                            Вопрос достаточно простой,

                            Тут я бы  не горячился.

                            Проблема в потере пакетов. pingtest показывает от 2 до 18 процентов в пиковое время (19:00 до 01:00), на графиках же все еще хуже (см. в приложении).

                            откуда выполняется pingtest?

                            http://ru.doc.pfsense.org

                            1 Reply Last reply Reply Quote 0
                            • G
                              goliy
                              last edited by

                              @Evgeny:

                              откуда выполняется pingtest?

                              В основном - клиентский компьютер. Иногда подсоединяется напрямую к LAN карте сервера. Иногда напрямую к кабелю провайдера.
                              Я почти уверен, что у провайдера проблем нет. И после тестов я почти уверен, что проблема связана с шейпингом

                              2.0.2-RELEASE (i386)
                              Intel(R) Atom(TM) CPU 330 @ 1.60GHz
                              eth: Intel 82574L
                              DOM sata, 1Gb
                              over 150 users

                              1 Reply Last reply Reply Quote 0
                              • E
                                Eugene
                                last edited by

                                @goliy:

                                @Evgeny:

                                откуда выполняется pingtest?

                                В основном - клиентский компьютер. Иногда подсоединяется напрямую к LAN карте сервера. Иногда напрямую к кабелю провайдера.
                                Я почти уверен, что у провайдера проблем нет. И после тестов я почти уверен, что проблема связана с шейпингом

                                С консоли pfSense попробуй.
                                Что-то мне подсказывает, что это не "проблема связана с шейпингом", а как раз шейпинг в работе. Радоваться нужно! Шейпинг работает -)

                                http://ru.doc.pfsense.org

                                1 Reply Last reply Reply Quote 0
                                • G
                                  goliy
                                  last edited by

                                  Извиняюсь, что сразу не пояснил до конца - pingtest это тест с сайта pingtest.net.
                                  С самого же маршрутизатора пинг летает успешно(как, собственно, и с клиентских машин), а проблемы я смотрю по RRD графикам.

                                  Работающий шейпинг мы прошли уже очень давно =)  (http://forum.pfsense.org/index.php/topic,26220.0.html)

                                  Это конечно хорошо, но когда потери такие как на графиках - это уже огромная проблема в производительности сети. Приложения в реальном времени почти совсем не работали.

                                  Сейчас я перенастроил шейпер Визардом(видимо, вся проблема была в том, что я не правильно его настроил), в этот раз почти не меняя настроек после его работы. И с нетерпением жду вечернего краш-теста.
                                  Первый сюрприз - начал лагать веб-интерфейс. top показывает, что процессы php находятся в состоянии piperd и по очень подолгу не отвечают. Решилось - ребутом

                                  –----------------------------------------------------------------------------------------

                                  Итак, прогресса почти нет =(
                                  Снова нагрузка возрастает - потери увеличиваются. И так до тех же показателей потерь, как на приложении в первом сообщении.

                                  Пинг с сервера почти не выявляет потери(~0.5%), несмотря на графики RRD.
                                  пинг с клиенских маших - потери до 16%

                                  Главный вывод - проблема в сетевой карте LAN или со свичем.
                                  Подтвердите кто-нибудь, а =)

                                  2.0.2-RELEASE (i386)
                                  Intel(R) Atom(TM) CPU 330 @ 1.60GHz
                                  eth: Intel 82574L
                                  DOM sata, 1Gb
                                  over 150 users

                                  1 Reply Last reply Reply Quote 0
                                  • A
                                    alexandrnew
                                    last edited by

                                    1 народ прав :) ни длинк, ни тем более реалтек - не годны для подобного трафика :)
                                    з.ы. как пример - почему то VMWARE ESX их не поддерживают :)
                                    2 какая загрузка собстенно на пк? память? проц ? что немаловажно - винты?  если у тебя логи какие то пишутся может не хватать…
                                    по процу - если график такая же "гребенка" как и с потерями - то надо задуматься, + какое ядро стоит?
                                    но 90% что таки сетевуха, возьми и поставь интел, для начала...

                                    1 Reply Last reply Reply Quote 0
                                    • G
                                      goliy
                                      last edited by

                                      Еще раз:
                                      Интерфейс LAN - сетевая карта re0: <rtl8201l 10="" 100="" media="" interface="">Интерфейс WAN - сетевая карта re1: <d-link dge-528(t)="" gigabit="" ethernet="" adapter="">Использование жесткого диска(32253MB <maxtor 4k040h2="" a08.1500="">) - 0%
                                      Использование оперативной памяти - максимум(2Gb) 5-6%
                                      Использование процессора(Intel(R) Core(TM)2 CPU 6300 @ 1.86GHz) - максимум до 15-20% доходит. Но обычно 5-12%.

                                      С этим - все в порядке.

                                      Насчет сетевой карты - Какую посоветуете? И на что смотреть при выборе? Какие параметры критичны? Что в реалтеках/длинках не так?
                                      Ведь есть у них качественное оборудование. У билайна, например, все оборудование, кроме самых больших, шлюзовых элементов, стоят д-линки. Странно выглядят советы - просто сменить на Интел. Сейчас в сервере не самый худший д-линк(D-link DGE-528T) на интерфейсе ЛАН стоит. А интелы и по 200рублей бывают. Можно поточнее характеристики, модели, функции.
                                      Пока я вижу разницу только в наличии функции Flow Control, которая, ввиду разгруженного процессора, не будет иметь профита. Тем более в нашем д-линке(интерфейс ЛАН) она тоже есть.

                                      Кроме того, freebsd 7.2 не поддерживает никакие 100мегабитные карты Интела, судя по http://www.freebsd.org/releases/7.2R/hardware.html

                                      Думаю взять Intel EXPI9301CT как LAN, а что на WAN пока не придумал. Нужно 100мегабит. В крайнем случае грамотный способ смены режима работы на 100мегабит гигабитной карты. (аналог обычного rc.conf'a где находится в pfsense? или еще как-нибудь. Пока кроме прописывания ifconfig media 100baseT/UTP ничего в голову не приходит. Может создать в /etc/rc.d/file.sh в который и вписать эту команду? Но, имхо, просто карта на 100мегабит надежнее)

                                      На яндекс-маркете так ничего 100мегабитного не на чипсетах реалтека и д-линка не нашел =(

                                      Cегодня заменил карту на LAN'e с D-Link DGE-528(T) на D-Link DFE-530TX+, она 100мегабитная, но может будет лучше. Ждем вечера и заказываем Intel EXPI9301CT.

                                      Жду советов что взять на WAN интерфейс (pci, 100mbps)</maxtor></d-link></rtl8201l>

                                      2.0.2-RELEASE (i386)
                                      Intel(R) Atom(TM) CPU 330 @ 1.60GHz
                                      eth: Intel 82574L
                                      DOM sata, 1Gb
                                      over 150 users

                                      1 Reply Last reply Reply Quote 0
                                      • R
                                        rubic
                                        last edited by

                                        pingtest.net - это не совсем пинг, вернее совсем не он, не ICMP. Там с вашей машины летят пакетики на TCP или UDP порт 8080 удаленного сервера. И вот только pfsense знает в какую очередь шейпера они попадают, какой у нее приоритет и насколько она загружена вашими пользователями.
                                        Что касается RRD Quality, то там, насколько я понял, задержки и потери пакетов определяются постоянным пингом шлюза с WANa pfSense. Как-то трудно представить себе сценарий, при котором вся ваша остальная инфраструктура могла бы на этот график хоть как-то влиять. Единственное исключение - конкретный перегруз канала. Ну еще, учитывая, что upload трафик шейпится на выходе с WAN, возможны варианты.
                                        Отключите шейпер в момент максимальной нагрузки и посмотрите что будет. Если все нормально, то причем тут свитчи и сетевые карты?

                                        1 Reply Last reply Reply Quote 0
                                        • A
                                          aleksvolgin
                                          last edited by

                                          Кроме того, freebsd 7.2 не поддерживает никакие 100мегабитные карты Интела

                                          :D чукча не читатель, чукча писатель  :D

                                          http://www.freebsd.org/releases/7.2R/hardware.html#ETHERNET

                                          Adapters supported by the fxp(4) driver include:

                                          Intel EtherExpress PRO/10

                                          Intel InBusiness 10/100

                                          Intel PRO/100B / EtherExpressPRO/100 B PCI Adapter

                                          Intel PRO/100+ Management Adapter

                                          Intel PRO/100 VE Desktop Adapter

                                          Intel PRO/100 VM Network Connection

                                          Intel PRO/100 M Desktop Adapter

                                          Intel PRO/100 S Desktop, Server and Dual-Port Server Adapters

                                          Contec C-NET(PI)-100TX (PC-98)

                                          NEC PC-9821Ra20, Rv20, Xv13, Xv20 internal 100Base-TX (PC-98)

                                          NEC PC-9821X-B06 (PC-98)

                                          Many on-board network interfaces on Intel motherboards

                                          http://www.freebsd.org/cgi/man.cgi?query=fxp&sektion=4&manpath=FreeBSD+7.2-RELEASE

                                          The fxp driver provides support for Ethernet adapters based on the Intel
                                              i82557, i82558, i82559, i82550, and i82562 chips. The driver supports
                                              TCP/UDP/IP checksum offload for both transmit and receive on i82550 and
                                              i82551.  On i82559 only TCP/UDP checksum offload for receive is sup-
                                              ported.  TCP segmentation offload (TSO) for IPv4 as well as VLAN hardware
                                              tag insertion/stripping is supported on i82550 and i82551.  Wake On Lan
                                              (WOL) support is provided on all controllers except i82557, i82259ER and
                                              early i82558 revisions.

                                          1 Reply Last reply Reply Quote 0
                                          • G
                                            goliy
                                            last edited by

                                            Да, признаю, что ошибся с картами. Криво смотрел. Спасибо, что показали.

                                            2.0.2-RELEASE (i386)
                                            Intel(R) Atom(TM) CPU 330 @ 1.60GHz
                                            eth: Intel 82574L
                                            DOM sata, 1Gb
                                            over 150 users

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.