drixter’s blog

Wczoraj miała miejsce awaria którą chyba prawie wszyscy w Polsce odczuli. Poniżej wyjaśnienie co tak naprawdę się stało.

“W związku z wczorajszym incydentem w węźle wymiany ruchu PLIX, który spowodował awarie u większości operatorów wpiętych do naszego węzła, pragnę wyjaśnić jego przyczyny oraz działania które podjęliśmy w celu uniknięcia takiej sytuacji w przyszłości. Nie wdając się w szczegóły techniczne, wczoraj o godzinie 13:04 do urządzeń PLIX z portu jednego z operatorów pojawił się sztorm pakietów, który w kilka chwil osiągnął ruch na poziomie 800Mbps i 650kpps. Porty uczestników o przepływności 1GE wysaturowały się, a na portach 10GE nie wytrzymały routery. Chwilę później w PLIX pojawił się ruch z drugiego węzła wymiany ruchu, co spowodowało pętlę zarówno pakietów Unicast jak i Multicast. Zabezpieczenia na portach urządzeń PLIX powinny były uniemożliwić propagację tego ruchu w takiej ilości, jednakże zabezpieczenia te okazały się niewystarczające. Urządzenia PLIX działały przez cały czas awarii, niemniej ilość pakietów wysyłanych do urządzeń uczestników doszła do poziomu 1.2Mpps, co skutecznie zablokowało większość routerów podpiętych do PLIX. Ilość ruchu była tak duża, że każda próba namierzenia adresu źródłowego tych pakietów, kończyła się zablokowaniem maszyn na których te próby przeprowadzaliśmy. Źródło awarii zostało namierzone a sytuacja opanowana o godzinie 14:08 i od tego czasu infrastruktura PLIX jest wolna od wszelkich pętli. Za zaistniałe zdarzenie, w imieniu PLIX, przepraszamy. Informujemy również, że w ciągu najbliższego tygodnia zostanie przygotowane rozwiązanie techniczne propozycji zabezpieczeń jakie będziemy chcieli wprowadzić w PLIX, celem zabezpieczenia przed atakami publicznego VLANu PLIX. Rozwiązanie to zostanie przedstawione Radzie Ekspertów PLIX, celem wypracowania spójnego rozwiązania na przyszłość. Sylwester Biernacki”

This entry was posted on piątek, grudzień 12th, 2008 at 20:14 and is filed under Hardware.