Szybka sieć 10GBe w biurze z TP-Link

Firmy z niewielkimi zespołami, które zajmują się edycją i zarządzaniem dużych ilości danych potrzebują zwykle szybkiej i stabilnej sieci, w której wymiana plików będzie przebiegała w niezakłócony sposób.  Szczególnie jeśli zajmujemy się edycją danych multimedialnych, plików video czy też  innych dużych zbiorów danych, to docenimy szybką sieć w naszym biurze.

W tym teście przyjrzymy się, jak dodanie do obsługi standardu 10BbE w niewielkiej sieci firmowej wpłynęło na komfort pracy i szybkość przesyłania plików.  Naszym celem było przyspieszenie procesu edycji filmów oraz transferu plików między serwerem obliczeniowym a serwerem plików.

Jak wygląda nasza sieć? W lokalu znajduje się 7 komputerów PC, kilkanaście urządzeń mobilnych (telefony i tablety), drukarka sieciowa oraz 2 serwery. Jeden z nich to serwer do składowania danych z macierzą RAID o wielkości nieco ponad 100 TB i dodatkowymi dyskami SSD NVMe a drugi to serwer obliczeniowy z kartami graficznymi – także wyposażony w kilka dysków SSD.  Większość komputerów dysponuje kartą sieciową 1GbE, niektóre wspierają standard 2.5GbE. Jeden z serwerów ma 2 porty 10GbE na płycie głównej obsługiwane przez chipset Broadcom BCM57416. Cała sieć jest podpięta do Internetu złączem o prędkości do 1Gbit/s (Netia) oraz złączem zapasowym o prędkości do 200 Mbit/s (T-Mobile LTE). Za routing odpowiada router TP-Link Omada wyposażony w spore możliwości konfiguracji   – w tym tworzenia zapasowych łączy WAN.

Jakie zadania wykonujemy ? Pod względem zakresu bardzo różne – z jednej strony musimy edytować spore ilości filmów. Są one zapisywane w formie surowej na serwerze a potem edytowane na maszynie roboczej. Cześć obliczeń związanych z renderowaniem filmów dokonywana jest też na serwerze obliczeniowym. Docelowe filmy trafiają znowu na serwer plików i są gotowe do publikacji.

Drugi obszar zastosowań to obliczenia bioinformatycznie. Wymagają one zwykle sporej mocy obliczeniowej związanej z obróbką i analizą sekwencji genetycznych. Dane te mogą zajmować dziesiątki GB a czas potrzebny na wykonanie obliczeń może przekroczyć kilka godzin lub nawet kilka  dni.

Dlatego nasze serwery Supermicro są stosunkowo mocne: Epyc Rome z 48 rdzeniami, 512 GB pamięci RAM i RTX 3090 w jednej maszynie i EPYC Rome z 16 rdzeniami i 256 GB w drugiej. Niestety, tylko jeden z nich miał na wyposażeniu wbudowane złącza 10GbE co w praktyce ograniczało prędkość sieci do 1Gbit/s, bo inne jej elementy nie wspierały tej szybkości.

Naszym celem było umożliwienie szybkiego obiegu danych między stacjami roboczymi a serwerami. Na tyle szybkiego, żeby praktycznie nie było widać różnicy między kopiowaniem plików na stacjach roboczych a przenoszeniem plików między komputerami a jednym z dwóch serwerów.

Do modernizacji sieci wykorzystaliśmy sprzęt od TP-Link. Jest to 5-portowy niezarządzalny switch TL-SX105 oraz 2 karty PCIe TX-401. Urządzenia wspierają standard 10GBASE-T po kablu miedzianym i są wstecznie kompatybilne ze standardami 5, 2.5, 1 GbE oraz starszymi 100 Mb/s.

Switch został umieszczony w szafie serwerowej, gdzie można go wygodnie podpiąć do obu serwerów Supermicro krótkimi kablami Cat6.  Dwa dodatkowe kable prowadzą do stacji roboczych z których jedna ma kartę TP-Link  TX-401 10 GbE a druga wbudowaną kartę 2.5GbE. W ten sposób mamy 4 urządzenia połączone ze sobą szybkimi złączami oraz 5 komputerów spiętych standardowymi złączami 1 GbE lub WIFI.

Instalacja sprzętu TP-Link przebiegła bez problemów. Switch SX105 był od razu gotowy do pracy. Jest to switch niezarządzalny, więc oprócz podpięcia go do zasilania i wpięcia kabli, nie musimy nic więcej robić. Dwie karty sieciowe TX-401 zostały zainstalowane odpowiednio w: serwerze Supermicro z Ubuntu  22.04 oraz stacji roboczej z Windows 11. W obu przypadkach urządzenia zostały poprawnie rozpoznane i nie było potrzeby ściągania i instalacji dodatkowych sterowników.

TP-Link TL-SX105

SX1005 wyposażony jest w 5 portów 10GBbE co oznacza, że możemy naszą sieć rozszerzyć na 4 dodatkowe urządzenia. Ogólna szybkość przełączania pakietów wynosi aż 100 Gb/s. Maksymalny pobór mocy wynosi wg. producenta 21.4 W.  Urządzenie jest zamknięte w dosyć ciężkiej metalowej obudowie, co pozwala efektywnie odprowadzać ciepło. Taka konstrukcja pozwoliła na rezygnację z aktywnego chłodzenia wentylatorem. Docenią to przede wszystkim osoby, które korzystają ze switcha tuż obok miejsca pracy. W naszym przypadku, głośny serwer i tak zagłuszał wszystko, ale na szczęście znajduje się on w innym pomieszczeniu i nie przeszkadza w pracy.

Switch został zamontowany w szafie rack.

Każdy z portów wyposażony jest w dwie małe diody stanu pracy, które migają, gdy na danym porcie jest aktywność.  Prędkość połączenia możemy sprawdzić na podstawie koloru diody.

Lewa kontrolka:

• Zielona: 10Gb/s
• Pomarańczowy: 5Gb/s

Dioda z prawej:

• Zielony: 2.5 Gb/s
• Pomarańczowy: 1 Gb/s (lub wolniej)

Dane techniczne SX105 są następujące:

TP-Link TX401

Testowane karty sieciowe TX-401 przeznaczone są do montażu w złączu PCI Express 3.0 x4. Pracą karty steruje układ Marvell AQtion  AQN-107. Pozwala on realizację połączeń 10GBe na kablach Cat6 o długości do 100 metrów. Według specyfikacja Marvella, układ pobiera przy największej prędkości zaledwie 6W. W związku z tym pasywne chłodzenie niewielkim radiatorem jest wystarczające.

W zestawie znajduje się też mały śledź do montażu w serwerach 2U oraz kabel sieciowy Cat6

Karta zainstalowana  w serwerze Supermicro.

Karty sprzedawane są z dodatkowym śledziem low-profile. I faktycznie  – w przypadku montażu w serwerze Supermicro taki niski śledź okazał się przydatny. Mimo, że serwer jest formatu 4U, to w jego dolnej części umieszczono półki na dyski twarde. Płyta główna, procesor i karty rozszerzeń muszą się więc zmieścić w objętości zarezerwowanej dla serwerów 2U.

Instalacja kart zarówno w systemie Windows jak i na Ubuntu przebiegła bez problemów. Zostały one rozpoznane od razu i nie trzeba było wgrywać sterowników z dołączonej płyty.

Jeśli chcemy zwiększyć prędkość połączeń, to warto włączyć obsługę Jumbo Frames. W naszym przypadku zwiększyło to prędkość transferu danych w sieci między komputerami Windows a serwerem.  W testach obserwowaliśmy przyrost prędkości rzędu maksymalnie 10  procent. Aby na Ubuntu włączyć jumbo Frames należy wpisać komendę sudo ip link set eth0 mtu 9000 – gdzie eth0 to nazwa naszej karty sieciowej. Na Windows parametr ten zmieniamy w panelu sterowania we właściwościach karty sieciowej. Trzeba tam znaleźć na liście parametr jumbo Packet i zmienić jego wartość. Zmiana wartości jumbo Frames zadziała tylko, jeśli wszystkie połączone urządzenia go obsługują. W naszym przypadku zarówno Switch SX-105 jak i karty TX-401 oraz karty sieciowe wbudowane w serwer Supermicro obsługiwały zwiększony rozmiar ramek.

Testy

Testy wykonaliśmy na kilka sposobów:

• Programem nperf3 zainstalowanym na serwerze Ubuntu oraz drugim serwerze i stacjach roboczych
• Kopiując pliki przez NFS w Linuksie
• Kopiując pliki przy użyciu protokołu Samba między serwerem a stacją roboczą Windows.

Testy nperf3

W przypadku testów nperf3 wyniki były jak poniżej. Widać, że w połączeniach między serwerami karty osiągają prędkość zbliżoną do maksymalnej – 9.4 Gbit/s pozwala nam przesłać dane o wielkości ponad 1 gigabajta w ciągu sekundy.

Połączenia między dwoma serwerami

W połączeniach ze stacjami roboczymi Windows prędkość ze stacją wyposażoną w kartę TX-401 wyniosła ok 7.06 Gbit/s co przełożyło się na transfer ok 840 megabajtów na sekundę.  Też bardzo dobrze, biorąc pod uwagę znacznie większą długość kabla.

Połączenie ze stacją roboczą Windows

Połączenie z komputerem wyposażonym we wbudowaną kartę 2.5 GbE także wyczerpało możliwości układu karty. Transfery sięgały 2.37 GBit/s

Połączenie ze stacją roboczą Windows z kartą 2.5Gbit/s

A jak wyglądały testy transferu dla połączeń NFS między oboma serwerami?

Tutaj prędkość była też bardzo dobra – kopiowanie przez NFS dało średni wynik ok 1.16 GB/s dla pliku o wielkości 70GB.  Warto dodać, że pliki były kopiowane  między szybki dyskami SSD NVMe.

Transfer plików między serwerami przekraczał 1 GB/s co wyczerpywało możliwości łącza 10 Gbit/s

Samba

Połączenie przy użyciu protokołu Samba, który jest często wykorzystywany do podłączenia dysków sieciowych w systemie Windows wykazało  prędkości sięgające 400-500 MB/s. Tutaj mieliśmy jednak do dyspozycji wolniejszą macierz z tradycyjnymi dyskami twardymi. Przełączenie na szybsze dyski zwiększyło transfer do ok 650 MB/s

Kopiowanie w systemie Windows

Podsumowanie

Podniesienie standardu sieci do 10 GbE wydatnie zwiększyło komfort pracy. O ile w przypadku przeglądania sieci i ściągania plików z Internetu nie zauważymy różnicy (łącze ze światem i tak jest ograniczone do 1 Gbit/s), o tyle kopiowanie i edycja dużych plików wewnątrz sieci znacznie przyspieszyła.  Przykładowo, ściągnięcie liczącego 50GB pliku zajmuje ok. minutę zamiast 10 minut. A film można otwierać i edytować bezpośrednio w katalogu na serwerze lub błyskawicznie pobrać na swój komputer.

Można śmiało stwierdzić, że  – w przypadku dużych danych – zwiększenie prędkości sieci na 10Gbit/s znacząco przyspieszyło codzienne zadania. Otwieranie plików, transfer z i do serwera trwają sekundy lub ułamki sekund. Byliśmy bardzo zadowoleni z tej zmiany. Nowy sprzęt TP-Link pracował stabilnie. Nie zauważyliśmy też problemów ze zmniejszeniem prędkości połączenia. Mimo sporych temperatur we wnętrzu serwerów, karty PCIe pracowały stabilnie. 

Przy takiej aktualizacji należy pamiętać o kilku sprawach:

• Do osiągnięcia pełnej prędkości wymagane jest, żeby wszystkie komponenty obsługiwały prędkość 10Gbit/s. Dotyczy to zarówno switcha jak i kart sieciowych. Ważne jest też odpowiednie okablowanie – najlepiej Cat6.
• Może się zdarzyć, że sieć będzie wręcz zbyt szybka jak na posiadany sprzęt. Współczesne dyski talerzowe osiągają transfery rzędu 250 MB/s a SSD SATA ponad 500 MB/s. Dopiero utworzenie macierzy RAID pozwoli zwiększyć prędkość transferu na tyle, żeby wykorzystać możliwości takiej sieci. W przypadku dysków SSD NVMe znacznie łatwiej będzie osiągnąć odpowiednią prędkość bez potrzeby tworzenia macierzy.
• Szybka sieć lokalna 10 Gbit/s nie zwiększy naszej prędkości pobierania plików z Internetu w domach lub niewielkich biurach, bo szybkości oferowane przez większość operatorów nie przekraczają 1 Gbit/s. Zwiększenie prędkości transferu będzie dotyczyło wyłącznie sieci lokalnej.
• 5-portowy switch może być dla większych biur niewystarczający. W takim wypadku warto rozważyć zakup modelu SX-1008 z 8 portami lub bardziej zaawansowanych modeli zarządzalnych.

Jak wygląda cenowo taki zestaw ? Za switch TL-SX105 przyjdzie nam zapłacić ok 1400 zł (stan na maj 2023). Za karty sieciowe TX-401 ok 410 zł. Nie jest to sprzęt tani, ale jeśli zależy nam na dużej prędkości i stabilności to warto rozważyć jego zakup, bo przełoży się on na lepszą efektywność pracy.

Marcin Horecki