Nawet najbardziej wydajne procesory graficzne nie wykorzystają swoich możliwości, jeśli dane nie dotrą do nich na czas. Dlatego rozwój AI zmienia sposób projektowania pamięci masowej. W centrach danych coraz większego znaczenia nabiera podział na szybkie nośniki blisko GPU oraz pojemne repozytoria zasilające systemy AI.
Trenowanie modeli i ich późniejsze wykorzystywanie stawiają przed infrastrukturą odmienne wymagania. Trening potrzebuje wysokiej przepustowości i równoległego dostępu do dużych zbiorów. Inferencja, czyli generowanie odpowiedzi przez wytrenowany model, może wymagać częstszych, mniejszych odczytów oraz sprawnego dostępu do danych kontekstu.
Jedna konfiguracja pamięci masowej nie zawsze równie dobrze obsłuży oba zadania. Architekci muszą zatem zdecydować, które dane powinny znajdować się blisko zasobów obliczeniowych, a które można przechowywać w większej, współdzielonej warstwie. Od tego zależą wykorzystanie GPU i możliwość rozbudowy całego systemu.
Szybki dostęp do danych blisko GPU
Pierwszą warstwę tworzą dyski SSD klasy enterprise zoptymalizowane pod kątem obsługi obliczeń. Mają zapewniać niskie opóźnienia i przewidywalną wydajność przy wielu równoczesnych zadaniach. Obsługują między innymi ładowanie modeli, dostarczanie danych do treningu i zapisywanie punktów kontrolnych, które pozwalają wznowić przerwany proces.
Coraz ważniejszym zastosowaniem jest przechowywanie części danych KV cache. Ta pamięć podręczna zawiera pośrednie wyniki obliczeń modelu językowego, które można ponownie wykorzystać podczas generowania odpowiedzi. Pozwala to ograniczyć powtarzanie części pracy. Wraz z wydłużaniem rozmów i rozwojem agentów AI rośnie jednak ilość danych, które trzeba zachować.
Przeniesienie części KV cache na SSD może odciążać ograniczoną pamięć GPU. Dysk nie dorównuje jej szybkością, dlatego korzyści zależą od sprawnej organizacji transferów i charakteru zadań. Odpowiednio zaprojektowana warstwa pamięci flash może jednak zwiększać dostępne zasoby bez utrzymywania całości kontekstu w najdroższej pamięci akceleratora.
Pojemne repozytoria dla dużych zbiorów
Druga warstwa odpowiada za przechowywanie rozległych zbiorów danych. W repozytoriach typu data lake liczy się zarówno pojemność, jak i możliwość szybkiego udostępniania materiałów do treningu. Zasoby te mogą znajdować się poza bezpośrednim otoczeniem GPU i być dostępne przez sieć.
Takie zastosowania wspierają pojemne dyski oparte na pamięci QLC NAND, która zapisuje cztery bity w jednej komórce. Większa gęstość zapisu pozwala obniżać koszt przechowywania pojedynczego bitu, wiąże się jednak z kompromisami dotyczącymi parametrów zapisu i wytrzymałości. QLC należy więc dobierać do konkretnego obciążenia, zwłaszcza tam, gdzie dominują odczyty.
W odpowiedniej konfiguracji zastąpienie wielu dysków twardych pojemniejszymi SSD może zmniejszyć zajmowaną przestrzeń i pobór energii. Nie jest to automatyczna korzyść każdego wdrożenia. Porównanie musi uwzględniać tę samą wymaganą pojemność, wydajność oraz rzeczywisty sposób korzystania z danych.
Taki podział pozwala przeznaczyć szybsze nośniki do zadań wrażliwych na opóźnienia, a rozwiązania nastawione na pojemność do obsługi dużych repozytoriów. Dzięki temu nie trzeba stosować tej samej klasy pamięci do wszystkich danych, niezależnie od tego, jak często i w jaki sposób są wykorzystywane.
Energia i plan rozbudowy
Wraz ze wzrostem klastrów GPU dostępna moc zasilania staje się istotnym ograniczeniem. Przy ocenie pamięci masowej trzeba więc brać pod uwagę pojemność i przepustowość uzyskiwane na każdy wat, a także miejsce zajmowane w szafach serwerowych. Sama maksymalna szybkość nośnika nie wystarcza do oceny jego przydatności.
Równie ważne jest oszacowanie wzrostu danych i określenie ścieżki rozbudowy. Niedostateczna pojemność lub zbyt wolne połączenia między warstwami mogą ograniczyć wykorzystanie kosztownych zasobów obliczeniowych. Warto sprawdzić te zależności na rzeczywistych zadaniach jeszcze przed zwiększeniem skali wdrożenia.
Projektowanie infrastruktury AI wymaga dziś odpowiedzi na dwa pytania: ile pamięci masowej potrzeba i gdzie powinna się znajdować. Dopasowanie poszczególnych warstw do sposobu pracy z danymi pozwala efektywniej wykorzystać GPU oraz planować dalszy rozwój centrum danych. – Mrinal Kochar, starszy wiceprezes ds. inżynierii w Sandisk