Rynek sztucznej inteligencji rozwija się w ogromnym tempie. Coraz więcej firm chce uruchamiać
duże modele językowe lokalnie – bez korzystania z chmury i bez budowania kosztownej infrastruktury serwerowej.

Jednym z kierunków rozwoju są kompaktowe stacje robocze AI, które pozwalają uruchamiać modele LLM
bezpośrednio w biurze. Do tej kategorii należą między innymi:

• HP ZGX Nano G1n
• Lenovo ThinkStation PGX

Oba urządzenia wykorzystują układ NVIDIA Grace GB10 Blackwell, który łączy CPU i GPU
w jednej architekturze oraz oferuje bardzo dużą ilość zunifikowanej pamięci.
Postanowiliśmy sprawdzić, jak taka platforma radzi sobie w praktyce – szczególnie w kontekście
lokalnej inferencji modeli LLM.

Mała obudowa, duże możliwości

Pierwsze wrażenie po uruchomieniu obu urządzeń jest dość zaskakujące.
HP ZGX Nano G1n i Lenovo ThinkStation PGX są bardzo kompaktowe – znacznie mniejsze niż klasyczne serwery GPU
czy duże stacje robocze wyposażone w kilka kart graficznych.

Sprzęt bez problemu mieści się na biurku i nie wymaga specjalnej infrastruktury.
W praktyce można go traktować jako serwer AI w formacie desktop, który obsługuje lokalne modele językowe
dla kilku użytkowników jednocześnie.

Dla firm budujących środowiska AI on-premise to znacznie prostsze rozwiązanie niż infrastruktura
oparta o wiele kart GPU.

128 GB pamięci – największa zaleta platformy

Najważniejszym elementem platformy Grace GB10 jest 128 GB zunifikowanej pamięci RAM,
z której mogą korzystać zarówno CPU jak i GPU.

Dla porównania – nawet profesjonalna karta NVIDIA RTX PRO 6000 Blackwell posiada maksymalnie
96 GB pamięci VRAM.

Według producenta komputery z układem Grace GB10 mogą obsługiwać modele nawet do
200 miliardów parametrów. W naszych testach uruchamialiśmy między innymi model
GPT-OSS 120B.

Model uruchomiony przy pomocy Ollama generował średnio około
40 tokenów na sekundę.