Popularne narzędzia AI domyślnie przesyłają do chmury OpenAI czy Anthropica informacje potrzebne do wygenerowania odpowiedzi. Mogą to być poufne dane firmowe czy fragmenty kodu źródłowego. Dla wielu firm, szczególnie działających w branżach regulowanych, to przeszkoda na drodze do wdrożenia AI. Polski startup ARK Labs rozwiązuje ten problem, umożliwiając uruchamianie tych narzędzi we własnej infrastrukturze organizacji. Już dziś w ten sposób można korzystać z Claude Code.
Deklaracja "kod nie opuszcza infrastruktury klienta" brzmi świetnie, ale skoro użytkownik korzysta z Claude’a, hostowanego przez Anthropica, to jak w ogóle działa cała operacja bez wysyłania danych na zewnątrz? CEO ARK Labs, Andreas Hestbeck, wyjaśnia, że sedno rozwiązania leży w rozdzieleniu dwóch warstw, które na co dzień funkcjonują pod jedną nazwą.
Claude Code to w istocie dwie rzeczy noszące jedną nazwę. Jest klient, czyli program na komputerze programisty, który wykonuje pracę, czyta pliki, edytuje je, uruchamia polecenia. I jest model stojący za nim. W tej konfiguracji tylko klient należy do Anthropic. Otwarto-wagowy model działa na sprzęcie klienta - tłumaczy Hestbeck.
Przedsiębiorca porównuje to do wymiany silnika przy zachowaniu tej samej karoserii: programista zachowuje interfejs i przyzwyczajenia, do których jest przywiązany, natomiast kod, prompty i całe repozytorium trafiają na kartę graficzną we własnej infrastrukturze firmy.
Nic nie trafia do Anthropica - podkreśla CEO ARK Labs
Zastrzega przy tym, że nie jest to "Claude on-prem" w dosłownym sensie: modele Anthropica pozostają własnością Anthropica, firma nie udostępnia ich wag. To, co faktycznie działa wewnątrz centrum danych klienta, to interfejs Claude Code oraz wybrany model otwarty, na przykład Kimi K3 czy Qwen.
Czytaj więcej o sztucznej inteligencji na Bizblog.pl Spider's Web:
ARK Labs obiecuje redukcję zużycia tokenów
Przy długich konwersacjach ma to być nawet 98,9 procent. Jak firmie udało się to osiągnąć? Zanim model cokolwiek odpowie, musi przeczytać całą dotychczasową rozmowę. W standardowym podejściu wszystko, co model wówczas wypracował, jest usuwane w momencie udzielenia odpowiedzi, więc przy kolejnym zapytaniu model musi przeczytać wszystko od nowa, łącznie z każdą poprzednią wymianą zdań.
ARK po prostu zachowuje ten stan. Zostaje w pamięci karty graficznej, przypisany do sesji, a kolejne wywołanie odczytuje już tylko nową część - opisuje CEO.
Efekt narasta wraz z długością rozmowy. Według wewnętrznych pomiarów firmy, przy 12 zapytaniach standardowa konfiguracja przetwarza ponad sto razy więcej danych, niż jest to faktycznie potrzebne. W przypadku ARK model odczytuje wyłącznie to, co nowe, i stąd bierze się wskaźnik 98,9 procent.
Druga część oszczędności dotyczy czasu oczekiwania. Pauza przed rozpoczęciem odpowiedzi utrzymuje się na poziomie około jednej piątej sekundy i rośnie z każdą turą, aby przy dwunastej wymianie zdań zbliżyć się do dwóch sekund. To całkiem niezły wynik, znów, osiągnięty dzięki wykorzystaniu pamięci karty graficznej.
Idea nie jest tajemnicą, każdy może o niej poczytać. Trudną częścią jest zrobienie tego w środowisku wielu klientów tak, by stan jednego z nich nigdy nie przeciekł do stanu drugiego - dodaje Hestbeck.
ARK działa nawet gdy w firmie zostanie tylko jedna karta graficzna
Jak działa taka odporność na awarie?
Infrastruktura działa dalej, nawet gdy traci dostęp do większości mocy obliczeniowej. Potrzebujemy tylko jednej karty graficznej w całej infrastrukturze, żeby system dalej pracował. Wydajność spada, ale wnioskowanie trwa, a uszkodzone karty można wymienić bez zatrzymywania czegokolwiek - tłumaczy CEO.
Wskaźnik 99 procent pochodzi z testów przeprowadzonych we własnym laboratorium firmy, gdzie połączono setki kart graficznych klasy konsumenckiej, a pojedyncze karty były wyłączane w trakcie trwającego wnioskowania, bez wcześniejszego ostrzeżenia i bez okna serwisowego.
ARK dzieli wagi modelu na fragmenty i rozprasza je po dostępnych kartach graficznych oraz serwerach. Dopóki gdzieś przetrwa jeden kompletny zestaw fragmentów, wnioskowanie jest kontynuowane. Utrata kart oznacza proporcjonalną utratę przepustowości, ale nie awarię całej platformy, i nic nie wymaga ponownego wczytywania czy restartu.
To różni nas od vLLM czy TensorRT-LLM, gdzie wypadnięcie jednej karty graficznej zabiera ze sobą całą grupę - zaznacza Hestbeck.
Dodaje, że test przeprowadzono na kartach konsumenckich, ale realną siłą platformy jest możliwość łączenia dowolnej mieszanki kart graficznych. Klienci ARK Labs zazwyczaj łączą w jednej puli karty L40S, H100, A100, B200 oraz RTX PRO 6000. to drogie karty, ale firma ma już za sobą m.in. uruchomienie modelu kodującego Devstral-2, liczącego 123 miliardy parametrów, na ośmiu kartach RTX 3060, co odpowiada sprzętowi wartemu około trzech tysięcy euro.
System, który przetrwa tylko na dopasowanych kartach H100 w czystej szafie serwerowej, nie rozwiązuje niczyjego realnego problemu - komentuje.
ARK Labs rozlicza się “za kartę graficzną”
W modelu subskrypcyjnym liczy się karta graficzna objętą zarządzeniem platformy. Klienci nie płacą więc za token czy za stanowisko.
To proste i sprawdzone podejście. Klient posiada lub wynajmuje sprzęt, co określamy skrótem BYOC, czyli bring your own compute. My licencjonujemy oprogramowanie i aktualizujemy je (wraz z SLA). Samo wdrożenie celowo nie jest naszym biznesem, robi je zespół IT klienta na podstawie naszej dokumentacji i pakietów, a my jesteśmy w to zaangażowani tylko wtedy, gdy klient sam o to poprosi - wyjaśnia Hestbeck.
Rozliczanie za kartę graficzną, jak dodaje, odpowiada sposobowi, w jaki organizacje już myślą o wydatkach na sprzęt i oprogramowanie, i jest jedynym modelem, który nie karze klienta za efektywność, ani za skalę potrzebną do wdrożenia agentów AI w całej organizacji.
A ilu klientów pozyskała firma od momentu, gdy platforma stała się dostępna pod koniec 2025 roku?
Mamy pokaźną liczbę wdrożeń (...); największego dostawcę infrastruktury IT dla sektora regulowanego i publicznego w Polsce, działającego w bankowości, administracji publicznej, ochronie zdrowia i sektorze publicznym. Nazwę ogłosimy wkrótce - mówi Hestbeck.
We własnej chmurze ARK działa od ponad roku, choć sama spółka powstała 1 września 2023 roku w Szczecinie. Wczesną rundę finansowania zamknięto w sierpniu 2024 roku z udziałem Tar Heel Capital Pathfinder oraz Navivo, firma nie ujawnia jednak kwoty.
Dyżurny spec Bizbloga od startuperii, botów, kryptokasy i wszelakich fanaberii szejków. Specjalista nowych technologii z doświadczeniem ze starych mediów. Zajmuje się opisywaniem sukcesów i porażek startupów, rozwojem rynku kryptowalut i cyfrowych finansów. Autor dwóch książek „Bitcoin. Złoto XXI wieku” i „Polski e-sport”. Publikował w „Pulsie Biznesu” i „Gazecie Wyborczej”, w „CD-Action”, „Newsweeku”, „Gościu Niedzielnym” i „Wprost”. Współtworzył Sondę 2. Uczestnik Intel Extreme Master 2021, komentował wydarzenia technologiczne dla TVN, Polsatu i Tok FM. Teraz krąży gdzieś między Rijadem a Abu Zabi.