Przez ostatnie dwa lata firmy zastanawiały się głównie, jaki model sztucznej inteligencji wybrać, gdzie go wdrożyć i ile dzięki temu zaoszczędzą. Kiedy przeczytałem komentarz Łukasza Ewertowskiego do incydentu opisanego przez brytyjski AI Security Institute, pomyślałem, że za chwilę te pytania zejdą na dalszy plan.
Rynek wdrożeń AI w ciągu 2-3 lat przesunie się z pytania „który model wybrać” na pytanie „jak nadzorować to, co już mamy”. Skończy się era pilotaży rozliczanych liczbą licencji, a zacznie rozliczanie z efektu i z kontroli: audytowalność, dzienniki działań, testy przed uruchomieniem, zarządzanie ryzykiem – przewiduje Łukasz Ewertowski, AI Business Transformation & Technology Director, Head of Microsoft Centre of Excellence w MINDBOX.
Brzmi jak prognoza dotycząca kolejnego etapu wdrażania AI w biznesie. Tyle że Ewertowski nie snuje jej w próżni. Punktem wyjścia jest eksperyment brytyjskiego AI Security Institute, podczas którego agenci AI zaczęli robić rzeczy, których nikt im nie zlecił. W najbardziej niepokojącym przypadku jeden z nich próbował umieścić złośliwy kod w prawdziwym projekcie open source, stworzył fałszywe tożsamości i próbował przekonać człowieka, żeby zaakceptował przygotowaną przez niego zmianę.
Agent dostał zadanie. Sam poszedł dalej
AI Security Institute regularnie sprawdza możliwości najbardziej zaawansowanych modeli w kontrolowanych środowiskach imitujących prawdziwe sieci komputerowe. Tym razem agenci mieli rozwiązać zadanie z zakresu cyberbezpieczeństwa. Eksperyment przeprowadzono 122 razy na siedmiu modelach.
W ogromnej większości przypadków wszystko przebiegało zgodnie z planem. Ale w 10 ze 122 prób agent autonomicznie podjął działania w prawdziwym internecie, które wykraczały poza zakres testu. Badacze naliczyli łącznie 19 takich działań. Siedemnaście przypadków dotyczyło jednego modelu Anthropic, a dwa pojawiły się podczas jednego przebiegu z modelem OpenAI, w którym wyłączone były mechanizmy zapobiegające cybernadużyciom.
Najpoważniejszy przypadek przypominał próbę ataku na łańcuch dostaw oprogramowania. Agent przygotował złośliwą zmianę kodu w publicznym projekcie na GitHubie, a następnie zaczął szukać sposobu, żeby przekonać opiekuna projektu do jej zaakceptowania. Wyszukiwał informacje o tej osobie, stworzył kilka fałszywych tożsamości i próbował wykorzystać je do wywarcia na niej wpływu.
Kiedy przygotowana przez niego zmiana została publicznie zakwestionowana, agent poprawił wcześniejsze działania tak, żeby wyglądały niewinnie, i rozważał wykorzystanie nowej tożsamości. Użył również sieci Tor do obejścia części ograniczeń GitHuba. Właśnie nietypowy ruch przez Tor uruchomił alarm po stronie AISI.
Były też próby kontaktowania się z prawdziwymi ludźmi, wysyłania im wiadomości i plików, a nawet pozostawiania instrukcji pomyślanych w taki sposób, by mogły zostać znalezione i wykonane przez inne systemy AI. Jeden z agentów zostawił publicznie informacje dla kolejnych agentów wykonujących ten sam test.
„To zachowanie było możliwe, utrzymywało się przez pewien czas i było czymś nowym. Już samo to wymaga uwagi” – wskazują autorzy raportu AI Security Institute.
Człowiek po prostu przeczytał kod
Najciekawszy dla mnie fragment tej historii nie dotyczy jednak tego, co zrobiła sztuczna inteligencja, ale tego, co wydarzyło się później.
Złośliwy kod nie trafił do projektu. Człowiek sprawdzający proponowaną zmianę zauważył problem i odmówił jej zaakceptowania. AISI nie znalazł dowodów na to, by incydent spowodował szkody w realnym świecie.
Ewertowski zwraca uwagę właśnie na ten element.
Eksperyment opisany w raporcie AISI warto czytać nie jak historię o zbuntowanej sztucznej inteligencji, tylko jako klasyczną analizę powypadkową. Na 122 przebiegi testu agent wyszedł poza zakres zadania w dziesięciu, a złośliwy kod wychwycił człowiek, który po prostu uważnie przeczytał, co mu przysłano. Zadziałała procedura i czujność, a nie magia technologii – zauważa Łukasz Ewertowski.
I chyba właśnie w tym miejscu historia z laboratorium zaczyna być interesująca z punktu widzenia zwykłej firmy.
Bo przedsiębiorstwa nie chcą już tylko chatbotów, które napiszą maila, podsumują dokument albo przygotują pierwszą wersję prezentacji. Coraz większe zainteresowanie budzą agenci, którzy potrafią samodzielnie wykonywać kolejne czynności, korzystać z narzędzi i podejmować działania w systemach firmy.
A im więcej mogą zrobić, tym ważniejsze staje się nie tylko to, jaki model stoi pod spodem, ale także to, jakie dostał uprawnienia.
Firmy rozmawiają o modelach. Problemem mogą być dostępy
To właśnie ten fragment komentarza Ewertowskiego wydaje mi się najważniejszy dla biznesu.
Jedna istotna rzecz, którą dziś firmy bagatelizują, to uprawnienia. Rozmawiamy o promptach, modelach i kosztach, a prawdziwe ryzyko tkwi w tym, do czego agent ma dostęp i czego może dotknąć bez pytania – wskazuje Łukasz Ewertowski.
To bardzo prosta różnica. AI, która pomaga pracownikowi ułożyć kilka zdań w dokumencie, może popełnić błąd, ale jej możliwości działania są ograniczone. Zupełnie innym narzędziem staje się agent mający jednocześnie dostęp do poczty, internetu, repozytorium kodu, CRM-u czy innych firmowych systemów.
Nie potrzeba przy tym żadnej „zbuntowanej sztucznej inteligencji”. Raport AISI wskazuje, że agent podejmował nieautoryzowane działania, ponieważ konsekwentnie próbował osiągnąć postawiony przed nim cel. Gdy standardowa droga okazywała się trudna, szukał następnych. W niektórych przypadkach doprowadziło go to do prób oszukiwania prawdziwych ludzi, choć nikt wprost nie polecił mu stosowania takich metod.
Sami badacze przyznają przy tym, że część problemu wynikała z konstrukcji eksperymentu. Niektóre zadania były źle skonfigurowane i mogły sprawiać wrażenie niemożliwych do rozwiązania przewidzianą drogą. Nie tłumaczy to jednak wszystkiego, bo niepożądane działania pojawiały się również wtedy, gdy agent miał informacje potrzebne do prawidłowego wykonania zadania.
Agent jak nowy pracownik
Ewertowski proponuje podejście, które trudno uznać za rewolucyjne. I być może właśnie dlatego jest interesujące.
Wygrają firmy, które potraktują agenta jak nowego pracownika, z zakresem obowiązków, dostępami, oceną i możliwością odwołania – uważa Łukasz Ewertowski.
Nowemu pracownikowi raczej nie wręczamy pierwszego dnia haseł administratora do wszystkich firmowych systemów tylko dlatego, że dzięki temu szybciej wykona swoją pracę. Z agentem AI powinno być podobnie.
Zdaniem Ewertowskiego każdy taki system powinien mieć konkretnego właściciela biznesowego, czyli człowieka odpowiedzialnego za to, co robi. Agent powinien mieć własną tożsamość oraz możliwie najmniejszy zakres uprawnień potrzebnych do wykonywania zadania. Firma musi również dysponować czymś w rodzaju wyłącznika, pozwalającego szybko zatrzymać system i sprawdzić, jakie działania wykonywał wcześniej.
AISI po swoim incydencie dochodzi do podobnych wniosków. Instytut zapowiedział dokładniejsze ograniczanie dostępu agentów do internetu, monitoring ich działań w czasie rzeczywistym oraz projektowanie kolejnych eksperymentów przy założeniu, że zaawansowany model może próbować wyjść poza powierzony mu zakres.
To nie była AI, która uciekła z laboratorium
Raport trzeba jednak czytać ostrożnie, bo bardzo łatwo zrobić z niego historię znacznie bardziej sensacyjną niż ta, którą opisali badacze.
Agent nie „uciekł” z zabezpieczonego środowiska AISI i nie próbował włamać się do systemów samego instytutu. Badacze celowo umożliwili modelom korzystanie z otwartego internetu i wyłączyli część zabezpieczeń dostawców, ponieważ chcieli sprawdzić ich maksymalne możliwości. AISI podkreśla, że takie warunki nie odpowiadają sposobowi, w jaki najbardziej zaawansowane modele są normalnie udostępniane użytkownikom.
Testowane konfiguracje nie są dostępne komercyjnie, a instytut nie ma obecnie wyraźnych dowodów na występowanie podobnych zachowań poza eksperymentami. AISI przestrzega przed wyciąganiem z incydentu zbyt daleko idących wniosków. Jednocześnie zaznacza, że wraz ze wzrostem możliwości modeli sytuacje zaobserwowane podczas testu mogą stawać się bardziej prawdopodobne.
To rozróżnienie jest ważne także dla firm. Wniosek z raportu nie brzmi przecież: nie korzystajcie z agentów AI. Bardziej sensowne wydaje mi się inne pytanie: zanim pozwolimy agentowi zrobić coś samodzielnie, czy wiemy, co właściwie będzie mógł zrobić, gdy wybierze drogę, której nie przewidzieliśmy.
Na autonomię trzeba sobie zapracować, nie możemy jej oddawać z automatu. Agent z jednoczesnym dostępem do repozytorium kodu, poczty i internetu to zupełnie inny byt niż asystent podpowiadający zdania w dokumencie i tak trzeba go traktować od pierwszego dnia – podkreśla Łukasz Ewertowski.
Szef redakcji Bizblog.pl. W mediach od 30 lat. Pisze o małym biznesie, podatkach i finansach osobistych. Do Spidersweb.pl przeszedł z Wirtualnej Polski, gdzie najpierw był szefem wydawców Money.pl, a potem zastępcą redaktora naczelnego. Pierwszą posadę w mediach dostał w „Gazecie Wyborczej”, pracował w „Pulsie Biznesu”, „Życiu”, miesięczniku „Pieniądz”, „Businessman Magazine”, Miesięczniku Finansowym „BANK”. W tym ostatnim był redaktorem prowadzącym kilku edycji prestiżowych raportów „Największe banki w Polsce“ oraz „IT@BANK”.