Allegro Pay przetwarza miliony transakcji dziennie, a za każdą z nich kryje się góra danych: kliknięcia, płatności, oceny zdolności kredytowej, sprawdzanie danych adresowych, zdarzenia w mikroserwisach. Tym, jak ta masa informacji jest zbierana, porządkowana i udostępniana zespołom, zajmuje się kilkudziesięcioosobowy dział analityki. O kulisach tej pracy rozmawiamy z Pawłem Trzeciakowskim, który prowadzi zespół odpowiedzialny za jakość i zarządzanie danymi.
W wywiadzie Trzeciakowski tłumaczy, jak wygląda analityka od środka: od definicji metryk nowego produktu, aż po gotowy dashboard do śledzenie sukcesu premiery. Opowiada też, gdzie w tym procesie pojawia się AI i dlaczego - mimo postępu technologicznego - największym wyzwaniem pozostaje nie kod, lecz komunikacja między ludźmi.
Karol Kopańko, Bizblog.pl Spider's Web: Ile osób pracuje w dziale analityki Allegro Pay?
Paweł Trzeciakowski, Data Management Team Lead, Allegro Pay: Około 25. W moim zespole, zajmującym się jakością danych i zarządzaniem nimi, mam pięć osób.
Przyjrzyjmy się więc pracy twojego zespołu na przykładzie pracy nad nowymi produktami dla Allegro Pay. Jak do tego podchodzicie?
Na początku product manager odpowiedzialny za dany produkt definiuje, co i jak chciałby mierzyć, aby monitorować wykorzystanie danego produktu. Na przykład: czy użytkownicy mają problemy z założeniem konta albo czy porzucają transakcję przed jej finalizacją.
Chodzi o to, aby dane pokazywały, gdzie warto ulepszyć proces. Wdrażaliśmy zresztą niedawno produkt dla naszych sprzedających i na etapie pobierania danych adresowych trafiliśmy na problem niezgodności między jedną bazą a drugą. Dzięki temu, że widzieliśmy wyraźny spadek aktywności na konkretnym etapie, byliśmy w stanie szybko zdiagnozować problem.
Wspomniałeś o niezgodnościach między bazami danych. Jak często trafiacie na takie problemy i jak wygląda proces ich systematycznego eliminowania?
Będę z Tobą całkowicie szczery - przy skali Allegro i liczbie systemów, z których korzystamy, jakość danych wymaga ciągłej kontroli i doskonalenia. Dlatego w Allegro Pay traktujemy ją jako jeden z kluczowych elementów rozwoju naszych produktów. Naszą misją jest zapewnienie, że dane, na podstawie których podejmujemy decyzje biznesowe, są wiarygodne i spójne.
Aby to osiągnąć, oparliśmy nasze podejście na zasadach Data Mesh i wielowarstwowym systemie kontroli jakości danych. Zamiast reagować dopiero wtedy, gdy pojawi się problem, projektujemy procesy tak, aby potencjalne niezgodności były identyfikowane i eliminowane możliwie najwcześniej.
Po pierwsze, wszystkie definicje eventów analitycznych utrzymujemy w dedykowanym systemie. Zanim dane trafią do warstwy analitycznej, automatyczne mechanizmy weryfikują w czasie rzeczywistym zgodność zdarzeń z ustalonym kontraktem danych. Dodatkowo stosujemy wielopoziomowe testy i monitoring, które pozwalają nam na bieżąco kontrolować jakość oraz szybko reagować na wszelkie odchylenia.
Jak testujecie?
Zaczynamy od testów jednostkowych. Na etapie developmentu Software Engineer upewnia się, czy zdarzenie trafia do chmury Snowflake’a. Następnie mój zespół sprawdza, czy zawartość pojedynczego zdarzenia jest poprawna pod kątem merytorycznym. Przeprowadzamy też testy integracyjne - sprawdzamy czy komplet zdarzeń dociera do odpowiedniej warstwy. Na koniec mamy też testy biznesowe, które pozwalają na upewnienie się, czy zapisane zdarzenia rzeczywiście poprawnie odwzorowują docelowy proces biznesowy.
Większość ze wspomnianych przeze mnie testów jest zautomatyzowana a poziom jakości danych jest zdefiniowanych w naszych celach i na bieżąco monitorowany.
Na koniec: tworzymy tzw. produkty danowe i udostępniamy je pozostałej części organizacji jako sprawdzone źródło prawdy wymagane do raportowania.
I co dzieje się, gdy macie już zdefiniowane metryki?
Równocześnie powstaje produkt - jego warstwa wizualna i bazodanowa. Do tego dochodzą mikroserwisy, które pod spodem realizują różne funkcjonalności. I właśnie do tych ostatnich podpinamy tzw. zdarzenia. Na przykład: jeśli użytkownik płaci jednym kliknięciem za transakcję, to jest zdarzenie, które na froncie nie jest szczególnie dynamiczne, ale pod spodem inicjuje wiele procesów: autoryzację czy ocenę zdolności kredytowej. Wszystko to zostawia własne ślady, które agregujemy.
Oczywiście w erze AI nie tworzymy wszystkiego od zera sami. Mamy agentów z dostępem do wcześniejszych implementacji, którzy wiedzą, jak projektować zdarzenia na podstawie naszego kontekstu. Dzięki temu w kilkanaście minut mamy gotowy materiał do dyskusji. Przyspieszamy pracę i jednocześnie zmniejszamy ryzyko, że coś pominiemy.
I po jakim czasie product manager może przeanalizować zdarzenia na własnym dashboardzie?
Częstotliwość odświeżania jest zależna od priorytetów, ale w ciągu godziny powinny być dostępne. To szczególnie istotne na początku wdrożenia nowego produktu, kiedy wszyscy są zainteresowani jego sukcesem czy potencjalnymi problemami i odświeżają dashboardy.
Te ostatnie to zresztą kolejna rzecz, która zmienia się w dobie generatywnej AI. Dziś PM może sobie przygotować dashboard samodzielnie. Na platformie Snowflake AI Data Cloud można wykorzystać Cortex Code (CoCo) do zbudowania dashboardu, któremu przedstawia się metryki i cele - bez angażowania IT. Taki dashboard - nawet w fazie eksploracyjnej - jest świetnym punktem wyjścia do rozmowy i stanowi fundament dla budowy bardziej dojrzałych produktów dla zarządzających.
PM może teraz samodzielnie tworzyć dashboardy. Czy nie rodzi to ryzyka błędnych interpretacji przez osoby bez kompetencji analitycznych?
To bardzo trafne pytanie. Udostępniając narzędzia analityczne, dużą wagę przykładamy do wspólnych standardów pracy z danymi oraz edukacji użytkowników. Choć warto podkreślić, że nasi PM-owie to osoby o silnych kompetencjach technicznych, co znacząco ułatwia wdrożenie tego typu procesów.
Wierzymy, że rozwiązaniem nie jest blokowanie dostępu do danych, ale mądre partnerstwo i edukacja.
Dlatego nie chcemy zostawić Product Managerów samych sobie. Budujemy ramy, które dają PM-om swobodę, ale jednocześnie zabezpieczają organizację przed analitycznym chaosem:
Jak już wspomniałem dostarczamy produkty danowe, które są sprawdzonym, bardzo dobrym jakościowo źródłem informacji do dalszych analiz.
Ponadto każdy dashboard ma przypisanego właściciela i jest częścią danej domeny biznesowej, do której przypisany jest członek zespołu odpowiedzialnego za dane. To gwarantuje, że dane mają swojego merytorycznego opiekun.
Wreszcie ścisła współpraca, w tym przegląd (tzw. Code review) i ciągła edukacja. To pozwala na ciągłe usprawnianie naszych procesów.
Podsumowując, mimo że jesteśmy na początku drogi to wierzę, że obrana przez nas jest tą właściwą.
Jakie w całym procesie widzisz największe wyzwania z punktu widzenia analityki?
To nie technologia, ale komunikacja jest największym wyzwaniem. Przywiązujemy dużą wagę do uzgodnienia, że to co robimy spełnia wymagania wszystkich interesariuszy.
Czyli kogo konkretnie?
Mamy wielu interesariuszy: product managerów, którzy chcą widzieć dane w określony sposób, deweloperów, którzy muszą zaimplementować emisję zdarzeń, analityków przygotowujących dane, ludzi od ryzyka kredytowego przygotowujących modele i na górze - zarządzających. Trzeba to wszystko zgrać, biorąc pod uwagę różne interesy.
A AI tu pomaga czy przeszkadza?
Odpowiem na przykładzie dokumentacji. W jej przypadku stawiamy na czytelność, natomiast LLM-y z łatwością mogą nas zalać mnóstwem informacji. Czytelnik będzie wówczas musiał z trudem przekopywać się przez rozbudowany dokument i dokonywać syntezy. Dlatego - choć korzystamy z AI - człowiek jest niezbędny w całym procesie. To on podejmuje decyzję o kolejnych krokach i jest odpowiedzialny za całość wyników pracy. Coraz częściej AI pracuje również w tandemie z człowiekiem. Człowiek sprawdza jej raporty albo odwrotnie.
Jak to konkretnie wygląda?
Korzystamy tu z tzw. skilli, czyli instrukcji przygotowanych pod konkretne zadania. Kiedy jest to sprawdzenie specyfikacji produktu, to instruujemy AI, aby sprawdzała, czy w dokumentacji został zaimplementowany konkretny słownik walut. Jeśli to przygotowanie data lineage, to wrzucamy wskazówki, gdzie na platformie Snowflake AI Data Cloud szukać metadanych.
Skoro AI przejmuje coraz więcej zadań technicznych, jak zmienia się rola analityka w Allegro Pay? Jakich kompetencji szukacie dziś w nowych osobach?
Masz absolutną rację. Jako manager, który na co dzień blisko współpracuje z fantastyczną, pięcioosobową ekipą Data Product Managerów, widzę to bardzo wyraźnie. Powtarzalne, techniczne zadania powoli przestają być barierą, a krajobraz analityczny zmienia się na naszych oczach.
W obszarze Data & AI rola analityka mocno ewoluuje. Zamiast skupiać się wyłącznie na pisaniu zapytań, stajemy się architektami rozwiązań, dla których kluczem do sukcesu jest zarządzanie kontekstem. Dlatego, gdy dziś rekrutuję nowe osoby, zwracam uwagę na kilka elementów.
Zaczynam od precyzyjnego definiowania i delegowania zadań. Agent AI to już dziś niesamowicie wydajny współpracownik, ale nie domyśli się, co masz w głowie. Oczekuje się od analityków umiejętności rozbijania złożonych problemów na jasne, logiczne instrukcje i skutecznego delegowania technicznej realizacji sztucznej inteligencji.
Kluczowe jest też zarządzanie zmianą kontekstu. Skoro techniczna realizacja trwa krócej, automatycznie zwiększa się liczba otwartych tematów i równoległych projektów. Szukam ludzi elastycznych, którzy nie gubią się w szumie informacyjnym i potrafią płynnie przełączać się między różnymi domenami czy problemami.
Dlatego doceniam krytyczne myślenie i tzw. “właścicielstwo”. To, że algorytm "wypluł" wynik, nie oznacza, że jest on w 100% poprawny. Cenię osoby, które potrafią zakwestionować to, co widzą na ekranie, rygorystycznie weryfikują jakość i biorą pełną odpowiedzialność za końcowy produkt.
Dodałbym też biznesową empatię. Im mniej czasu spędzamy z "rękami w kodzie", tym więcej przestrzeni mamy na rozmowę z drugim człowiekiem. Sztuczna inteligencja nie pójdzie na spotkanie z zespołem biznesowym, by wyłapać niuanse procesu, doradzić i zrozumieć, co tak naprawdę ich boli. Zależy mi na osobach, które potrafią wejść w buty biznesu i być dla nich rzetelnym partnerem do dyskusji.
Dziś warsztat technologiczny dostajemy niemal na tacy. Prawdziwą wartością analityka staje się to, jak sprawnie potrafi połączyć te narzędzia z otaczającą nas biznesową rzeczywistością.
Dyżurny spec Bizbloga od startuperii, botów, kryptokasy i wszelakich fanaberii szejków. Specjalista nowych technologii z doświadczeniem ze starych mediów. Zajmuje się opisywaniem sukcesów i porażek startupów, rozwojem rynku kryptowalut i cyfrowych finansów. Autor dwóch książek „Bitcoin. Złoto XXI wieku” i „Polski e-sport”. Publikował w „Pulsie Biznesu” i „Gazecie Wyborczej”, w „CD-Action”, „Newsweeku”, „Gościu Niedzielnym” i „Wprost”. Współtworzył Sondę 2. Uczestnik Intel Extreme Master 2021, komentował wydarzenia technologiczne dla TVN, Polsatu i Tok FM. Teraz krąży gdzieś między Rijadem a Abu Zabi.