Telefon sprawdzi, czy jedzenie nadaje się do spożycia. Wystarczy zrobić fotkę
Wystarczy zrobić zdjęcie chleba, sera czy owocu, a telefon powie, czy na produkcie pojawiła się pleśń. Brzmi prosto, ale dla osoby, która nie widzi, taka informacja może mieć kluczowe znaczenie. Właśnie nad takim rozwiązaniem pracują studenci Akademii Górniczo-Hutniczej w Krakowie, zrzeszeni w kole naukowym DataTeam.
Problem, który chcą rozwiązać, jest bardziej powszechny niż mogłoby się wydawać. Osoby z dysfunkcjami wzroku przy ocenie stanu żywności muszą polegać na węchu i dotyku, a te zmysły nie zawsze wystarczą. Pleśń na wczesnym etapie często nie pachnie i nie zmienia faktury powierzchni produktu.
Osoby niewidome często nie są w stanie samodzielnie ocenić, czy na produkcie pojawiła się pleśń. Jeśli nie jest ona wyczuwalna zapachem lub dotykiem, konieczna staje się pomoc innych osób. Chcemy stworzyć narzędzie, które zwiększy ich samodzielność i bezpieczeństwo - mówi Cyprian Szot, jeden z członków zespołu projektowego.
Aplikacja działa na prostej zasadzie: użytkownik robi zdjęcie produktu, model sztucznej inteligencji analizuje fotografię i przekazuje wynik w formie komunikatu głosowego. Rozwiązanie ma być w pełni dostępne dla osób korzystających z czytników ekranu - TalkBack na Androidzie i VoiceOver na urządzeniach Apple.
Własne dane, własny model
Projekt tworzony jest przez dziewięcioosobowy zespół studentów z koła naukowego DataTeam działającego przy Wydziale Geologii, Geofizyki i Ochrony Środowiska AGH. Opiekunem naukowym jest dr inż. Mateusz Zaręba, a nad całością czuwa prof. Norbert Skoczylas, kierownik Katedry Geoinformatyki i Informatyki Stosowanej.
Kluczową częścią projektu jest zbudowanie solidnej bazy danych treningowych. Studenci korzystają z ogólnodostępnych zbiorów, takich jak platforma Kaggle, ale też aktywnie pozyskują własne materiały.
Na ten moment mamy około 5000 zdjęć, z czego zbiór złożony jest z naszych własnych zdjęć jak i zdjęć otrzymanych z archiwum przygotowanego przez grono profesorskie i studentów Wydziału Technologii Żywności Uniwersytetu Rolniczego - wyjaśnia Kacper Potaczała, kolejny zaangażowany w projekt student.
Współpraca z Wydziałem Technologii Żywności Uniwersytetu Rolniczego w Krakowie, zainicjowana przez prof. Aleksandrę Dudę, przyniosła specjalistyczne materiały, które trudno byłoby pozyskać w inny sposób. Zespół konsultował się też z twórcami centrum edukacyjnego Womai w Krakowie - połowę jego załogi stanowią dziś osoby niewidome lub słabowidzące.
Aplikacja ma działać z dostępem do internetu i bez niego
Skupiamy się na tym, by aplikacja działała z dostępem oraz bez dostępu do internetu. W wersji bez dostępu celujemy w modele lżejsze, ale jednocześnie staramy się jak najbardziej podnieść poziom predykcji. Najważniejsze jest to, że liczy się zdrowie i bezpieczeństwo korzystających z aplikacji osób - podkreśla Cyprian Szot.
Studenci zaznaczają, że choć modele offline są mniejsze i działają bezpośrednio na urządzeniu, cel jest taki, by różnica w dokładności była dla użytkownika praktycznie niezauważalna. Na ten moment zespół testuje różne architektury modeli AI i nie wskazuje jeszcze jednej docelowej skuteczności.
Aplikacje wspierające osoby niewidome w rozpoznawaniu obrazów już istnieją
Seeing AI od Microsoftu czy Be My Eyes to rozwiązania znane na całym świecie. Czym różni się projekt studentów AGH?
Nasza aplikacja różni się tym, że jest wyspecjalizowana w wykrywaniu pleśni na żywności, dzięki czemu może skuteczniej wspierać użytkowników w ocenie bezpieczeństwa produktów spożywczych. Dodatkowo wynik jest przekazywany w sposób dostępny dla osób niewidomych i słabowidzących - tłumaczy Kacper Potaczała.
Aplikacja robi jedną rzecz, ale robi ją dokładnie. Gotowy jest już podstawowy interfejs aplikacji mobilnej, system komunikatów głosowych oraz moduł do wykonywania zdjęć. Premiera pierwszej wersji planowana jest na wrzesień 2026 roku. Początkowo lista obsługiwanych produktów będzie ograniczona, ale twórcy zakładają stopniowe rozszerzanie możliwości w kolejnych aktualizacjach.
Testy z rzeczywistymi użytkownikami, w tym osobami niewidomymi i słabowidzącymi, mają odbyć się w kolejnych fazach projektu. Wstępne rozmowy z grupą docelową zostały przeprowadzone jeszcze przed uruchomieniem prac. Co do przyszłości projektu, zespół na razie skupia się na dopracowaniu technologii. Ewentualna komercjalizacja pozostaje otwartą kwestią, a głównym celem jest znalezienie sponsorów, by aplikacja mogła pozostać bezpłatna.
Nasi studenci potrafią połączyć wiedzę z zakresu analizy danych i sztucznej inteligencji z wrażliwością społeczną. Efektem jest projekt, który może zwiększyć niezależność osób z dysfunkcjami wzroku i przyczynić się do poprawy ich bezpieczeństwa - ocenia prof. Norbert Skoczylas.
Dyżurny spec Bizbloga od startuperii, botów, kryptokasy i wszelakich fanaberii szejków. Specjalista nowych technologii z doświadczeniem ze starych mediów. Zajmuje się opisywaniem sukcesów i porażek startupów, rozwojem rynku kryptowalut i cyfrowych finansów. Autor dwóch książek „Bitcoin. Złoto XXI wieku” i „Polski e-sport”. Publikował w „Pulsie Biznesu” i „Gazecie Wyborczej”, w „CD-Action”, „Newsweeku”, „Gościu Niedzielnym” i „Wprost”. Współtworzył Sondę 2. Uczestnik Intel Extreme Master 2021, komentował wydarzenia technologiczne dla TVN, Polsatu i Tok FM. Teraz krąży gdzieś między Rijadem a Abu Zabi.