SARUAV - POLSKIE OPROGRAMOWANIE, KTÓRE RATUJE LUDZKIE ŻYCIA
Dzisiaj przedstawiamy Wam jeden z najnowszych produktów w naszej ofercie, oprogramowanie SARUAV, które ułatwia i przyspiesza działania poszukiwawczo-ratownicze z użyciem dronów. Mimo, że ten powstały na Uniwersytecie Wrocławskim projekt przeszedł do stadium komercyjnego stosunkowo niedawno, to już teraz może się pochwalić pierwszymi sukcesami! Bieszczadzki GOPR skorzystał z tego systemu do poszukiwania osoby zaginionej i została ona odnaleziona właśnie dzięki SARUAV. Więcej info na ten temat znajdziecie w materiale wideo.
ZNAK CZASÓW
Drony od początku szły ramię w ramię z najnowszą technologią – nic zresztą w tym dziwnego, bo przecież gdyby nie nowoczesne, zminiaturyzowane mikroprocesory, czujniki, czy nawigacja satelitarna, świat bezzałogowych statków powietrznych wyglądałby zupełnie inaczej. Wraz z miniaturyzacją kamer cyfrowych na przestrzeni ostatnich lat mogliśmy obserwować coraz lepsze sensory i optykę montowane na gimbalach, później także w czujnikach przeszkód i nie tylko… Jedną z najnowszych technologii, która powoli przesiąka na różnych poziomach do naszych żyć jest automatyczna analiza obrazu oparta na sztucznej inteligencji.
Rozpoznawanie twarzy przez aparat fotograficzny czy telefon nikogo już nie dziwi, ale to jest zaledwie wierzchołek góry lodowej. Bardzo ciekawym przykładem wiodącego rozwiązania dronowego w tym zakresie jest Aerialtronics Pensar – inteligentna kamera dostępna z dronami Altura Zenith oraz niektórymi dronami Dronevolt. Na czym polega jej wyjątkowość? Dzięki pokładowemu mini-superkomputerowi NVIDIA JETSON kamera na bieżąco ocenia i klasyfikuje na co patrzy, oczywiście przekazując te informacje do operatora. Dzięki elastyczności tej technologii taką kamerę możemy dosłownie nauczyć rozpoznawania najróżniejszych obiektów – w tym rozpoznanie twarzy konkretnej osoby, spisanie numerów seryjnych trudno dostępnych urządzeń, identyfikacja rdzy na złączach itp. itd.
AI, UCZENIE MASZYNOWE, SIECI NEURONOWE? CO TO WŁAŚCIWIE JEST..?
Jedną z najpowszechniejszych technologii w AI (ang. Artificial Intelligence – sztuczna inteligencja) są tzw. sieci neuronowe. Jest to rodzaj algorytmu czy programu, który swoim schematem działania przypomina neuron. Innymi słowy, ma kilka wejść, którymi przyjmowane są informacje, „moduł wnioskujący”, który generuje sygnał wyjściowy na podstawie informacji wejściowych i ich wag. Następnie przetworzona informacja zostaje skierowana na wyjście i przekazana dalej. W ten sposób można porównywać np. obraz widziany przez kamerę z wcześniej utworzonym wzorcem. Co więcej, te wzorce mogą być rozwijane, a maszyny mogą być uczone nowych wzorców poprzez proces uczenia maszynowego.
Zasadniczo sprowadza się to do tego, że pokazujemy naszemu algorytmowi jak najwięcej wyselekcjonowanych zdjęć np. przedstawiających twarze i każemy mu na tej podstawie stworzyć sobie klasę obiektów o cechach twarzy. Im więcej i im lepsze dane wykorzystamy do uczenia, tym lepiej algorytm będzie te twarze wykrywał. To samo możemy zrobić z twarzą konkretnej osoby (tzn. maszyna rozróżni Jana Kowalskiego od Adama Kowalskiego), czy właściwie czymkolwiek innym. Co ciekawe, istnieją już firmy, które zajmują się uczeniem już istniejących systemów AI, czy sprzedażą baz zdjęć (i innych mediów) reprezentujących konkretne klasy obiektów właśnie pod kątem uczenia inteligentnych systemów. Innym zastosowaniem AI jest rozpoznawanie producenta i modelu drona po sygnale radiowym – z takich rozwiązań korzystają niektóre systemy antydronowe.
SUKCES UNIWERSYTETU WROCŁAWSKIEGO I SPÓŁKI SARUAV
Na Uniwersytecie Wrocławskim powstała grupa badawczo-rozwojowa, która postanowiła połączyć sztuczną inteligencję ze znaną z fotogrametrii aerotriangulacją, aby stworzyć program, który rewolucjonizuje działania poszukiwawczo-ratownicze. Przyznać trzeba, że produkt który powstał w wyniku tej kooperacji to naprawdę ciekawe, kompletne i użyteczne narzędzie. Zespół podszedł do postawionego sobie zadania z akademicką skrupulatnością, jednocześnie doskonale zdając sobie sprawę z tego, że musi to być praktyczne i łatwe w użyciu narzędzie. Cel ten został osiągnięty w 100%.
W trakcie developmentu zespół ściśle współpracował zarówno z producentami bezzałogowych statków powietrznych jak i z grupami poszukiwawczo ratowniczymi, w tym Grupą Jurajską GOPR, Fundacją im. Anny Pasek, Grupą Poszukiwawczo-Ratowniczą OSP Jarogniewice, Jednostką Ratownictwa Specjalnego OSP Wrocław i wieloma innymi. Dzięki temu projekt naukowy przerodził się w gotowy komercyjny produkt, który został wielokrotnie sprawdzony w boju.
BRZMI FANTASTYCZNIE, ALE JAK TO DZIAŁA W PRAKTYCE?
Praktyka to pierwsza rzecz, jaką twórcy mieli na myśli tworząc SARUAV. Zespół z Uniwersytetu Wrocławskiego (w składzie prof. Tomasz Niedzielski, dr Mirosława Jurecka i dr Bartłomiej Miziński) skupił się na tym, żeby program był prosty w użyciu i miał czytelny, intuicyjny workflow. Chodzi o to, aby interfejs programu był wystarczająco łatwy, żeby bez problemów i bez błędów używać go nawet w bardzo stresujących sytuacjach, pod dużą presją czasu. I rzeczywiście – sami nauczyliśmy się obsługi programu właściwie natychmiast (tuż przed pierwszą prezentacją ;) ). No dobrze, ale przejdźmy do konkretów.
Program składa się z dwóch modułów: wyznaczanie obszaru poszukiwań oraz analiza zdjęć lotniczych. W pierwszym module wprowadzamy dane: ostatnie miejsce i czas w którym widziana była osoba poszukiwana, oraz miejsce do którego ta osoba zmierzała (jeśli je znamy). Następnie podajemy promienie okręgów i czas wędrówki. Jakich okręgów? Większość jednostek poszukiwawczo-ratowniczych posiada dane dla ich terenu odnośnie tego jak daleko (w jakim promieniu) w ich rejonie może zajść konkretny rodzaj osoby (dziecko, dorosły, osoba starsza itp.). Jeśli takich statystyk lokalna jednostka nie prowadzi, to można skorzystać z istniejących opracowań naukowych, lub podpytać u producenta jakie wartości byłyby optymalne. Można też wyznaczyć je „na oko” – program i tak wyprodukuje na tej podstawie użyteczne dane w postaci kodowanej kolorystycznie mapy mobilności, która sama w sobie uwzględnia dane terenowe.
Z tego powodu licencja na program wydawana jest na konkretny obszar: ponieważ wraz z programem instalowane są mapy „rezystancji” terenowej, czyli jak łatwo/trudno po danym obszarze może poruszać się osoba piesza. Brane są pod uwagę drogi i ścieżki (które przyspieszają poruszanie), rodzaj terenu (pochyły, płaski, zalesiony, bagnisty itp.) oraz przeszkody terenowe (jeziora, rzeki itp.).
Taka mapa jest oczywiście przydatna przy planowaniu nalotu poszukiwawczego, ale może też pomóc także przy organizacji naziemnej części poszukiwań. Co więcej, na mapę możemy nanosić różne dodatkowe warstwy, na przykład zgrane z ręcznych GPSów ścieżki przejść ratwników (np. w formacie GPX).
Następnie przechodzimy do wyznaczenia terenu nalotu. To robimy w oprogramowaniu właściwym dla danego modelu drona (np. DataPilot w przypadku H520/H520E). Musimy użyć drona z kompatybilną kamerą o możliwie jak najwyższej rozdzielczości, np. Yuneec E90 czy E90x. Obsługiwana jest też większość innych popularnych marek takich jak DJI czy Autel. Lista ta jest stale poszerzana, a dzięki temu, że zespół developerski jest z Polski i reaguje bardzo szybko, nowa kamera może zostać dodana w ciągu kilku dni. Do tego wystarczą producentowi zdjęcia z nowej kamery, na podstawie których obliczone zostaną jej parametry optyczne, które są potrzebne algorytmom do triangulacji położenia wykrytego obiektu. Planując nalot należy trzymać się wytycznych producenta: musi to być nalot typu fotogrametrycznego (survey) po siatce, z kamerą skierowaną pionowo w dół, z pokryciem 70/70 (zdjęcia muszą się nakładać w 70%), piksel terenowy rzędu 3cm, rekomendowana prędkość nie większa niż 5 m/s (aby zminimalizować poruszenie zdjęć). W H520/E wszystkie te parametry z łatwością wprowadzimy w planie lotu w aplikacji lub na PC, a zaplanowanie trasy trwa nie dłużej niż minutę.
Teraz dron wykonuje nalot i wraca do operatora. Przy okazji wymiany akumulatora szybko wyciągamy z niego kartę, zgrywamy zdjęcia na komputer operatora SARUAV, po czym wysyłamy drona na następny lot. Zdjęcia są gotowe do analizy od razu po skopiowaniu na dysk. Tutaj przechodzimy do drugiego modułu, czyli właśnie analizy zdjęć. Wystarczy wskazać folder ze zdjęciami oraz miejsce startu drona i kliknąć start analizy.
Program będzie analizować wszystkie zdjęcia, od razu pokazując możliwe trafienia, tzn. nie trzeba czekać aż program zakończy analizę by zacząć oceniać wyniki. Na tym etapie operator SARUAV w panelu weryfikacji (na zdjęciu po prawej) ocenia czy jest to interesujące nas trafienie, czy tzw. fałszywy pozytyw. Program jest bowiem tak „dostrojony”, żeby na pewno nie ominąć żadnej osoby – w związku z czym zdarzają się też wykrycia obiektów podobnych do ludzi. To jest celowy zabieg, ponieważ weryfikacja zdjęcia w panelu zajmuje dosłownie sekundę i jedno kliknięcie.
Zdjęcia można oznaczyć jako trafienie (miejsce do sprawdzenia przez jednostki naziemne), chybienie (nie człowiek, lub osoby postronne), lub znak zapytania do dalszej weryfikacji. Lokalizacja każdego trafienia jest oznaczana w programie pinezką na mapie. Świetną i bardzo przydatną funkcją jest generowanie raportu, na którym znajduje się mapka sytuacyjna, oraz współrzędne i zdjęcia każdego trafienia i znaku zapytania. Taki raport generowany jest w postaci pliku html, dzięki czemu jest on lekki i można go otworzyć na niemal każdym urządzeniu.
Jak sądzę, w Waszych głowach pojawiają się podobne wątpliwości jak w mojej, kiedy usłyszałem o tym programie. Czy zgrywanie zdjęć z karty na komputer naprawdę jest konieczne? Czemu nie można pracować na obrazie przesyłanym przez drona na aparaturę? No więc po pierwsze, potrzebujemy maksymalnej możliwej rozdzielczości. Cała finezja SARUAV polega na tym, że program wykrywa osoby, które z racji wysokości przelotu zajmują mały promil kadru i przeważnie nie jest możliwe, żeby operator dostrzegł takie detale, szczególnie że trafiający do niego obraz na żywo ma w najlepszym wypadku rozdzielczość FHD. Do tego dochodzi zmęczenie, presja, stres – łatwo jest coś pominąć. Tymczasem program jest w stanie wykryć częściowo przysłonięte ciało człowieka wystające spod krzaka gdzieś na obrzeżach kadru. Ponadto bardzo ważnym aspektem tej aplikacji jest to, jak łatwo jest ją dostosować do nowych dronów i kamer – wystarczy tylko kilka zdjęć i sygnał do producenta. Służby ratownicze nie zawsze posługują się własnymi dronami – czasem pomagają im różni ochotnicy, inne jednostki lub fundacje.
Brak integracji z platformą latającą jest więc zaletą w tym sensie, że znacząco ułatwia i przyspiesza rozszerzanie listy kompatybilnych kamer. Celem jest jak najszersze upowszechnienie narzędzia w akcjach ratowniczych. O tym jak szybko zespół developerski reaguje na zapotrzebowania rynku świadczyć może nasze doświadczenie z wykryciami na wodzie – tu zastosowane algorytmy nie radziły sobie najlepiej (relatywnie dużo fałszywych pozytywów na bojkach, silnikach łodzi), ale już po kilku dniach zespół opracował nowy model detekcji wodnej, który rozwiązuje te problemy. Gdyby wszyscy producenci tak działali, to życie byłoby dużo prostsze ;).
Sama analiza zdjęć zajmuje różną ilość czasu w zależności od parametrów komputera – rekomendujemy użycie komputerów do gier (tzw. gamingowych), przede wszystkim ze względu na większy RAM i sprawną kartę graficzną. Nie są to jednak jakieś kosmiczne wymagania, a komputer który spełnia wymagania minimalne i w kilka minut przeanalizuje cały nalot kosztuje ok 4-5 tys. złotych.
Moglibyśmy jednak przekonywać o zaletach tego programu do woli – ale prawdziwe znaczenie ma zdanie tych, którzy są na „froncie” walki o życie ludzkie – czyli strażaków, ratowników i innych służb. A ci wypowiadają się jednoznacznie: jest to świetne, bardzo przydatne narzędzie, które może mieć kluczowe znaczenie w wielu akcjach. Oczywiście miejmy świadomość tego, że SARUAV nie wszędzie się spisze – np. tam, gdzie zawsze jest dużo przypadkowych osób (np. w miastach) będziemy mieli zbyt duży natłok pozytywnych trafień. Lasy z gęstymi koronami drzew również stanowią problem – ale jest to logiczne ograniczenie dla każdego sposobu prowadzenia poszukiwań z powietrza. Tym niemniej, testy w rzadszych lasach (lub kiedy nie ma listowia) również wypadają bardzo pozytywnie.
Miło jest nam słyszeć, że w naszym kraju powstają tak nowoczesne i przydatne narzędzia, kreowane przez ludzi z misją. Tym milej jest móc ten produkt dystrybuować do jak najszerszego grona odbiorców. Jeśli macie jakieś pytania a propos tego systemu to zapraszamy do kontaktu, postaramy się pomóc i udzielić wyczerpujących odpowiedzi.
Polecane
