Transformacja obserwacji Ziemi przy wykorzystaniu globalnych embeddingów AI

Firma CloudFerro, dostawca największej polskiej chmury obliczeniowej, we współpracy z Φ-lab, laboratorium badawczym Europejskiej Agencji Kosmicznej (ESA), wprowadza pierwszy globalny zbiór danych embeddingów AI dla obserwacji Ziemi (EO). Publikacja ta łączy zaawansowaną sztuczną inteligencję z ogromnymi zbiorami danych satelitarnych, tworząc precyzyjne i skalowalne narzędzie analityczne. Społeczność AI może wykorzystywać globalne embeddingi dla EO w swoich badaniach i tworzeniu aplikacji.

Uproszczona wizualizacja procesu interpretacji obrazów przez modele AI - podobne kolory prowadzą do podobnych interpretacji

Embeddingi zyskują coraz większe znaczenie w obserwacji Ziemi, oferując szeroki wachlarz zastosowań dla profesjonalistów zajmujących się tą dziedziną. Mogą być wykorzystywane przez naukowców z zakresu teledetekcji, analityków GIS oraz badaczy środowiska pracujących ze zobrazowaniami satelitarnymi i danymi geoprzestrzennymi.

– Sposób wykorzystania danych obserwacji Ziemi (EO) zmieni się diametralnie dzięki szerokiej dostępności embeddingów opartych na pełnych archiwach danych z Sentineli. Prototyp, który stworzyliśmy, to pierwszy krok w kierunku zrozumienia wartości, jaką wnosi to rozwiązanie – powiedział Mikołaj Czerkawski z ESA Φ-lab, który kierował rozwojem MajorTOM oraz współpracą techniczną z CloudFerro. – Poprzez rozwój i udostępnienie projektu w modelu open-source pokazujemy, jak programy takie jak Copernicus, które oparte są na otwartych danych, mogą po raz kolejny przynieść wyjątkowe korzyści szerszej społeczności – dodał.

• Czym są embeddingi i jak działają?

Embeddingi przekształcają złożone dane, takie jak obrazy czy dokumenty, w reprezentacje numeryczne. Ta ustrukturyzowana forma zachowuje relacje i znaczenie semantyczne w danych, co pozwala modelom AI przetwarzać i analizować je z wyjątkową świadomością kontekstu i precyzją. Dzięki temu algorytmy są w stanie wykrywać wzorce, podobieństwa i powiązania, które w innym przypadku byłyby trudne do zauważenia.

– Jesteśmy dumni, że możemy być w czołówce takich innowacji i realizować ten ambitny projekt z ekspertami AI z ESA Φ-lab – powiedział Jędrzej Bojanowski, data science manager z CloudFerro. – Embedingi danych Sentinel wygenerowane za pomocą Major TOM i hostowane na naszej platformie CREODIAS przyniosą nowe możliwości społeczności geoprzestrzennej, udostępniając globalnie wysokiej jakości dane gotowe do przetworzeń AI. Ta współpraca podkreśla nasze zaangażowanie i wkład w rewolucję AI i wprowadzenie jej do ekosystemu danych EO, w tym danych Copernicus – dodał.

Embeddingi przekształcają surowe dane w formę, którą można łatwo interpretować, umożliwiając modelom AI wyciąganie głębszych wniosków. Dzięki temu podejściu możliwa jest bardziej precyzyjna analiza oraz postęp w takich obszarach, jak uczenie maszynowe, zrozumienie języka naturalnego i wizja komputerowa. Embeddingi stanowią fundament skalowalnych i wszechstronnych rozwiązań AI, otwierając nowe możliwości w szerokim zakresie zastosowań – od modelowania predykcyjnego po zaawansowane systemy wspomagania decyzji.

– Projekt ten jest przykładem, jak ESA wspiera wysiłki na rzecz wzmacniania pozycji europejskich podmiotów w tej dziedzinie – powiedziała Anna Burzykowska, Copernicus innovation officer w Europejskiej Agencji Kosmicznej (ESA). – Zależy nam na dalszej współpracy z naszymi partnerami z sektora kosmicznego i nauki oraz na wytrwałej pracy nad budową kluczowych podstaw niezbędnych do rozwoju tej technologii w Europie, zwłaszcza w kontekście programu Copernicus – podkreśliła.

• Technologia w sercu projektu

Projekt wykorzystuje infrastrukturę chmurową przyspieszaną przez GPU, udostępnioną przez CloudFerro na platformie Creodias, co pozwoliło na szybkie i wydajne przetwarzanie ogromnych zbiorów danych. Dzięki współpracy z Φ-lab ESA zaimplementowano zaawansowane modele wizji komputerowej, takie jak DINOv2, SigLIP i SSL4EO, które stanowią fundament rozwiązań AI w dziedzinie EO.

W projekcie przetworzono ponad 62 TB surowych danych satelitarnych z programu Copernicus, generując ponad 170 milionów embeddingów. Proces ten pozwolił skondensować 9,368 bilionów pikseli do 1 TB zoptymalizowanych danych, które są teraz łatwe do analizy i integracji w modelach AI.

• Sherlock – inteligentne wsparcie dla analizy danych

W ramach rozwijania swojego portfolio technologicznego CloudFerro wprowadziło także platformę Sherlock, która udostępnia zaawansowane modele generatywnej AI, takie jak Bielik 11B v2.3 Instruct i Llama 3.1 70B. Sherlock umożliwia zaawansowaną analizę tekstów i wyszukiwanie semantyczne, a także oferuje wsparcie w budowie modeli predykcyjnych, działając w bezpiecznym środowisku chmurowym. Dzięki temu platforma wspiera implementację AI w sektorach regulowanych, takich jak administracja czy bankowość, jednocześnie udostępniając zaawansowane technologie AI mniejszym organizacjom bez konieczności inwestycji w infrastrukturę IT i zarządzania nią.

• Wyzwania przyszłości

W kolejnych etapach projektu zespół będzie testować wydajność embeddingów w takich zadaniach, jak wykrywanie wzorców czy tworzenie modeli predykcyjnych. Planowane są także prace nad nowymi modelami bazowymi, np. MMEarth i DeCUR, w celu dalszego zwiększenia możliwości analitycznych EO.

Źródło: CloudFerro