FME 2016 - nowe funkcje i więcej udogodnień

Swoją premierę miała niedawno nowa wersja FME – jedno z najbardziej wszechstronnych zestawów narzędzi klasy ETL (Extract, Transform, Load) do obróbki danych przestrzennych. Jak wyjaśnia krajowy dystrybutor tego rozwiązania, firma Globema, oprócz tradycyjnych usprawnień transformatorów, ergonomii itd. producent wdrożył wiele udogodnień zasugerowanych przez samych użytkowników FME.

Zalety przetwarzania w chmurze
Szeroko rozumiana „chmura” jest jedną z najważniejszych technologii, które upowszechniły się w ostatnich latach. Liczba oferowanych usług sieciowych oraz platform chmurowych stale rośnie, w miarę jak kolejne firmy stawiają na to rozwiązanie. Za trendami tymi podąża także FME – wersja 2016 uzyskała wsparcie dla usług AWS Aurora oraz SAP HANA. Dodane zostały także dwa nowe transformatory obsługujące wysyłanie i odbieranie strumieni Amazon Kinesis. Rozszerzone zostało również wsparcie dla ArcGIS Online. Z kolei FME Server zyskał wsparcie dla nowych protokołów: SFTP Subscriber (do wysyłania danych na strony SFTP), FTP Watch Publisher (do monitorowania zmian na stronach FTP) oraz FME Workspace Subscriber.

Łączenie danych z setek systemów
FME zawsze koncentrowało się na łączeniu dużych zbiorów danych pochodzących z różnych systemów. W nowej wersji oprogramowania dodano obsługę kolejnych formatów, między innymi: Portal dla ArcGIS, GTFS, IndoorGML, Denodo, Autodesk ReCap, Adobe PRC. Ulepszono także wsparcie dla formatów obsługiwanych do tej pory (np. Esri Shapefile), a użytkownicy uzyskali większa kontrolę nad tym, jak i kiedy dane są zapisywane (np. łatwiejsze rozbicie danych na osobne pliki). FME zyskało również 43 nowe transformatory (z czego 13 transformatorów dodano do FME Desktop, w tym MapboxStyler oraz CoordinateReplacer).

XML, SQL i wewnętrzne bazy danych
Formaty danych zaprojektowane do obsługi olbrzymich ilości informacji mogą być trudne w odbiorze. W FME 2016 wiele parametrów bazodanowych i XML prezentowanych jest w formie „drzewka”, tak aby ułatwić nawigację pomiędzy schematami i elementami.Odświeżony został również interfejs SQL, który pomoże w tworzeniu zapytań i testowaniu ich przed uruchomieniem transformacji.

Automatyzacja
FME powstało w celu ułatwienia codziennej pracy poprzez automatyzację przetwarzania danych. W FME 2016 dodano dalsze udogodnienia usprawniające ten proces, takie jak:
• zarządzanie zadaniami związanymi z przetwarzaniem atrybutów przez pojedynczy transformer AttributeManager. Jest to „super-transformer”, który zastępuje długie łańcuchy transformerów w złożonych przekształceniach;
• zapisywanie baz danych i połączeń do usług sieciowych celem przyszłego wykorzystania – z pełnym wsparciem dla połączeń bazodanowych pomiędzy FME Desktop i FME Server;
• prosta inspekcja danych (wystarczy „jedno kliknięcie”);
• przeskakiwanie pomiędzy złożonymi transformacjami za pomocą nawigatora zakładek;
• możliwość aktualizacji transformerów do najnowszych wersji;
• szybki dostęp do ostatnio edytowanych transformacji, ostatnio wykonywanych zadań i ulubionych przekształceń w przebudowanej stronie domowej FME Server;
• łatwiejsze przeglądanie historii w FME Server;

Kontrola jakości i walidacja danych
Walidacja geometrii, schematów i atrybutów dla zestawów danych jest ważną częścią wielu przetworzeń w FME. W najnowszej wersji oprogramowania położono duży nacisk na kontrolę jakości – zaktualizowano funkcję GeometryValidator i dodano nowe funkcjonalności weryfikacji atrybutów.

W FME 2016 wszelkie problemy są oznaczane za pomocą flagi. W wielu transformerach niepoprawne dane zostają automatycznie skierowane do portu , a „fme_rejection_code” wskaże przyczynę odrzucenia.

Aktualnie w FME Server zadania czyszczenia plików mogą być konfigurowane poprzez webowy interfejs użytkownika. Pozwala to rozwiązywać problemy poprzez korygowanie zapełnionych dysków.

Ponadto dodano funkcję Workspace Reader do wewnętrznego analizowania transformacji. Może ona być użyta na przykład do stworzenia statystyk najczęściej wykorzystywanych readerów, writerów i transformatorów używanych we wszystkich przetwarzaniach w ramach firmy.

Źródło: Globema