Geoportál ČSÚ byl vytvořen v rámci projektu “Geoportál pro diseminaci geografických dat SLDB 2021” , který byl realizován a financován Českým statistickým úřadem pod hlavičkou Sčítání lidu, domů a bytů 2021 ve spolupráci s vybranými dodavateli (ICZ, a.s. a T-Mapy, s.r.o.). Jeho základním cílem bylo vytvořit platformu pro diseminaci geoprostorových dat pro účely sčítání, naplnit požadavky směrnice INSPIRE a v dlouhodobém horizontu založit celoúřadový geografický informační systém pro poskytování mapových služeb uživatelům a dalším systémům ČSÚ a zpřístupnění vybraných statistických dat v mapové podobě.
Statistický geoportál - Rozcestník
Projekt byl realizován v několika postupných fázích počínaje březnem 2022, během nichž vznikly základní výstupy – tři koncové mapové aplikace Statistický atlas, Dojížďka, Georeporty (interní, externí, pro smluvní partnery) a síťové služby INSPIRE. Aplikace pro veřejnost jsou dostupné na adrese https://geodata.statistika.cz/as/rozcestnik/.
Aby mohl Statistický geoportál plnit svůj účel, musí se naplnit vstupními daty. K tomuto účelu byl vytvořen ETL proces a nástroje pro jeho řízení. Hlavním datovým zdrojem je interní datový sklad ČSÚ, který obsahuje multidimenzionální data, která ČSÚ průběžně sbírá a zpracovává. Data jsou exportována do souborů ve výměnném formátu na bázi XML. A tato souborová data jsou na vstupu ETL procesu. Stručně si představme jeho hlavní části.
Schéma ETL
ETL fáze 1 provádí parserování XML, transformaci multidimenzionálních dat do běžných (normalizovaných) databázových tabulek a navázání na číselníky. Dalším krokem je vytvoření vrstev v Enterprise geodatabázi (SDE) a posledním krokem (fáze 3) je publikace formou mapových feature služeb. V tomto kroku se vrstvy přelévají do prostředí ArcGIS DataStore, což se provádí z důvodu optimalizace výkonu feature služeb. Vrstvy v SDE jsou tedy pouze dočasným způsobem reprezentace dat. Na ETL navazuje replikace dat do externího produkčního prostředí a taktéž replikace do prostředí sekundární lokality.
K zajištění datového obsahu a funkčnosti koncových aplikací byl vytvořen mohutný backendový aparát rozčleněný na několik provozních prostředí (testovací prostředí, interní prostředí dále rozčleněné na primární a sekundární lokalitu, externí prostředí) reprezentovaný množstvím provozních serverů vybavených příslušnými provozními a databázovými technologiemi.
zjednodušená architektura
V rámci projektu byla navržena a realizována také velice komplexní systémová a komunikační infrastruktura, která zajišťuje nejen optimální chod koncových aplikací, ale také procesy importu a validace dat, odolnost systému proti výpadkům a v neposlední řadě také vysokou úroveň bezpečnosti.
Statistický geoportál nabízí také aplikační rozhraní (API) pro poskytování vybraných statistických údajů ve formě georeportu. Služba Georeporty API je rozhraní typu "REST", které umožňuje integrovat funkčnost georeportů do informačních systémů jiných organizací. Tato služba umožňuje vygenerovat georeport pro zvolené téma a prostorově vymezené území a výsledek získat ve formátu HTML, PDF nebo CSV. Jedná se tedy o funkčnost aplikace Statistické georeporty, která je ale v tomto případě dostupná přes programátorské rozhraní. Služba Georeporty API vnitřně pracuje nad daty agregovanými přímo z jednotlivých adresních bodů, a proto poskytuje přesnější údaje, přístup k nim je ovšem podmíněn uzavřením smluvního vztahu s ČSÚ o poskytnutí přístupu ke službě a doložením komerčního systémového certifikátu vydaného českou certifikační autoritou.
Geoportál ČSÚ - Statistické georeporty
Geoportál ČSÚ je založen na efektivní kombinaci komerčních a Open Source technologií, což ve výsledku zajišťuje pokrytí všech požadovaných funkčních i nefunkčních vlastností systému při optimálním vynaložení finančních prostředků nejen na vlastní realizaci Geoportálu, ale i na jeho následný provoz. Životnost všech zvolených technologií je zajištěna podporou komerčních producentů v kombinaci se zkušenostmi firmy T-MAPY a zapojených pracovníků ČSÚ.
Jako technologický základ koncových aplikací Geoportálu ČSÚ byly zvoleny komerční technologie společnosti Esri, celosvětového lídra v oblasti geografických informačních systémů, jehož technologie jsou také praktickým standardem v oblasti GIS subjektů veřejné správy v České republice.
Všechny koncové aplikace byly vytvořeny v podobě jednostránkových (single-page) aplikací vytvořených technologií HTML5/Java script s využitím knihovny ArcGIS Maps SDK for JavaScript a systému ArcGIS Experience Builder. Ten byl použit jako vývojářské prostředí, do kterého byly programátorsky vytvářeny nové komponenty, které byly následně využity pro konfiguraci finálních aplikací. Touto technologií byly vytvořeny jak aplikace pro koncové uživatele, tak i aplikace pro interní správu Geoportálu.
Základním principem, na němž je postavena funkčnost aplikace Statistický Atlas, je “Client-site rendering”.Tematická mapa využívající například metodu kartogramu vzniká až na straně klienta, tedy až na stránce, kterou zobrazuje webový prohlížeč. Aby se tematická mapa mohla zobrazit, potřebuje klient:
- vektorová data, tzn. prvky - polygony reprezentující územní celky (nebo kilometrový grid), které obsahují potřebné atributy - ukazatele (např. celkový počet obyvatel ve vybraném okrese)
- zobrazovací předpis (renderer), který určuje, jaké jsou jednotlivým prvkům přiřazeny symboly na základě hodnoty atributu (ukazatele). V případě kartogramu je symbol (barva) přiřazen jednotlivým intervalům hodnot ukazatele
Geoportál ČSÚ - Statistický atlas
To zní snadno, ale je nutno říct, že až do nedávné doby technologie nebyly tak pokročilé, aby tento přístup umožnily. Pro zobrazení tematické mapy na úrovni základních územních jednotek potřebuje klient načíst a zobrazit 6 392 polygonů, na úrovni buněk kilometrového gridu dokonce přesně 80 139 a pro každý prvek provést jeho vizualizaci daným rendererem. A to pokud možno bez viditelného zdržení aplikace načítáním velkého množství dat. Tohoto je dosaženo díky chytrému triku, kdy si klient (ArcGIS Maps SDK) stahuje polygony po dlaždicích, které jsou ale virtuální, neboť je ArcGIS Server vytváří za běhu, a zároveň provádí automatickou generalizaci polygonů vzhledem k aktuálním rozlišení klienta (kešování je možné, ale v této chvíli jej v projektu nevyužíváme).
Pro poskytování vektorových “feature” vrstev je využito hostovaných služeb s uložením v relačním Data Store, což je výkonnostně optimální pro tento případ použití. Díky tomu, že se na straně serveru neprovádí prezentace dat, systém dokáže obsluhovat velké množství klientů. Je sice skutečností, že zátěž se přesouvá z části na klientský počítač, ale díky efektivitě ArcGIS Maps SDK není problém provozovat aplikace i na běžném počítači nebo např. chytrém telefonu (požadavkem je ale moderní webový prohlížeč s podporou WebGL).
Veřejně dostupná aplikace Statistický atlas obsahuje v této chvíli 870 dílčích tematických map (150 témat/ukazatelů v kombinacích za všechny dostupné úrovně územního členění). Veřejná část je přitom podmnožinou interně provozovaného Geoportálu. Rozsah témat se přitom rozšiřuje a dále rozšiřovat bude. Jak vytvořit a udržovat tak velký počet konfigurací tematických map? Na začátku projektu se uvažovalo o využití aplikace MapViewer, která je standardní součástí ArcGIS Portál. Jenže pro tak velké množství dílčích map (web map dokumentů) by to nebylo vůbec praktické. Proto byly vytvořeny vlastní nástroje pro tvorbu a administraci obsahu mapy. Pro upřesnění, Geoportál ČSÚ má tři nezávislá prostředí - testovací, produkční interní a produkční externí. Uvnitř externího prostředí existuje ještě samostatné vysoce zabezpečené prostředí pro provoz Smluvních georeportů. Každá tematická mapa může být tvořena kartogramem, kartodiagramem nebo kombinací obou těchto kartografických metod a kromě toho definicí pro tzv. popup, který kromě popisných informací může obsahovat také grafy (typicky výsečové diagramy). Ukládání a manipulaci s těmito informacemi má na starost aplikační server, se kterým klientské aplikace komunikují přes REST rozhraní. Aplikační server je tedy vedle ArcGIS Enterprise druhou serverovou komponentou, kterou koncové aplikace využívají. Aby bylo možné v rámci Geoportálu ČSÚ využít i standardní aplikace, které jsou součástí ArcGIS ekosystému (např. Story maps), je možné vybrané tematické mapy uložit na ArcGIS Portál ve formě standardního web map dokumentu.
Geoportál ČSÚ - Dojížďka
Open Source technologie, které byly využity především na straně backendu (RDBMS PostgreSQL, GeoNetwork aj.), byly voleny především s ohledem na reálné zkušenosti s jejich použitím. Byly tak zvoleny především ty, které se již osvědčily jako součást komplexních a provozně náročných geografických informačních systémů v nejrůznějších oblastech užití a se kterými má firma T-MAPY dlouhodobé zkušenosti. V úvodních fázích projektu byla zpracována podrobná analýza a návrh řešení (základní dokument projektu, cílový koncept) a další projektové dokumenty, které představovaly základní podklady pro následnou realizaci, která byla završena zpracováním podrobné administrátorské, programátorské, bezpečnostní, uživatelské a další dokumentace skutečného provedení. Zvolený mix technologií v kombinaci s kvalitně zpracovanou dokumentací a předávanými zdrojovými kódy také umožňuje jejich významnou část konfigurovat a užívat silami pracovníků ČSÚ, případně jejich správu a rozvoj svěřit jinému dodavateli, což významně minimalizuje možné budoucí dopady kritické závislosti na konkrétním dodavateli (tzv. „vendor lock“).
Projekt Statistického geoportálu Českého statistického úřadu mohl být úspěšně realizován pouze za aktivní spolupráce všech zainteresovaných stran, tedy především špičkových odborníků firmy T-MAPY, pracovníků ČSÚ a také pracovníků generálního dodavatele ICZ a.s. Výsledkem této spolupráce je úspěšně realizovaný projekt, který má před sebou perspektivu dalšího rozvoje. Dokladem správnosti projektového záměru a kvality jeho řešení je také to, že Český statistický úřad získal v roce 2023 za tento projekt cenu Special Achievement in GIS (SAG), kterou každoročně uděluje společnost Esri za významné a inspirativní počiny v oblasti využívání a implementace technologií geografických informačních systémů (GIS).