Principes dataharmonisatie

From Geonovum Wiki
Jump to: navigation, search


Aan de slag met INSPIRE

Doelgroep
Processtappen
Deadlines
Bronnen
Over deze wiki

Aanmerking en Namespaces

Aanmerkingsregister
Namespace register

Inrichten organisatie

1. Dataharmonisatie

Documentatie dataharmonisatie
Principes dataharmonisatie
As-is versus geharmoniseerd
Prioritaire datasets (e-reporting)
Generic Conceptual Model
INSPIRE ID
Codelijsten
Portrayal
Geometrie
Data-validatie
Checklist dataharmonisatie
Control panel
Extensies
Thematic Clusters
FAQ Dataharmonisatie

2. Metadata

Metadata aanmaken
Waar moet mijn metadata aan voldoen?
Invulinstructie voor datasets
Voorbeeld XML voor INSPIRE dataset metadata
Prioritaire datasets
Metadata en Taal
Metadata-validatie
Geharmoniseerde Gebruiksvoorwaarden
FAQ Metadata

3a. Network Services

Informatie Network Services
Vereisten Services
Quality of Services
Rights Management Layer
Agree operation
RM en GeoGedeeld
View service maken
Recente wijzigingen specificaties
INSPIRE vereisten opnemen in een Capabilities document
Category Layers
Meertaligheid in een Capabilities document
Voorbeeld XML voor Capabilities
Portrayal
FAQ View Services
Download service maken
Recente wijzigingen specificaties Download Services
Download Service via Atom feed
Automatisch genereren van OpenSearch description
Download Service Pre-defined Datasets via WFS
Download Service Direct Access via WFS
Download service via WCS
Download service via SOS
FAQ Download Services
Metadata Services
Scenario's voor het aanmaken van service metadata
Invulinstructie voor services
Voorbeeld XML voor INSPIRE service metadata
Valideren Metadata Services
Valideren Services

3b. Spatial Data Services

Wat is een Spatial Data Service
Categorieën van Spatial Data Service
Bepalen categorie Spatial Data Service
Invocable Spatial Data Service
Interoperable Spatial Data Service
Harmonised Spatial Data Service
Metadata templates voor Spatial Data Service

4. Publiceren

Publiceren Inspire aanduiding

5. Validatie

6. INSPIRE vervolg

Monitoring en Rapportage

Veelvoorkomende vragen

FAQ Metadata
FAQ View Services
FAQ Download Services
FAQ Data Harmonisatie

Extra informatie

Terminologie
Normatief Kader TC 211
UML notatie


 


Inrichten organisatie 1. Data harmonisatie 2. Metadata 3. Services 4. Publicatie Inspire portal 5. Validatie


Een van de voorwaarden voor het kunnen uitwisselen van ruimtelijke data is dat alle datasets bepaalde kenmerken delen. Zo moeten de opbouw van ruimtelijke objecten, definities van objecten en verplichte attributen over alle lidstaten uniform zijn om via services uitgewisseld te kunnen worden en onderling vergeleken te kunnen worden. Dit wordt ‘interoperabiliteit’ genoemd en de handelingen die ondernomen worden om ‘interoperabiliteit’ te bereiken ‘data-harmonisatie’. INSPIRE zorgt voor een hoge mate van interoperabiliteit door per thema een standaard dataspecificatie te beschrijven die door alle lidstaten geïmplementeerd moet worden. Dit betekent dat een dataprovider zijn gegevens moet vertalen naar de INSPIRE data specificatie. Het harmoniseren is grotendeels afhankelijk van de structuur van de brondata, zoals deze door de dataprovider beheerd wordt. Wordt deze file-based beheerd, of in een ruimtelijke database? Hoe ziet de structuur van de data eruit? Deze vragen kunnen alleen door de dataprovider zelf beantwoord worden.

Fasen

Het harmoniseren naar INSPIRE dataspecificaties, kent grofweg twee fasen:

  1. Semantisch harmoniseren: Hoe vallen de begrippen en concepten in het informatiemodel van de dataprovider te vertalen naar de de klasses en definities zoals beschreven in de INSPIRE data specificatie.
  2. Technisch harmoniseren: Het converteren van het bestaande data-formaat, naar het uitwisselformaat GML.

Dit is vooral een schematische indeling. In het werkproces zullen (1) en (2) bij veel dataproviders in één slag plaatsvinden. Onder het harmoniseren vallen ook aspecten als het zorg dragen voor valide geometrieën en cross-boundary harmonisation. Meer informatie over deze aspecten vind je op deze wikipagina.

Semantisch harmoniseren

Het semantisch harmoniseren is vooral een kwestie van het vertalen van definities van de dataprovider naar de definities van INSPIRE. Dit is typisch werk voor een domein expert van de dataprovider die de definities in de betreffende dataspecificaties interpreteert en bedenkt hoe de eigen gegevens in dit model in te passen zijn. In veel gevallen zal het lastig zijn voor een domein expert om de technische INSPIRE documentatie te doorgronden.

Technisch harmoniseren

Voor het technisch harmoniseren zijn er verschillende mogelijkheden:

  1. Harmonisatie op niveau van ruimtelijke databases
  2. Ruimtelijke ETL processen met behulp van specifieke ETL-software (die met ruimtelijke data overweg kan)
  3. ‘On the fly’ harmoniseren en converteren

Ad 1) Ruimtelijke Database

Eén manier om data te harmoniseren is om op database-niveau scripts te ontwikkelen, die de datastructuur van de voor INSPIRE opgevoerde data, converteren naar de vorm en inhoud die conform het INSPIRE applicatie schema is. Dit kan met behulp van SQL, en de procedurele taal die de database hanteert. De procedurele taal is afhankelijk van de database; elke fabrikant kent zijn eigen variant. Hiervoor is specialistische kennis van een database-specialist nodig, die (a) met ruimtelijke databases overweg kan, en (b) Data Definition Language (DDL)-scripts kan ontwikkelen.

Ad 2) Ruimtelijke ETL processen met behulp van specifieke ETL software

Ook vaak ‘Spatial ETL’ of ‘spatial data-exchange’ genoemd. ETL staat voor Extract, Transform en Load. Hiermee worden technieken bedoeld die ruimtelijke data kunnen converteren.

  • Extract inlezen van het bronformaat
  • Transform het aanpassen van de datastructuur
  • Load het wegschrijven (wellicht naar een ander formaat)

Bij het harmoniseren van de data in het kader van INSPIRE is het vooral de ‘T’ (Transform) die van belang is. In dit proces vinden wijzigingen plaats in de data-structuur: het wijzigen van attribuutnamen, weghalen van attributen, wijzigen van datatypen, gebruik van domeinwaarden (codelijsten), geometrie-validaties, etc.

Het is ook nuttig te wijzen op de markt die de INSPIRE-richtlijn indirect creëert. Er zijn verschillende bedrijven die software bouwen die specifiek gericht is op dataproviders die data leveren voor INSPIRE thema’s. Op deze manier voldoen zij aan een groeiende behoefte die ontstaat uit nieuwe wetgeving en standaarden.

Een aantal populaire ETL software tools zijn:

Een volledige lijst met INSPIRE tools is terug te vinden op INSPIRE tools. Hierop kan men op eenvoudige wijze alle ETL- maar ook andere tools terugvinden.

Etl.gif


Ad 3) On the fly converteren

Bovenstaande principes zijn gericht op het klaarzetten van data alvorens ze te ontsluiten (ook wel ‘pre-defined’). Dat hoeft niet in alle gevallen. Het is ook mogelijk om data ‘on the fly’ te conveteren. Let er echter op dat dit voor grote datasets niet bruikbare toepassing is omdat de performance van de service teveel te wensen over zal laten. Waar deze grens ligt en bij welke dataset-grootte het breekpunt tussen ‘on the fly’ en ‘pre-defined’ ligt, is alleen op basis van testresultaten vast te stellen.

Welke optie kunnen we het beste toepassen?

Dit hangt van een aantal organisatie-gebonden factoren af:

  • Aanwezige kennis
  • Aanwezige software
  • Beschikbare tijd


De belangrijkste factor is de kennis die binnen een organisatie aanwezig is. Zijn er binnen de organisatie database-specialisten aanwezig, die verstand hebben van ruimtelijke databases? Zijn er GIS-operators die al vaker met ETL tools werken?

Dit betekent dus ook dat er wellicht gekozen moet worden voor uitbesteding.

De ‘spin-off’ is een zijdelingse overweging die bij de keuze van harmonisatie-principe van belang kan zijn. Voor INSPIRE-gerichte harmonisaties is veel kennis nodig. Deze kennis kan voor andere GEO-ICT projecten ook van praktisch belang zijn, bijvoorbeeld omdat het de kennis van een tool verhoogt. Dit kan een overweging zijn om een kennis-domein te versterken en hierin te investeren.