Validatie

From Geonovum Wiki
Revision as of 15:24, 7 November 2019 by Thijsbrentjens (talk | contribs) (Link checker INSPIRE Geoportal en Thematic viewer)
Jump to: navigation, search


Aan de slag met INSPIRE

Doelgroep
Processtappen
Deadlines
Bronnen
Over deze wiki

Aanmerking en Namespaces

Aanmerkingsregister
Namespace register

Inrichten organisatie

1. Dataharmonisatie

Documentatie dataharmonisatie
Principes dataharmonisatie
As-is versus geharmoniseerd
Prioritaire datasets (e-reporting)
Generic Conceptual Model
INSPIRE ID
Codelijsten
Portrayal
Geometrie
Data-validatie
Checklist dataharmonisatie
Control panel
Extensies
Thematic Clusters
FAQ Dataharmonisatie

2. Metadata

Metadata aanmaken
Waar moet mijn metadata aan voldoen?
Invulinstructie voor datasets
Voorbeeld XML voor INSPIRE dataset metadata
Prioritaire datasets
Metadata en Taal
Metadata-validatie
Geharmoniseerde Gebruiksvoorwaarden
FAQ Metadata

3a. Network Services

Informatie Network Services
Vereisten Services
Quality of Services
Rights Management Layer
Agree operation
RM en GeoGedeeld
View service maken
Recente wijzigingen specificaties
INSPIRE vereisten opnemen in een Capabilities document
Category Layers
Meertaligheid in een Capabilities document
Voorbeeld XML voor Capabilities
Portrayal
FAQ View Services
Download service maken
Recente wijzigingen specificaties Download Services
Download Service via Atom feed
Automatisch genereren van OpenSearch description
Download Service Pre-defined Datasets via WFS
Download Service Direct Access via WFS
Download service via WCS
Download service via SOS
FAQ Download Services
Metadata Services
Scenario's voor het aanmaken van service metadata
Invulinstructie voor services
Voorbeeld XML voor INSPIRE service metadata
Valideren Metadata Services
Valideren Services

3b. Spatial Data Services

Wat is een Spatial Data Service
Categorieën van Spatial Data Service
Bepalen categorie Spatial Data Service
Invocable Spatial Data Service
Interoperable Spatial Data Service
Harmonised Spatial Data Service
Metadata templates voor Spatial Data Service

4. Publiceren

Publiceren Inspire aanduiding

5. Validatie

6. INSPIRE vervolg

Monitoring en Rapportage

Veelvoorkomende vragen

FAQ Metadata
FAQ View Services
FAQ Download Services
FAQ Data Harmonisatie

Extra informatie

Terminologie
Normatief Kader TC 211
UML notatie


 


Inrichten organisatie 1. Data harmonisatie 2. Metadata 3. Services 4. Publicatie Inspire portal 5. Validatie


Een belangrijk aspect van een implementatie is de mogelijkheid deze te valideren en monitoren middels, bij voorkeur, geautomatiseerde processen, dan wel beschreven procedures. Jaarlijks verwacht de Europese Unie een rapport van Nederland waar op basis van monitoring de conformiteit aan de regelgeving beschreven wordt voor de aangeboden datasets en services.

Geonovum faciliteert u bij validatie en monitoring middels het beschikbaar stellen van een aantal validatie tools. De tools zijn bedoeld als hulpmiddel om fouten in de toepassing van standaarden te verminderen. In [#Te_gebruiken_validators onderstaande tabel] staat aangegeven per INSPIRE vereiste welke Nederlandse en Europese tools beschikbaar zijn om uw implementatie te valideren.

Omdat vanaf eind juni 2019 voor View Services (WMS en WMTS) en voor de Metadata TG versie 2.0 Europese validators beschikbaar zijn gesteld, zijn nu voor alle Nederlandse validators Europese varianten beschikbaar.

Validatie regels

In Annex A van alle INSPIRE technische specificaties is de Abstract Test Suite (ATS) opgenomen. Deze beschrijft tegen welke vereisten u een implementatie van die specificatie dient te toetsen. Delen van de Abstract Test Suite kunnen geautomatiseerd worden getest en worden uitgewerkt in de Europese validators (Eruopa noemt deze de "INSPIRE reference validators"). De validators van Geonovum zijn gebaseerd op de vereisten die als zodanig gemarkeerd zijn in de specificaties.

Wanneer valideren


Geonovum raadt u aan deze tools (en eventuele steekproefsgewijs handmatige controles) op regelmatige basis uit te gebruiken, maar ten minste na de volgende gebeurtenissen:

  • Na een mutatie van de data, de metadata en/of het publiceren van een (nieuwe) dataset
  • Implementatie van een software release, een storing, herstel van een backup en/of onderhouds moment (dit geldt ook voor releases van het Nationaal Georegister)
  • Het beschikbaar komen van nieuwe versies van test tools


Naast de in de tabel genoemde Nederlandse validatietools zijn er ook Europese validators die toetsen op INSPIRE conformiteit. De rapportages uit deze validators kunt u aanvullend op de Nederlandse validatietools gebruiken met als doel verdere foutenreductie.

Te gebruiken validators

In de Nederlandse INSPIRE klankbordgroep is afgesproken dat de validatietools die door Geonovum ter beschikking worden gesteld, de basis vormen voor Nederlandse dataproviders om vast te stellen of een implementatie voldoet aan de INSPIRE vereisten. Dit zijn de in onderstaande tabel genoemde validatietools.

Validatietools zijn nooit feilloos. Er kunnen bugs in zitten en de tools kunnen achterlopen op de ontwikkeling van Technical Guidelines. Ook kunnen twee tools (bijvoorbeeld die van Geonovum en de Europese validator) op hetzelfde onderdeel testen en toch een andere uitkomst geven. Dat kan bijvoorbeeld komen doordat bij de ontwikkeling van validatietools bepaalde afwegingen gemaakt worden, bijvoorbeeld hoe er getest wordt, of door interpretatieverschillen. Het is belangrijk te realiseren dat validatietools voornamelijk technisch valideren (bijvoorbeeld, controleren of er een identifier is). Of iets fout is ingevuld (bijvoorbeeld, de identifier verwijst niet naar de juiste dataset) kan niet altijd ondervangen worden. Daarnaast zijn niet alle vereisten door middel van geautomatiseerde processen te testen. Vanzelfsprekend doen wij ons best om de tooling zo snel mogelijk in lijn te krijgen met de laatste inzichten rond het implementeren van de INSPIRE regelgeving en zo veel mogelijk vereisten geautomatiseerd te testen. Toch raden we u aan om ook zelf kritisch naar uw gepubliceerde data en services te kijken, bijvoorbeeld door te controleren of deze goed vindbaar en te bekijken en te downloaden zijn in de Thematic Viewer.


INSPIRE eis Validatie tooling NL Validatie tooling Europa

Data harmonisatie * lees verder



Applicatie schema + GML Geonovum validator: INSPIRE GML Data
INSPIRE thema specifieke eisen + Generieke eisen data sets + Applicatie schema + GML Europese validator: INSPIRE GML Data

Discovery service
Discovery service Validator: INSPIRE Discovery Services

Metadata Lees verder
Metadata dataset Validator: Nederlands metadataprofiel op ISO 19115 versie 2.0 plus INSPIRE Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119
Metadata service Validator: Nederlands metadataprofiel op ISO 19119 versie 2.0 plus INSPIRE Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119

View Service Lees verder
WMS (configuratie) ** Validator: INSPIRE View Services Validator: View Service WMS
WMS  Validator: Nederlands WMS profiel
WMTS *** Validator: OGC protocol validator Validator: Conformance Class 'View Service WMTS'

Download Service Lees verder
WFS/Atom (configuratie) ** Validator: INSPIRE View en Downloadservices Validator: Download Service - Pre-defined ATOM
WFS Validator: Nederlands WFS profiel Validator: Download Service - Direct WFS en/of Download Service - Pre-defined WFS
ATOM *** Validator: Atom Feeds
WCS Geen validator beschikbaar
SOS Geen validator beschikbaar

Quality of Service Lees verder
Prestatie/Capaciteit
INSPIRE view en download



* zie de roadmap op de Geonovum website om na te gaan vanaf welk moment uw dataset aan deze eis dient te voldoen.
** Inspire vereist dat services voldoen aan OGC en/of W3C specificaties. Het EsdinTestFramework test met name op de inhoud en configuratie van een service. Om conformiteit van het protocol te valideren worden aparte tools aangegeven.
*** Voor deze protocollen heeft Geonovum geen validator beschikbaar (behalve de in ETF aanwezige testen). Daarom wordt hier verwezen naar andere validators op ’t web.
**** Dit zijn voorbeelden van software die regelmatig in dit soort usecases gebruikt worden, gezien het grote aantal vergelijkbare opties, schrijft Geonovum hier geen software voor.

Gebruik van de Europese validators: conformance classes

De INSPIRE Reference validators van Europa kennen zogenaamde conformance classes. Dit zijn te testen onderdelen van een implementatie. In bepaalde gevallen zijn er meerdere conformance classes van belang om te testen. De Europese validators zijn zo ingericht, dat als er een afhankelijkheid is bij een conformance class, deze automatisch ook geselecteerd wordt.

Conformance classes metadata

Voor metadata zijn er meerdere conformance classes beschikbaar. De volgende conformance classes kunnen het beste gebruikt worden, omdat dan automatisch alle relevante andere conformance classes geselecteerd worden:

Te testen Conformance class
Metadata (TG version 2.0) - dataset metadata Conformance Class 2: 'INSPIRE data sets and data set series interoperability metadata
Metadata (TG version 2.0) - service metadata Conformance Class 2: Conformance Class 4: 'INSPIRE Network Services metadata'
Metadata (TG version 2.0) - SDS de betreffende conformance class van het type SDS

Conformance classes data validatie

Om (geharmoniseerde) data te valideren zijn per thema validators beschikbaar. Op dit moment biedt de Europese validator alleen voor Annex I validators aan. Kies bij het valideren van een Annex I dataset de betreffende conformance classes van het thema. De algemene / generieke conformance classes worden dan automatisch geselecteerd, voor zo ver die relevant zijn. Algemeen advies is om alle conformance classes van een thema te selecteren bij het testen. Desgewenst kan echter ook een selectie gemaakt worden, als een bepaald onderdeel van de data harmonisatie getest moet worden.

Conformance classes service validators

Voor de meeste service validators (WMS, WMTS, WFS pre-defined, WFS direct access en ATOM) is er maar 1 Conformance class beschikbaar die gebruikt kan worden.

Bekende problemen Europese validator

De Europese validators werken over het algemeen goed. Er zijn echter nog een paar bekende problemen. De belangrijkste staan hieronder, zie de Github repository van INSPIRE validatie voor alle openstaande issues

Metadata v2.0: geen blokkerende issues bekend op dit moment.

WMS:

1. bij gebruik van WMS extensies in de Capabilities, bijvoorbeeld voor de extensie voor SLD operaties (o.a. als de WMS de operatie GetLegendGraphic ondersteunt), gaat de XML schema validatie van de Capabilities niet goed. De validatie houdt geen rekening met extensies anders dan INSPIRE extensies. Dit is te strikt, maar er is nog geen oplossing voor geïmplementeerd (https://github.com/inspire-eu-validation/community/issues/44). Als de XML schema validatie fout gaat op dit punt, kan de foutmelding genegeerd worden. De Nederlandse validator controleert wel correct op het XML schema.

2. WMS Layer names: te strikte controle op geharmoniseerde Layer names. De validator geeft een foutmelding als er een Layer name niet een geharmoniseerde Layer name is. Maar een WMS mag ook niet-geharmoniseerde Layer names bevatten. Als deze foutmelding verschijnt, kan die voor nu genegeerd worden (Github: https://github.com/inspire-eu-validation/community/issues/39)

3. Foutmeldingen bij Service exceptions: strikt genomen moeten services bij het ontbreken van bepaalde parameters (zoals: service=WMS) van een operatie, een foutmelding geven. Sommige implementaties zijn echter wat “vergevingsgezind”, bijvoorbeeld door aannames te doen voor een standaardwaarde als de parameter ontbreekt. Dit laatste is conform de (WMS) specificaties niet toegestaan. De Europese validators valideren op dit punt strikter dan de Nederlandse.

WFS (predefined):

1. Bij sommige implementaties blijft de validatie hangen bij Initialization and basic checks > Autoconfigure WFS > Analyze WFS Capabilities. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: https://github.com/inspire-eu-validation/community/issues/38)

2. Bij bepaalde WFS implementaties, waarschijnlijk als de Mapserver software in gebruik is, blijft de validatie hangen op Autoconfigure WFS > Analyze WFS Capabilities > Get Schema Definition. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: https://github.com/inspire-eu-validation/community/issues/29)


Tip: de Europese validator kan ook middels een API aangeroepen worden. Bij het (semi) geautomatiseerd uitvoeren van tests kan het nuttig zijn dit te gebruiken.


Link checker INSPIRE Geoportal en Thematic viewer

Om direct inzicht te hebben in de relaties tussen datasets, metadata en services is het niet nodig te wachten op de harvesting van het INSPIRE geoportal. Met de linkchecker van het INSPIRE Geoportal kan deze check op elk willekeurig moment worden uitgevoerd.

De Thematic viewer van Europa toont in welke mate een dataset ook daadwerkelijk raadpleegbaar (vie een View Service) en downloadbaar (via een Download Service) is. Hiervoor moeten diverse verwijzingen (via links en identifiers) tussen metadata en services goed opgegeven zijn. Dit is essentieel voor een werkende infrastructuur: als een dataset niet raadpleegbaar of niet downloadbaar is, is deze niet goed aangeboden aan INSPIRE en niet goed of zelfs helemaal niet bruikbaar.

Om de verwijzingen te controleren op juistheid bevat het INSPIRE Geoportal de Linkchecker: een tool om na te gaan of alle verwijzingen goed staan en waar eventuele correcties noodzakelijk zijn. De linkchecker voert verder geen validatie uit van de metadata, dataset en services. Deze onderdelen moeten apart gevalideerd worden, zie de table hierboven.

Direct naar de linkchecker

De linkchecker kan gestart worden door bestaande of nieuwe metadata van een dataset op te geven. Advies is om altijd voor New metadata te kiezen, omdat dan ook wijzigingen gelijk getest kunnen worden.

Monitoring op Quality of service

Europa verwacht van u dat u rapporteert over het feit of uw service de vereiste prestatie en beschikbaarheid heeft gehaald en in welke mate uw services bevraagd zijn. ETF bevat een voorziening om beschikbaarheid volgens een schedule te testen, echter u kunt ook software gebruiken die u misschien al gebruikt om andere websites te monitoren. Voor het bijhouden van gebruik van de services zijn diverse software modules gangbaar. Let wel op dat u bij het configureren van deze tools voldoende representatieve test-url’s gebruikt voor een gemiddelde gebruikerssessie (en niet bijvoorbeeld alleen een index pagina).Lees verder.