View source for Validatie

{{TOC_aandeslagINSPIRE}}{{TOC_INSPIRE|seg5=akt}} 

<br> 

Een belangrijk aspect van een implementatie is de mogelijkheid deze te valideren en monitoren middels, bij voorkeur, geautomatiseerde processen, dan wel beschreven procedures. Jaarlijks verwacht de Europese Unie een rapport van Nederland waar op basis van monitoring de conformiteit aan de regelgeving beschreven wordt voor de aangeboden datasets en services. <br> 
<br>Geonovum faciliteert u bij validatie en monitoring middels het beschikbaar stellen van een aantal validatie tools. De tools zijn bedoeld als hulpmiddel om fouten in de toepassing van standaarden te verminderen. In [#Te_gebruiken_validators onderstaande tabel] staat aangegeven per INSPIRE vereiste welke Nederlandse en Europese tools beschikbaar zijn om uw implementatie te valideren.

Omdat vanaf eind juni 2019 voor View Services (WMS en WMTS) en voor de Metadata TG versie 2.0 Europese validators beschikbaar zijn gesteld, zijn nu voor alle Nederlandse validators Europese varianten beschikbaar. 

== Validatie regels ==
In Annex A van alle INSPIRE technische specificaties is de Abstract Test Suite (ATS) opgenomen. Deze beschrijft tegen welke vereisten u een implementatie van die specificatie dient te toetsen. Delen van de Abstract Test Suite kunnen geautomatiseerd worden getest en worden uitgewerkt in de Europese validators (Eruopa noemt deze de "INSPIRE reference validators"). De validators van Geonovum zijn gebaseerd op de vereisten die als zodanig gemarkeerd zijn in de specificaties. 

== Wanneer valideren ==
<br>Geonovum raadt u aan deze tools (en eventuele steekproefsgewijs handmatige controles) op regelmatige basis uit te gebruiken, maar ten minste na de volgende gebeurtenissen:<br> 

*Na een mutatie van de data, de metadata en/of het publiceren van een (nieuwe) dataset 
*Implementatie van een software release, een storing, herstel van een backup en/of onderhouds moment (dit geldt ook voor releases van het Nationaal Georegister) 
*Het beschikbaar komen van nieuwe versies van test tools
<br>
Naast de in de tabel genoemde Nederlandse validatietools zijn er ook Europese validators die toetsen op INSPIRE conformiteit. De rapportages uit deze validators kunt u aanvullend op de Nederlandse validatietools gebruiken met als doel verdere foutenreductie.<br>

== Te gebruiken validators ==
'''In de Nederlandse INSPIRE klankbordgroep is afgesproken dat de validatietools die door Geonovum ter beschikking worden gesteld, de basis vormen voor Nederlandse dataproviders om vast te stellen of een implementatie voldoet aan de INSPIRE vereisten. Dit zijn de in onderstaande tabel genoemde validatietools<!-- met uitzondering van de validatietool voor WMTS, ATOM en de tools voor het testen van de beschikbaarheid en het gebruik van de services. Voor geharmoniseerde data voor Annex I themas kan de Europese validator gebruikt worden-->.'''<br> 

''Validatietools zijn nooit feilloos. Er kunnen bugs in zitten en de tools kunnen achterlopen op de ontwikkeling van Technical Guidelines. Ook kunnen twee tools (bijvoorbeeld die van Geonovum en de Europese validator) op hetzelfde onderdeel testen en toch een andere uitkomst geven. Dat kan bijvoorbeeld komen doordat bij de ontwikkeling van validatietools bepaalde afwegingen gemaakt worden, bijvoorbeeld hoe er getest wordt, of door interpretatieverschillen. Het is belangrijk te realiseren dat validatietools voornamelijk technisch valideren (bijvoorbeeld, controleren of er een identifier is). Of iets fout is ingevuld (bijvoorbeeld, de identifier verwijst niet naar de juiste dataset) kan niet altijd ondervangen worden. Daarnaast zijn niet alle vereisten door middel van geautomatiseerde processen te testen. Vanzelfsprekend doen wij ons best om de tooling zo snel mogelijk in lijn te krijgen met de laatste inzichten rond het implementeren van de INSPIRE regelgeving en zo veel mogelijk vereisten geautomatiseerd te testen. Toch raden we u aan om ook zelf kritisch naar uw gepubliceerde data en services te kijken, bijvoorbeeld door te controleren of deze goed vindbaar en te bekijken en te downloaden zijn in de [http://inspire-geoportal.ec.europa.eu/thematicviewer/Home.action  Thematic Viewer].''

<br> 

{| width="75%" cellspacing="0" cellpadding="2" border="1"
|-
! scope="col" style="background: rgb(207,207,255)" | INSPIRE eis 
! scope="col" style="background: rgb(207,207,255)" | Validatie tooling NL
! scope="col" style="background: rgb(207,207,255)" | Validatie tooling Europa
|-
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Data harmonisatie * [[Data-validatie|lees verder]]
|-
| <br> 
| <br>
| <br> 

|-
| Applicatie schema + GML 
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Geonovum validator: INSPIRE GML Data] 
| 

|-
| INSPIRE thema specifieke eisen + Generieke eisen data sets + Applicatie schema + GML
| 
| [http://inspire-sandbox.jrc.ec.europa.eu/validator/ Europese validator: INSPIRE GML Data] 
 
|-
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Discovery service
|-
| Discovery service 
| 
| [http://testsuite.gdi-de.org/ Validator: INSPIRE Discovery Services] 

|-
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Metadata [[Valideren Metadata|Lees verder]]
|-
| Metadata dataset 
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Validator: Nederlands metadataprofiel op ISO 19115 versie 2.0 plus INSPIRE] 
| [http://inspire.ec.europa.eu/validator/ Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119]

|-
| Metadata service 
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Validator: Nederlands metadataprofiel op ISO 19119 versie 2.0 plus INSPIRE] 
| [http://inspire.ec.europa.eu/validator/ Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119]

|-
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>View Service [[Valideren Services|Lees verder]]
|-
| WMS (configuratie) ** 
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Validator: INSPIRE View Services] 
| [http://inspire.ec.europa.eu/validator/ Validator: View Service WMS]

|-
| WMS&nbsp; 
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Nederlandse%20profielen%20services Validator: Nederlands WMS profiel ] 
| 

|-
| WMTS *** 
| [http://cite.opengeospatial.org/node/70 Validator: OGC protocol validator] 
| [http://inspire.ec.europa.eu/validator/ Validator: Conformance Class 'View Service WMTS']

|-
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Download Service [[Valideren Services|Lees verder]]
|-
| WFS/Atom (configuratie) ** 
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Validator: INSPIRE View en Downloadservices] 
| [http://inspire.ec.europa.eu/validator/ Validator: Download Service - Pre-defined ATOM]

|-
| WFS 
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Nederlandse%20profielen%20services Validator: Nederlands WFS profiel] 
| [http://inspire.ec.europa.eu/validator/ Validator: Download Service - Direct WFS en/of Download Service - Pre-defined WFS]

|-
| ATOM *** 
| [http://feedvalidator.org Validator: Atom Feeds] 
|

|-
| WCS
| Geen validator beschikbaar 
| [http://inspire.ec.europa.eu/validator/ Validator: Conformance Class 'Download Service WCS Core']

|-
| SOS
| Geen validator beschikbaar 
| [http://inspire.ec.europa.eu/validator/ Validator: Conformance Class 'Download Service Pre-defined SOS']

|-
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Quality of Service [[Quality of Services|Lees verder]]
|-
| Prestatie/Capaciteit<br> 
| [https://www.geonovum.nl/geo-standaarden/inspire-europese-leefomgeving#viewendownload INSPIRE view en download]  
|

|}


<br>* zie de roadmap op de Geonovum website om na te gaan vanaf welk moment uw dataset aan deze eis dient te voldoen. <br>** Inspire vereist dat services voldoen aan OGC en/of W3C specificaties. Het EsdinTestFramework test met name op de inhoud en configuratie van een service. Om conformiteit van het protocol te valideren worden aparte tools aangegeven. <br>*** Voor deze protocollen heeft Geonovum geen validator beschikbaar (behalve de in ETF aanwezige testen). Daarom wordt hier verwezen naar andere validators op ’t web. <br>**** Dit zijn voorbeelden van software die regelmatig in dit soort usecases gebruikt worden, gezien het grote aantal vergelijkbare opties, schrijft Geonovum hier geen software voor. <br><br> 

== Gebruik van de Europese validators: conformance classes ==
De INSPIRE Reference validators van Europa kennen zogenaamde conformance classes. Dit zijn te testen onderdelen van een implementatie. In bepaalde gevallen zijn er meerdere conformance classes van belang om te testen. De Europese validators zijn zo ingericht, dat als er een afhankelijkheid is bij een conformance class, deze automatisch ook geselecteerd wordt.

=== Conformance classes metadata ===
Voor metadata zijn er meerdere conformance classes beschikbaar. De volgende conformance classes kunnen het beste gebruikt worden, omdat dan automatisch alle relevante andere conformance classes geselecteerd worden:

{| width="75%" cellspacing="0" cellpadding="2" border="1"
|-
! scope="col" style="background: rgb(207,207,255)" | Te testen
! scope="col" style="background: rgb(207,207,255)" | Conformance class
|-


|-
| Metadata (TG version 2.0) - dataset metadata
| Conformance Class 2: 'INSPIRE data sets and data set series interoperability metadata

|-
| Metadata (TG version 2.0) - service metadata
| Conformance Class 2: Conformance Class 4: 'INSPIRE Network Services metadata'

|-
| Metadata (TG version 2.0) - SDS
| de betreffende conformance class van het type SDS

|}

=== Conformance classes data validatie ===
Om (geharmoniseerde) data te valideren zijn per thema validators beschikbaar. Op dit moment biedt de Europese validator alleen voor Annex I validators aan. Kies bij het valideren van een Annex I dataset de betreffende conformance classes van het thema. De algemene / generieke conformance classes worden dan automatisch geselecteerd, voor zo ver die relevant zijn. Algemeen advies is om alle conformance classes van een thema te selecteren bij het testen. Desgewenst kan echter ook een selectie gemaakt worden, als een bepaald onderdeel van de data harmonisatie getest moet worden.

=== Conformance classes service validators ===
Voor de meeste service validators (WMS, WMTS, WFS pre-defined, WFS direct access en ATOM) is er maar 1 Conformance class beschikbaar die gebruikt kan worden.

== Bekende problemen Europese validator ==
De Europese validators werken over het algemeen goed. Er zijn echter nog een paar bekende problemen. De belangrijkste staan hieronder, zie [https://github.com/inspire-eu-validation/community/issues de Github repository van INSPIRE validatie voor alle openstaande issues]

'''Metadata v2.0''': geen blokkerende issues bekend op dit moment.

'''WMS''':

1. bij gebruik van WMS extensies in de Capabilities, bijvoorbeeld voor de extensie voor SLD operaties (o.a. als de WMS de operatie GetLegendGraphic ondersteunt), gaat de XML schema validatie van de Capabilities niet goed. De validatie houdt geen rekening met extensies anders dan INSPIRE extensies. Dit is te strikt, maar er is nog geen oplossing voor geïmplementeerd ([https://github.com/inspire-eu-validation/community/issues/44 https://github.com/inspire-eu-validation/community/issues/44]). Als de XML schema validatie fout gaat op dit punt, kan de foutmelding genegeerd worden. De Nederlandse validator controleert wel correct op het XML schema.

2. WMS Layer names: te strikte controle op geharmoniseerde Layer names. De validator geeft een foutmelding als er een Layer name niet een geharmoniseerde Layer name is. Maar een WMS mag ook niet-geharmoniseerde Layer names bevatten. Als deze foutmelding verschijnt, kan die voor nu genegeerd worden (Github: [https://github.com/inspire-eu-validation/community/issues/39 https://github.com/inspire-eu-validation/community/issues/39]) 

3. Foutmeldingen bij Service exceptions: strikt genomen moeten services bij het ontbreken van bepaalde parameters (zoals: service=WMS) van een operatie, een foutmelding geven. Sommige implementaties zijn echter wat “vergevingsgezind”, bijvoorbeeld door aannames te doen voor een standaardwaarde als de parameter ontbreekt. Dit laatste is conform de (WMS) specificaties niet toegestaan. De Europese validators valideren op dit punt strikter dan de Nederlandse. 

'''WFS (predefined)''':

1. Bij sommige implementaties blijft de validatie hangen bij Initialization and basic checks > Autoconfigure WFS > Analyze WFS Capabilities. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: [https://github.com/inspire-eu-validation/community/issues/38 https://github.com/inspire-eu-validation/community/issues/38])

2. Bij bepaalde WFS implementaties, waarschijnlijk als de Mapserver software in gebruik is, blijft de validatie hangen op Autoconfigure WFS > Analyze WFS Capabilities > Get Schema Definition. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: [https://github.com/inspire-eu-validation/community/issues/29 https://github.com/inspire-eu-validation/community/issues/29])


''Tip'': de Europese validator kan ook middels een API aangeroepen worden. Bij het (semi) geautomatiseerd uitvoeren van tests kan het nuttig zijn dit te gebruiken.


== Link checker INSPIRE Geoportal en Thematic viewer ==

Om direct inzicht te hebben in de relaties tussen datasets, metadata en services is het niet nodig te wachten op de harvesting van het INSPIRE geoportal. Met de linkchecker van het INSPIRE Geoportal kan deze check op elk willekeurig moment worden uitgevoerd.

De Thematic viewer van Europa toont in welke mate een dataset ook daadwerkelijk raadpleegbaar (vie een View Service) en downloadbaar (via een Download Service) is. Hiervoor moeten diverse verwijzingen (via links en identifiers) tussen metadata en services goed opgegeven zijn. Dit is essentieel voor een werkende infrastructuur: als een dataset niet raadpleegbaar of niet downloadbaar is, is deze niet goed aangeboden aan INSPIRE en niet goed of zelfs helemaal niet bruikbaar. 

Om de verwijzingen te controleren op juistheid bevat het INSPIRE Geoportal de Linkchecker: een tool om na te gaan of alle verwijzingen goed staan en waar eventuele correcties noodzakelijk zijn. De linkchecker voert verder geen validatie uit van de metadata, dataset en services. Deze onderdelen moeten apart gevalideerd worden, zie de table hierboven.

[https://inspire-geoportal.ec.europa.eu/linkagechecker.html Direct naar de linkchecker]

De linkchecker kan gestart worden door bestaande of nieuwe metadata van een dataset op te geven. Advies is om altijd voor New metadata te kiezen, omdat dan ook wijzigingen gelijk getest kunnen worden.

== Monitoring op Quality of service ==

Europa verwacht van u dat u rapporteert over het feit of uw service de vereiste prestatie en beschikbaarheid heeft gehaald en in welke mate uw services bevraagd zijn. ETF bevat een voorziening om beschikbaarheid volgens een schedule te testen, echter u kunt ook software gebruiken die u misschien al gebruikt om andere websites te monitoren. Voor het bijhouden van gebruik van de services zijn diverse software modules gangbaar. Let wel op dat u bij het configureren van deze tools voldoende representatieve test-url’s gebruikt voor een gemiddelde gebruikerssessie (en niet bijvoorbeeld alleen een index pagina).[[Quality of Services|Lees verder.]]<br>