Difference between revisions of "Validatie"

From Geonovum Wiki
Jump to: navigation, search
 
(17 intermediate revisions by 2 users not shown)
Line 3: Line 3:
 
<br>  
 
<br>  
  
Een belangrijk aspect van een implementatie is de mogelijkheid deze te valideren en monitoren middels, bij voorkeur, geautomatiseerde processen, dan wel beschreven procedures. Jaarlijks verwacht de Europese Unie een rapport van Nederland waar op basis van monitoring de conformiteit aan de regelgeving beschreven wordt voor de aangeboden datasets en services. <br>
+
Een belangrijk aspect van een implementatie is de mogelijkheid deze te valideren en monitoren. Bij voorkeur gebeurt dit met geautomatiseerde processen, dan wel beschreven procedures. Validatie helpt dataproviders hun (meta)data en services te laten voldoen aan de INSPIRE Technical Guidelines. Daarnaast genereert de Europese Unie jaarlijks een rapport van Nederland waar op basis van validatie de conformiteit aan de INSPIRE-regelgeving beschreven wordt voor de aangeboden (meta)dataset en services.
<br>Geonovum faciliteert u bij validatie en monitoring middels het beschikbaar stellen van een aantal validatie tools. De tools zijn bedoeld als hulpmiddel om fouten in de toepassing van standaarden te verminderen. In [#Te_gebruiken_validators onderstaande tabel] staat aangegeven per INSPIRE vereiste welke Nederlandse en Europese tools beschikbaar zijn om uw implementatie te valideren.
 
  
Omdat vanaf eind juni 2019 voor View Services (WMS en WMTS) en voor de Metadata TG versie 2.0 Europese validators beschikbaar zijn gesteld, zijn nu voor alle Nederlandse validators Europese varianten beschikbaar.  
+
Om u te helpen bij validatie en monitoring zijn er validatietools beschikbaar. De tools zijn bedoeld als hulpmiddel om fouten in de toepassing van standaarden te verminderen. Er zijn Nederlandse en Europese validatietools. Vanaf 1 september 2020 is het advies om voor het controleren van de toepassing van de INSPIRE-standaard alleen nog de Europese validator te gebruiken. Op die datum wordt in Nederland ook overgestapt op metadataprofiel 2.1.0. In de Nederlandse validatietools hiervoor worden de INSPIRE-regels niet meer geüpdatet.
  
== Validatie regels ==
+
== Validatieregels ==
In Annex A van alle INSPIRE technische specificaties is de Abstract Test Suite (ATS) opgenomen. Deze beschrijft tegen welke vereisten u een implementatie van die specificatie dient te toetsen. Delen van de Abstract Test Suite kunnen geautomatiseerd worden getest en worden uitgewerkt in de Europese validators (Eruopa noemt deze de "INSPIRE reference validators"). De validators van Geonovum zijn gebaseerd op de vereisten die als zodanig gemarkeerd zijn in de specificaties.  
+
In Annex A van alle INSPIRE technische specificaties is de Abstract Test Suite (ATS) opgenomen. Deze beschrijft tegen welke vereisten u een implementatie van die specificatie dient te toetsen. Een regel in de ATS beschrijft woordelijk aan welke eisen voldaan moet worden. Delen van de Abstract Test Suite kunnen geautomatiseerd worden getest en worden uitgewerkt in (de Europese) validators (Europa noemt deze de "INSPIRE reference validators”). De daadwerkelijke regels die geautomatiseerd getest kunnen worden is samen een Executable Test Suite (ETS).
  
 
== Wanneer valideren ==
 
== Wanneer valideren ==
<br>Geonovum raadt u aan deze tools (en eventuele steekproefsgewijs handmatige controles) op regelmatige basis uit te gebruiken, maar ten minste na de volgende gebeurtenissen:<br>
+
Geonovum raadt u aan deze tools (en eventuele steekproefsgewijs handmatige controles) op regelmatige basis te gebruiken, maar ten minste bij de volgende gebeurtenissen:
  
*Na een mutatie van de data, de metadata en/of het publiceren van een (nieuwe) dataset
+
*Het publiceren van een (nieuwe) dataset.
*Implementatie van een software release, een storing, herstel van een backup en/of onderhouds moment (dit geldt ook voor releases van het Nationaal Georegister)  
+
*Een mutatie van de data, de metadata en/of service.
*Het beschikbaar komen van nieuwe versies van test tools
+
*De implementatie van een software release, een storing, herstel van een backup en/of onderhoudsmoment (dit geldt ook voor releases van het Nationaal Georegister)  
<br>
+
*Het beschikbaar komen van nieuwe versies van testtools.
Naast de in de tabel genoemde Nederlandse validatietools zijn er ook Europese validators die toetsen op INSPIRE conformiteit. De rapportages uit deze validators kunt u aanvullend op de Nederlandse validatietools gebruiken met als doel verdere foutenreductie.<br>
 
  
 
== Te gebruiken validators ==
 
== Te gebruiken validators ==
'''In de Nederlandse INSPIRE klankbordgroep is afgesproken dat de validatietools die door Geonovum ter beschikking worden gesteld, de basis vormen voor Nederlandse dataproviders om vast te stellen of een implementatie voldoet aan de INSPIRE vereisten. Dit zijn de in onderstaande tabel genoemde validatietools<!-- met uitzondering van de validatietool voor WMTS, ATOM en de tools voor het testen van de beschikbaarheid en het gebruik van de services. Voor geharmoniseerde data voor Annex I themas kan de Europese validator gebruikt worden-->.'''<br>
+
'''Gebruik de [https://inspire.ec.europa.eu/validator/ Europese validator] om de INSPIRE-regels omtrent data, metadata en services te checken.'''
  
''Validatietools zijn nooit feilloos. Er kunnen bugs in zitten en de tools kunnen achterlopen op de ontwikkeling van Technical Guidelines. Ook kunnen twee tools (bijvoorbeeld die van Geonovum en de Europese validator) op hetzelfde onderdeel testen en toch een andere uitkomst geven. Dat kan bijvoorbeeld komen doordat bij de ontwikkeling van validatietools bepaalde afwegingen gemaakt worden, bijvoorbeeld hoe er getest wordt, of door interpretatieverschillen. Het is belangrijk te realiseren dat validatietools voornamelijk technisch valideren (bijvoorbeeld, controleren of er een identifier is). Of iets fout is ingevuld (bijvoorbeeld, de identifier verwijst niet naar de juiste dataset) kan niet altijd ondervangen worden. Daarnaast zijn niet alle vereisten door middel van geautomatiseerde processen te testen. Vanzelfsprekend doen wij ons best om de tooling zo snel mogelijk in lijn te krijgen met de laatste inzichten rond het implementeren van de INSPIRE regelgeving en zo veel mogelijk vereisten geautomatiseerd te testen. Toch raden we u aan om ook zelf kritisch naar uw gepubliceerde data en services te kijken, bijvoorbeeld door te controleren of deze goed vindbaar en te bekijken en te downloaden zijn in de [http://inspire-geoportal.ec.europa.eu/thematicviewer/Home.action  Thematic Viewer].''
+
'''Gebruik daarnaast, ook als het INSPIRE (meta)data of een service is, de [http://validatie.geostandaarden.nl/ Nederlandse validator] voor het checken van compliance aan de Nederlandse profielen voor [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Metadata metadata], [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Nederlandse%20profielen%20services WMS en WFS].'''
  
<br>  
+
'''Voor WFS werkt de EU-validatietooling met bepaalde implementaties niet. Gebruik in dat geval nog de [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Nederlandse INSPIRE-validatietooling voor WFS].'''<br><br>
 +
 
 +
''Validatietools zijn nooit feilloos. Er kunnen bugs in zitten en de tools kunnen achterlopen op de ontwikkeling van Technical Guidelines. Ook kunnen twee tools (bijvoorbeeld die van Geonovum en de Europese validator) op hetzelfde onderdeel testen en toch een andere uitkomst geven. Dat kan bijvoorbeeld komen doordat bij de ontwikkeling van validatietools bepaalde afwegingen gemaakt worden, bijvoorbeeld hoe er getest wordt, of door interpretatieverschillen. Het is belangrijk te realiseren dat validatietools voornamelijk technisch valideren (bijvoorbeeld, controleren of er een identifier is). Of iets fout is ingevuld (bijvoorbeeld, de identifier verwijst niet naar de juiste dataset) kan niet altijd ondervangen worden. Daarnaast zijn niet alle vereisten door middel van geautomatiseerde processen te testen. Vanzelfsprekend doen wij ons best om de tooling zo snel mogelijk in lijn te krijgen met de laatste inzichten rond het implementeren van de INSPIRE-regelgeving en zo veel mogelijk vereisten geautomatiseerd te testen. Toch raden we u aan om ook zelf kritisch naar uw gepubliceerde data en services te kijken, bijvoorbeeld door te controleren of deze goed vindbaar en te bekijken en te downloaden zijn in de [https://inspire-geoportal.ec.europa.eu/ Thematic Viewer].'' <br> <br>
 +
 
 +
In de tabel hieronder staan welke tests beschikbaar zijn en aangeraden worden om data, metadata en services te valideren. De tests die genoemd worden in de kolom 'validatietooling EU' zijn allemaal op dezelfde hoofdpagina van de EU-validator te vinden.
  
 
{| width="75%" cellspacing="0" cellpadding="2" border="1"
 
{| width="75%" cellspacing="0" cellpadding="2" border="1"
 
|-
 
|-
! scope="col" style="background: rgb(207,207,255)" | INSPIRE eis  
+
! scope="col" style="background: rgb(207,207,255)" | INSPIRE-eis  
! scope="col" style="background: rgb(207,207,255)" | Validatie tooling NL
+
! scope="col" style="background: rgb(207,207,255)" | Validatietooling NL
! scope="col" style="background: rgb(207,207,255)" | Validatie tooling Europa
+
! scope="col" style="background: rgb(207,207,255)" | Validatietooling Europa
 
|-
 
|-
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Data harmonisatie * [[Data-validatie|lees verder]]
+
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Dataharmonisatie * [[Data-validatie|lees verder]]
 +
 
 +
 
 
|-
 
|-
| <br>
+
| INSPIRE GML Annex I
| <br>
+
|
| <br>
+
| [http://inspire.ec.europa.eu/validator/ Validator: Annex I Data theme conformance]
  
 
|-
 
|-
| Applicatie schema + GML
+
| INSPIRE GML Annex II & III (mits beschikbaar)
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Geonovum validator: INSPIRE GML Data]
 
 
|  
 
|  
 +
| [http://inspire.ec.europa.eu/validator/ Validator: Annex II/III Data theme conformance] of [http://staging-inspire-validator.eu-west-1.elasticbeanstalk.com/etf-webapp/ staging instance ]
  
 
|-
 
|-
| INSPIRE thema specifieke eisen + Generieke eisen data sets + Applicatie schema + GML
+
| INSPIRE GML general requirements (gebruiken wanneer Annex II/III-validator niet beschikbaar is)
 
|  
 
|  
| [http://inspire-sandbox.jrc.ec.europa.eu/validator/ Europese validator: INSPIRE GML Data]  
+
| [http://inspire.ec.europa.eu/validator/ Validator: INSPIRE GML application schemas, general requirements]
 
   
 
   
 
|-
 
|-
Line 54: Line 58:
 
| Discovery service  
 
| Discovery service  
 
|  
 
|  
| [http://testsuite.gdi-de.org/ Validator: INSPIRE Discovery Services]  
+
| [http://inspire.ec.europa.eu/validator/ Validator: Discovery Service - CSW Core]  
  
 
|-
 
|-
Line 60: Line 64:
 
|-
 
|-
 
| Metadata dataset  
 
| Metadata dataset  
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Validator: Nederlands metadataprofiel op ISO 19115 versie 2.0 plus INSPIRE]  
+
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Metadata Validator: Nederlands profiel op ISO 19115 v21 2020]  
 
| [http://inspire.ec.europa.eu/validator/ Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119]
 
| [http://inspire.ec.europa.eu/validator/ Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119]
  
 
|-
 
|-
 
| Metadata service  
 
| Metadata service  
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Validator: Nederlands metadataprofiel op ISO 19119 versie 2.0 plus INSPIRE]  
+
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Metadata Validator: Nederlands profiel op ISO 19119 v21 2020]  
 
| [http://inspire.ec.europa.eu/validator/ Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119]
 
| [http://inspire.ec.europa.eu/validator/ Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119]
  
Line 71: Line 75:
 
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>View Service [[Valideren Services|Lees verder]]
 
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>View Service [[Valideren Services|Lees verder]]
 
|-
 
|-
| WMS (configuratie) **
+
| WMS
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Validator: INSPIRE View Services]  
+
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Nederlandse%20profielen%20services Validator: Nederlands WMS profiel 1_3_0]  
 
| [http://inspire.ec.europa.eu/validator/ Validator: View Service WMS]
 
| [http://inspire.ec.europa.eu/validator/ Validator: View Service WMS]
  
 
|-
 
|-
| WMS&nbsp;
+
| WMTS
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Nederlandse%20profielen%20services Validator: Nederlands WMS profiel ]
+
|
|
+
| [http://inspire.ec.europa.eu/validator/ Validator: View Service WMTS]
 
 
|-
 
| WMTS ***
 
| [http://cite.opengeospatial.org/node/70 Validator: OGC protocol validator]
 
| [http://inspire.ec.europa.eu/validator/ Validator: Conformance Class 'View Service WMTS']
 
  
 
|-
 
|-
 
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Download Service [[Valideren Services|Lees verder]]
 
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Download Service [[Valideren Services|Lees verder]]
 
|-
 
|-
| WFS/Atom (configuratie) **
+
| WFS  
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE Validator: INSPIRE View en Downloadservices]  
+
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Nederlandse%20profielen%20services Validator: Nederlands WFS profiel WFS 2_0_0 ISO 19142]
| [http://inspire.ec.europa.eu/validator/ Validator: Download Service - Pre-defined ATOM]
+
en
  
|-
+
[http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=INSPIRE INSPIRE Download service WFS 2_0_0] bij niet-werkende EU-implementatie.
| WFS
 
| [http://validatie.geostandaarden.nl/etf-webapp/testprojects?testdomain=Nederlandse%20profielen%20services Validator: Nederlands WFS profiel]  
 
 
| [http://inspire.ec.europa.eu/validator/ Validator: Download Service - Direct WFS en/of Download Service - Pre-defined WFS]
 
| [http://inspire.ec.europa.eu/validator/ Validator: Download Service - Direct WFS en/of Download Service - Pre-defined WFS]
  
 
|-
 
|-
| ATOM ***
+
| ATOM
| [http://feedvalidator.org Validator: Atom Feeds]
 
 
|
 
|
 +
| [http://inspire.ec.europa.eu/validator/ Validator: Download service – Pre-defined ATOM]
  
 
|-
 
|-
 
| WCS
 
| WCS
| Geen validator beschikbaar
+
|  
|
+
| [http://inspire.ec.europa.eu/validator/ Validator: Download service – WCS core]
  
 
|-
 
|-
 
| SOS
 
| SOS
| Geen validator beschikbaar
 
|
 
 
|-
 
! align="left" scope="col" colspan="3" style="background: rgb(239,239,255)" | <br>Quality of Service [[Quality of Services|Lees verder]]
 
|-
 
| Prestatie/Capaciteit<br>
 
| [https://www.geonovum.nl/geo-standaarden/inspire-europese-leefomgeving#viewendownload INSPIRE view en download] 
 
 
|
 
|
 
+
| [http://inspire.ec.europa.eu/validator/ Validator: Download service – Pre-defined SOS]
 
|}
 
|}
  
 
+
<br>* zie de roadmap op de Geonovum-website om na te gaan vanaf welk moment uw dataset aan deze eis dient te voldoen. <br>
<br>* zie de roadmap op de Geonovum website om na te gaan vanaf welk moment uw dataset aan deze eis dient te voldoen. <br>** Inspire vereist dat services voldoen aan OGC en/of W3C specificaties. Het EsdinTestFramework test met name op de inhoud en configuratie van een service. Om conformiteit van het protocol te valideren worden aparte tools aangegeven. <br>*** Voor deze protocollen heeft Geonovum geen validator beschikbaar (behalve de in ETF aanwezige testen). Daarom wordt hier verwezen naar andere validators op ’t web. <br>**** Dit zijn voorbeelden van software die regelmatig in dit soort usecases gebruikt worden, gezien het grote aantal vergelijkbare opties, schrijft Geonovum hier geen software voor. <br><br>  
 
  
 
== Gebruik van de Europese validators: conformance classes ==
 
== Gebruik van de Europese validators: conformance classes ==
Line 143: Line 131:
 
|-
 
|-
 
| Metadata (TG version 2.0) - service metadata
 
| Metadata (TG version 2.0) - service metadata
| Conformance Class 2: Conformance Class 4: 'INSPIRE Network Services metadata'
+
| Conformance Class 4: 'INSPIRE Network Services metadata'
  
 
|-
 
|-
 
| Metadata (TG version 2.0) - SDS
 
| Metadata (TG version 2.0) - SDS
| de betreffende conformance class van het type SDS
+
| Conformance Class 5, 6 of 7 overeenkomstig het type SDS
  
 
|}
 
|}
  
=== Conformance classes data validatie ===
+
=== Conformance classes datavalidatie ===
Om (geharmoniseerde) data te valideren zijn per thema validators beschikbaar. Op dit moment biedt de Europese validator alleen voor Annex I validators aan. Kies bij het valideren van een Annex I dataset de betreffende conformance classes van het thema. De algemene / generieke conformance classes worden dan automatisch geselecteerd, voor zo ver die relevant zijn. Algemeen advies is om alle conformance classes van een thema te selecteren bij het testen. Desgewenst kan echter ook een selectie gemaakt worden, als een bepaald onderdeel van de data harmonisatie getest moet worden.
+
Om (geharmoniseerde) data te valideren zijn per thema validators beschikbaar. Op dit moment biedt de Europese validator voor alle Annex I thema-specifieke validators aan. Dat betekent dat er naast de GML-structuur, ook gevalideerd wordt tegen het XSD-bestand van het applicatieschema, en dus de thema-specifieke bestandsstructuur wordt gecontroleerd. Kies bij het valideren van een Annex I dataset de betreffende conformance classes van het thema. De algemene / generieke conformance classes worden dan automatisch geselecteerd, voor zo ver die relevant zijn. Algemeen advies is om alle conformance classes van een thema te selecteren bij het testen. Desgewenst kan echter ook een selectie gemaakt worden, als een bepaald onderdeel van de data harmonisatie getest moet worden.
  
=== Conformance classes service validators ===
+
Op het moment wordt eraan gewerkt om ook voor Annex II en III thema-specifieke validatie te ontwikkelen. De voortgang daarvan is te vinden in dit [https://github.com/inspire-eu-validation/community/issues/336 Github issue]. Let op: soms zijn nieuw ontwikkelde thema-validaties alleen nog beschikbaar in de testversie van de validator, de zogeheten [http://staging-inspire-validator.eu-west-1.elasticbeanstalk.com/etf-webapp/ staging instance]. In dat geval kun je deze staging vast gebruiken om Annex II of III data te testen.
 +
 
 +
=== Conformance classes service-validators ===
 
Voor de meeste service validators (WMS, WMTS, WFS pre-defined, WFS direct access en ATOM) is er maar 1 Conformance class beschikbaar die gebruikt kan worden.
 
Voor de meeste service validators (WMS, WMTS, WFS pre-defined, WFS direct access en ATOM) is er maar 1 Conformance class beschikbaar die gebruikt kan worden.
  
 
== Bekende problemen Europese validator ==
 
== Bekende problemen Europese validator ==
De Europese validators werken over het algemeen goed. Er zijn echter nog een paar bekende problemen. De belangrijkste staan hieronder, zie [https://github.com/inspire-eu-validation/community/issues de Github repository van INSPIRE validatie voor alle openstaande issues]
+
De Europese validators werken over het algemeen goed. Er zijn echter nog een paar bekende problemen. '''Voor WFS werkt de EU validatie met bepaalde implementaties niet, gebruik in dat geval nog de NL validatie voor WFS.''' De overige belangrijkste issues staan hieronder, zie de [https://github.com/inspire-eu-validation/community/issues Github repository van INSPIRE validatie] voor alle openstaande issues.
 
 
'''Metadata v2.0''': geen blokkerende issues bekend op dit moment.
 
  
 
'''WMS''':
 
'''WMS''':
Line 166: Line 154:
 
1. bij gebruik van WMS extensies in de Capabilities, bijvoorbeeld voor de extensie voor SLD operaties (o.a. als de WMS de operatie GetLegendGraphic ondersteunt), gaat de XML schema validatie van de Capabilities niet goed. De validatie houdt geen rekening met extensies anders dan INSPIRE extensies. Dit is te strikt, maar er is nog geen oplossing voor geïmplementeerd ([https://github.com/inspire-eu-validation/community/issues/44 https://github.com/inspire-eu-validation/community/issues/44]). Als de XML schema validatie fout gaat op dit punt, kan de foutmelding genegeerd worden. De Nederlandse validator controleert wel correct op het XML schema.
 
1. bij gebruik van WMS extensies in de Capabilities, bijvoorbeeld voor de extensie voor SLD operaties (o.a. als de WMS de operatie GetLegendGraphic ondersteunt), gaat de XML schema validatie van de Capabilities niet goed. De validatie houdt geen rekening met extensies anders dan INSPIRE extensies. Dit is te strikt, maar er is nog geen oplossing voor geïmplementeerd ([https://github.com/inspire-eu-validation/community/issues/44 https://github.com/inspire-eu-validation/community/issues/44]). Als de XML schema validatie fout gaat op dit punt, kan de foutmelding genegeerd worden. De Nederlandse validator controleert wel correct op het XML schema.
  
2. WMS Layer names: te strikte controle op geharmoniseerde Layer names. De validator geeft een foutmelding als er een Layer name niet een geharmoniseerde Layer name is. Maar een WMS mag ook niet-geharmoniseerde Layer names bevatten. Als deze foutmelding verschijnt, kan die voor nu genegeerd worden (Github: [https://github.com/inspire-eu-validation/community/issues/39 https://github.com/inspire-eu-validation/community/issues/39])  
+
2. WMS Layer names: te strikte controle op geharmoniseerde Layer names. De validator geeft een foutmelding als er een Layer name niet een geharmoniseerde Layer name is. Maar een WMS mag ook niet-geharmoniseerde Layer names bevatten. Als deze foutmelding verschijnt, kan die voor nu genegeerd worden (Github: [https://github.com/inspire-eu-validation/community/issues/39 https://github.com/inspire-eu-validation/community/issues/39]). '''Dit issue wordt verholpen bij de validatorrelease gepland op 15 september 2020.'''
  
 
3. Foutmeldingen bij Service exceptions: strikt genomen moeten services bij het ontbreken van bepaalde parameters (zoals: service=WMS) van een operatie, een foutmelding geven. Sommige implementaties zijn echter wat “vergevingsgezind”, bijvoorbeeld door aannames te doen voor een standaardwaarde als de parameter ontbreekt. Dit laatste is conform de (WMS) specificaties niet toegestaan. De Europese validators valideren op dit punt strikter dan de Nederlandse.  
 
3. Foutmeldingen bij Service exceptions: strikt genomen moeten services bij het ontbreken van bepaalde parameters (zoals: service=WMS) van een operatie, een foutmelding geven. Sommige implementaties zijn echter wat “vergevingsgezind”, bijvoorbeeld door aannames te doen voor een standaardwaarde als de parameter ontbreekt. Dit laatste is conform de (WMS) specificaties niet toegestaan. De Europese validators valideren op dit punt strikter dan de Nederlandse.  
Line 174: Line 162:
 
1. Bij sommige implementaties blijft de validatie hangen bij Initialization and basic checks > Autoconfigure WFS > Analyze WFS Capabilities. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: [https://github.com/inspire-eu-validation/community/issues/38 https://github.com/inspire-eu-validation/community/issues/38])
 
1. Bij sommige implementaties blijft de validatie hangen bij Initialization and basic checks > Autoconfigure WFS > Analyze WFS Capabilities. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: [https://github.com/inspire-eu-validation/community/issues/38 https://github.com/inspire-eu-validation/community/issues/38])
  
2. Bij bepaalde WFS implementaties, waarschijnlijk als de Mapserver software in gebruik is, blijft de validatie hangen op Autoconfigure WFS > Analyze WFS Capabilities > Get Schema Definition. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: [https://github.com/inspire-eu-validation/community/issues/29 https://github.com/inspire-eu-validation/community/issues/29])
+
2. Bij bepaalde WFS implementaties, waarschijnlijk als de Mapserver software in gebruik is, blijft de validatie hangen op Autoconfigure WFS > Analyze WFS Capabilities > Get Schema Definition. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: [https://github.com/inspire-eu-validation/community/issues/29 https://github.com/inspire-eu-validation/community/issues/29]). '''Dit issue wordt verholpen bij de validatorrelease gepland op 15 september 2020.'''
  
  
 
''Tip'': de Europese validator kan ook middels een API aangeroepen worden. Bij het (semi) geautomatiseerd uitvoeren van tests kan het nuttig zijn dit te gebruiken.
 
''Tip'': de Europese validator kan ook middels een API aangeroepen worden. Bij het (semi) geautomatiseerd uitvoeren van tests kan het nuttig zijn dit te gebruiken.
  
 +
== Link checker INSPIRE Geoportal en Thematic viewer ==
 +
 +
Om direct inzicht te hebben in de relaties tussen datasets, metadata en services is het niet nodig te wachten op de harvesting van het INSPIRE geoportal. Met de linkchecker van het INSPIRE Geoportal kan deze check op elk willekeurig moment worden uitgevoerd.
 +
 +
De Thematic viewer van Europa toont in welke mate een dataset ook daadwerkelijk raadpleegbaar (vie een View Service) en downloadbaar (via een Download Service) is. Hiervoor moeten diverse verwijzingen (via links en identifiers) tussen metadata en services goed opgegeven zijn. Dit is essentieel voor een werkende infrastructuur: als een dataset niet raadpleegbaar of niet downloadbaar is, is deze niet goed aangeboden aan INSPIRE en niet goed of zelfs helemaal niet bruikbaar.
 +
 +
Om de verwijzingen te controleren op juistheid bevat het INSPIRE Geoportal de Linkchecker: een tool om na te gaan of alle verwijzingen goed staan en waar eventuele correcties noodzakelijk zijn. De linkchecker voert verder geen validatie uit van de metadata, dataset en services. Deze onderdelen moeten apart gevalideerd worden, zie de table hierboven.
  
== Monitoring op Quality of service ==
+
[https://inspire-geoportal.ec.europa.eu/linkagechecker.html Direct naar de linkchecker]
  
Europa verwacht van u dat u rapporteert over het feit of uw service de vereiste prestatie en beschikbaarheid heeft gehaald en in welke mate uw services bevraagd zijn. ETF bevat een voorziening om beschikbaarheid volgens een schedule te testen, echter u kunt ook software gebruiken die u misschien al gebruikt om andere websites te monitoren. Voor het bijhouden van gebruik van de services zijn diverse software modules gangbaar. Let wel op dat u bij het configureren van deze tools voldoende representatieve test-url’s gebruikt voor een gemiddelde gebruikerssessie (en niet bijvoorbeeld alleen een index pagina).[[Quality of Services|Lees verder.]]<br>
+
De linkchecker kan gestart worden door bestaande of nieuwe metadata van een dataset op te geven. Advies is om altijd voor New metadata te kiezen, omdat dan ook wijzigingen gelijk getest kunnen worden.

Latest revision as of 13:25, 3 September 2020


Aan de slag met INSPIRE

Doelgroep
Processtappen
Deadlines
Bronnen
Over deze wiki

Aanmerking en Namespaces

Aanmerkingsregister
Namespace register

Inrichten organisatie

1. Dataharmonisatie

Documentatie dataharmonisatie
Principes dataharmonisatie
As-is versus geharmoniseerd
Prioritaire datasets (e-reporting)
Generic Conceptual Model
INSPIRE ID
Codelijsten
Portrayal
Geometrie
Data-validatie
Checklist dataharmonisatie
Control panel
Extensies
Thematic Clusters
FAQ Dataharmonisatie

2. Metadata

Metadata aanmaken
Waar moet mijn metadata aan voldoen?
Metadata en Taal
Geharmoniseerde Gebruiksvoorwaarden
Invulinstructie voor datasets
Prioritaire datasets
Voorbeeld XML voor INSPIRE dataset metadata
Metadata-validatie
FAQ Metadata

3a. Network Services

Informatie Network Services
Vereisten Services
Quality of Services
Rights Management Layer
Agree operation
RM en GeoGedeeld
View service maken
Recente wijzigingen specificaties
INSPIRE vereisten opnemen in een Capabilities document
Category Layers
Meertaligheid in een Capabilities document
Voorbeeld XML voor Capabilities
Portrayal
FAQ View Services
Download service maken
Recente wijzigingen specificaties Download Services
Download Service via Atom feed
Automatisch genereren van OpenSearch description
Download Service Pre-defined Datasets via WFS
Download Service Direct Access via WFS
Download service via WCS
Download service via SOS
FAQ Download Services
Metadata Services
Scenario's voor het aanmaken van service metadata
Invulinstructie voor services
Voorbeeld XML voor INSPIRE service metadata
Valideren Metadata Services
Valideren Services

3b. Spatial Data Services

Wat is een Spatial Data Service
Categorieën van Spatial Data Service
Bepalen categorie Spatial Data Service
Invocable Spatial Data Service
Interoperable Spatial Data Service
Harmonised Spatial Data Service
Metadata templates voor Spatial Data Service

4. Publiceren

Publiceren Inspire aanduiding

5. Validatie

6. INSPIRE vervolg

Monitoring en Rapportage

Veelvoorkomende vragen

FAQ Metadata
FAQ View Services
FAQ Download Services
FAQ Data Harmonisatie

Extra informatie

Terminologie
Normatief Kader TC 211
UML notatie


 


Inrichten organisatie 1. Data harmonisatie 2. Metadata 3. Services 4. Publicatie Inspire portal 5. Validatie


Een belangrijk aspect van een implementatie is de mogelijkheid deze te valideren en monitoren. Bij voorkeur gebeurt dit met geautomatiseerde processen, dan wel beschreven procedures. Validatie helpt dataproviders hun (meta)data en services te laten voldoen aan de INSPIRE Technical Guidelines. Daarnaast genereert de Europese Unie jaarlijks een rapport van Nederland waar op basis van validatie de conformiteit aan de INSPIRE-regelgeving beschreven wordt voor de aangeboden (meta)dataset en services.

Om u te helpen bij validatie en monitoring zijn er validatietools beschikbaar. De tools zijn bedoeld als hulpmiddel om fouten in de toepassing van standaarden te verminderen. Er zijn Nederlandse en Europese validatietools. Vanaf 1 september 2020 is het advies om voor het controleren van de toepassing van de INSPIRE-standaard alleen nog de Europese validator te gebruiken. Op die datum wordt in Nederland ook overgestapt op metadataprofiel 2.1.0. In de Nederlandse validatietools hiervoor worden de INSPIRE-regels niet meer geüpdatet.

Validatieregels

In Annex A van alle INSPIRE technische specificaties is de Abstract Test Suite (ATS) opgenomen. Deze beschrijft tegen welke vereisten u een implementatie van die specificatie dient te toetsen. Een regel in de ATS beschrijft woordelijk aan welke eisen voldaan moet worden. Delen van de Abstract Test Suite kunnen geautomatiseerd worden getest en worden uitgewerkt in (de Europese) validators (Europa noemt deze de "INSPIRE reference validators”). De daadwerkelijke regels die geautomatiseerd getest kunnen worden is samen een Executable Test Suite (ETS).

Wanneer valideren

Geonovum raadt u aan deze tools (en eventuele steekproefsgewijs handmatige controles) op regelmatige basis te gebruiken, maar ten minste bij de volgende gebeurtenissen:

  • Het publiceren van een (nieuwe) dataset.
  • Een mutatie van de data, de metadata en/of service.
  • De implementatie van een software release, een storing, herstel van een backup en/of onderhoudsmoment (dit geldt ook voor releases van het Nationaal Georegister)
  • Het beschikbaar komen van nieuwe versies van testtools.

Te gebruiken validators

Gebruik de Europese validator om de INSPIRE-regels omtrent data, metadata en services te checken.

Gebruik daarnaast, ook als het INSPIRE (meta)data of een service is, de Nederlandse validator voor het checken van compliance aan de Nederlandse profielen voor metadata, WMS en WFS.

Voor WFS werkt de EU-validatietooling met bepaalde implementaties niet. Gebruik in dat geval nog de Nederlandse INSPIRE-validatietooling voor WFS.

Validatietools zijn nooit feilloos. Er kunnen bugs in zitten en de tools kunnen achterlopen op de ontwikkeling van Technical Guidelines. Ook kunnen twee tools (bijvoorbeeld die van Geonovum en de Europese validator) op hetzelfde onderdeel testen en toch een andere uitkomst geven. Dat kan bijvoorbeeld komen doordat bij de ontwikkeling van validatietools bepaalde afwegingen gemaakt worden, bijvoorbeeld hoe er getest wordt, of door interpretatieverschillen. Het is belangrijk te realiseren dat validatietools voornamelijk technisch valideren (bijvoorbeeld, controleren of er een identifier is). Of iets fout is ingevuld (bijvoorbeeld, de identifier verwijst niet naar de juiste dataset) kan niet altijd ondervangen worden. Daarnaast zijn niet alle vereisten door middel van geautomatiseerde processen te testen. Vanzelfsprekend doen wij ons best om de tooling zo snel mogelijk in lijn te krijgen met de laatste inzichten rond het implementeren van de INSPIRE-regelgeving en zo veel mogelijk vereisten geautomatiseerd te testen. Toch raden we u aan om ook zelf kritisch naar uw gepubliceerde data en services te kijken, bijvoorbeeld door te controleren of deze goed vindbaar en te bekijken en te downloaden zijn in de Thematic Viewer.

In de tabel hieronder staan welke tests beschikbaar zijn en aangeraden worden om data, metadata en services te valideren. De tests die genoemd worden in de kolom 'validatietooling EU' zijn allemaal op dezelfde hoofdpagina van de EU-validator te vinden.

INSPIRE-eis Validatietooling NL Validatietooling Europa

Dataharmonisatie * lees verder


INSPIRE GML Annex I Validator: Annex I Data theme conformance
INSPIRE GML Annex II & III (mits beschikbaar) Validator: Annex II/III Data theme conformance of staging instance
INSPIRE GML general requirements (gebruiken wanneer Annex II/III-validator niet beschikbaar is) Validator: INSPIRE GML application schemas, general requirements

Discovery service
Discovery service Validator: Discovery Service - CSW Core

Metadata Lees verder
Metadata dataset Validator: Nederlands profiel op ISO 19115 v21 2020 Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119
Metadata service Validator: Nederlands profiel op ISO 19119 v21 2020 Validator: INSPIRE Profile based on EN ISO 19115 and EN ISO 19119

View Service Lees verder
WMS Validator: Nederlands WMS profiel 1_3_0 Validator: View Service WMS
WMTS Validator: View Service WMTS

Download Service Lees verder
WFS Validator: Nederlands WFS profiel WFS 2_0_0 ISO 19142

en

INSPIRE Download service WFS 2_0_0 bij niet-werkende EU-implementatie.

Validator: Download Service - Direct WFS en/of Download Service - Pre-defined WFS
ATOM Validator: Download service – Pre-defined ATOM
WCS Validator: Download service – WCS core
SOS Validator: Download service – Pre-defined SOS


* zie de roadmap op de Geonovum-website om na te gaan vanaf welk moment uw dataset aan deze eis dient te voldoen.

Gebruik van de Europese validators: conformance classes

De INSPIRE Reference validators van Europa kennen zogenaamde conformance classes. Dit zijn te testen onderdelen van een implementatie. In bepaalde gevallen zijn er meerdere conformance classes van belang om te testen. De Europese validators zijn zo ingericht, dat als er een afhankelijkheid is bij een conformance class, deze automatisch ook geselecteerd wordt.

Conformance classes metadata

Voor metadata zijn er meerdere conformance classes beschikbaar. De volgende conformance classes kunnen het beste gebruikt worden, omdat dan automatisch alle relevante andere conformance classes geselecteerd worden:

Te testen Conformance class
Metadata (TG version 2.0) - dataset metadata Conformance Class 2: 'INSPIRE data sets and data set series interoperability metadata
Metadata (TG version 2.0) - service metadata Conformance Class 4: 'INSPIRE Network Services metadata'
Metadata (TG version 2.0) - SDS Conformance Class 5, 6 of 7 overeenkomstig het type SDS

Conformance classes datavalidatie

Om (geharmoniseerde) data te valideren zijn per thema validators beschikbaar. Op dit moment biedt de Europese validator voor alle Annex I thema-specifieke validators aan. Dat betekent dat er naast de GML-structuur, ook gevalideerd wordt tegen het XSD-bestand van het applicatieschema, en dus de thema-specifieke bestandsstructuur wordt gecontroleerd. Kies bij het valideren van een Annex I dataset de betreffende conformance classes van het thema. De algemene / generieke conformance classes worden dan automatisch geselecteerd, voor zo ver die relevant zijn. Algemeen advies is om alle conformance classes van een thema te selecteren bij het testen. Desgewenst kan echter ook een selectie gemaakt worden, als een bepaald onderdeel van de data harmonisatie getest moet worden.

Op het moment wordt eraan gewerkt om ook voor Annex II en III thema-specifieke validatie te ontwikkelen. De voortgang daarvan is te vinden in dit Github issue. Let op: soms zijn nieuw ontwikkelde thema-validaties alleen nog beschikbaar in de testversie van de validator, de zogeheten staging instance. In dat geval kun je deze staging vast gebruiken om Annex II of III data te testen.

Conformance classes service-validators

Voor de meeste service validators (WMS, WMTS, WFS pre-defined, WFS direct access en ATOM) is er maar 1 Conformance class beschikbaar die gebruikt kan worden.

Bekende problemen Europese validator

De Europese validators werken over het algemeen goed. Er zijn echter nog een paar bekende problemen. Voor WFS werkt de EU validatie met bepaalde implementaties niet, gebruik in dat geval nog de NL validatie voor WFS. De overige belangrijkste issues staan hieronder, zie de Github repository van INSPIRE validatie voor alle openstaande issues.

WMS:

1. bij gebruik van WMS extensies in de Capabilities, bijvoorbeeld voor de extensie voor SLD operaties (o.a. als de WMS de operatie GetLegendGraphic ondersteunt), gaat de XML schema validatie van de Capabilities niet goed. De validatie houdt geen rekening met extensies anders dan INSPIRE extensies. Dit is te strikt, maar er is nog geen oplossing voor geïmplementeerd (https://github.com/inspire-eu-validation/community/issues/44). Als de XML schema validatie fout gaat op dit punt, kan de foutmelding genegeerd worden. De Nederlandse validator controleert wel correct op het XML schema.

2. WMS Layer names: te strikte controle op geharmoniseerde Layer names. De validator geeft een foutmelding als er een Layer name niet een geharmoniseerde Layer name is. Maar een WMS mag ook niet-geharmoniseerde Layer names bevatten. Als deze foutmelding verschijnt, kan die voor nu genegeerd worden (Github: https://github.com/inspire-eu-validation/community/issues/39). Dit issue wordt verholpen bij de validatorrelease gepland op 15 september 2020.

3. Foutmeldingen bij Service exceptions: strikt genomen moeten services bij het ontbreken van bepaalde parameters (zoals: service=WMS) van een operatie, een foutmelding geven. Sommige implementaties zijn echter wat “vergevingsgezind”, bijvoorbeeld door aannames te doen voor een standaardwaarde als de parameter ontbreekt. Dit laatste is conform de (WMS) specificaties niet toegestaan. De Europese validators valideren op dit punt strikter dan de Nederlandse.

WFS (predefined):

1. Bij sommige implementaties blijft de validatie hangen bij Initialization and basic checks > Autoconfigure WFS > Analyze WFS Capabilities. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: https://github.com/inspire-eu-validation/community/issues/38)

2. Bij bepaalde WFS implementaties, waarschijnlijk als de Mapserver software in gebruik is, blijft de validatie hangen op Autoconfigure WFS > Analyze WFS Capabilities > Get Schema Definition. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: https://github.com/inspire-eu-validation/community/issues/29). Dit issue wordt verholpen bij de validatorrelease gepland op 15 september 2020.


Tip: de Europese validator kan ook middels een API aangeroepen worden. Bij het (semi) geautomatiseerd uitvoeren van tests kan het nuttig zijn dit te gebruiken.

Link checker INSPIRE Geoportal en Thematic viewer

Om direct inzicht te hebben in de relaties tussen datasets, metadata en services is het niet nodig te wachten op de harvesting van het INSPIRE geoportal. Met de linkchecker van het INSPIRE Geoportal kan deze check op elk willekeurig moment worden uitgevoerd.

De Thematic viewer van Europa toont in welke mate een dataset ook daadwerkelijk raadpleegbaar (vie een View Service) en downloadbaar (via een Download Service) is. Hiervoor moeten diverse verwijzingen (via links en identifiers) tussen metadata en services goed opgegeven zijn. Dit is essentieel voor een werkende infrastructuur: als een dataset niet raadpleegbaar of niet downloadbaar is, is deze niet goed aangeboden aan INSPIRE en niet goed of zelfs helemaal niet bruikbaar.

Om de verwijzingen te controleren op juistheid bevat het INSPIRE Geoportal de Linkchecker: een tool om na te gaan of alle verwijzingen goed staan en waar eventuele correcties noodzakelijk zijn. De linkchecker voert verder geen validatie uit van de metadata, dataset en services. Deze onderdelen moeten apart gevalideerd worden, zie de table hierboven.

Direct naar de linkchecker

De linkchecker kan gestart worden door bestaande of nieuwe metadata van een dataset op te geven. Advies is om altijd voor New metadata te kiezen, omdat dan ook wijzigingen gelijk getest kunnen worden.