Difference between revisions of "Validatie"
(Aanpassen hfst validatieregels) |
(Aanpassen hfst Wanneer valideren) |
||
| Line 11: | Line 11: | ||
== Wanneer valideren == | == Wanneer valideren == | ||
| − | Geonovum raadt u aan deze tools (en eventuele steekproefsgewijs handmatige controles) op regelmatige basis | + | Geonovum raadt u aan deze tools (en eventuele steekproefsgewijs handmatige controles) op regelmatige basis te gebruiken, maar ten minste bij de volgende gebeurtenissen: |
| − | * | + | *Het publiceren van een (nieuwe) dataset. |
| − | * | + | *Een mutatie van de data, de metadata en/of service. |
| − | *Het beschikbaar komen van nieuwe versies van | + | *De implementatie van een software release, een storing, herstel van een backup en/of onderhoudsmoment (dit geldt ook voor releases van het Nationaal Georegister) |
| − | + | *Het beschikbaar komen van nieuwe versies van testtools. | |
| − | |||
== Te gebruiken validators == | == Te gebruiken validators == | ||
Revision as of 10:50, 3 September 2020
- Documentatie dataharmonisatie
- Principes dataharmonisatie
- As-is versus geharmoniseerd
- Prioritaire datasets (e-reporting)
- Generic Conceptual Model
- INSPIRE ID
- Codelijsten
- Portrayal
- Geometrie
- Data-validatie
- Checklist dataharmonisatie
- Control panel
- Extensies
- Thematic Clusters
- FAQ Dataharmonisatie
- Metadata aanmaken
- Waar moet mijn metadata aan voldoen?
- Metadata en Taal
- Geharmoniseerde Gebruiksvoorwaarden
- Invulinstructie voor datasets
- Prioritaire datasets
- Voorbeeld XML voor INSPIRE dataset metadata
- Metadata-validatie
- FAQ Metadata
- Informatie Network Services
- Vereisten Services
- Rights Management Layer
- View service maken
- Download service maken
Inrichten organisatie 1. Data harmonisatie 2. Metadata 3. Services 4. Publicatie Inspire portal 5. Validatie
Een belangrijk aspect van een implementatie is de mogelijkheid deze te valideren en monitoren. Bij voorkeur gebeurt dit met geautomatiseerde processen, dan wel beschreven procedures. Validatie helpt dataproviders hun (meta)data en services te laten voldoen aan de INSPIRE Technical Guidelines. Daarnaast genereert de Europese Unie jaarlijks een rapport van Nederland waar op basis van validatie de conformiteit aan de INSPIRE-regelgeving beschreven wordt voor de aangeboden (meta)dataset en services.
Om u te helpen bij validatie en monitoring zijn er validatietools beschikbaar. De tools zijn bedoeld als hulpmiddel om fouten in de toepassing van standaarden te verminderen. Er zijn Nederlandse en Europese validatietools. Vanaf 1 september 2020 is het advies om voor het controleren van de toepassing van de INSPIRE-standaard alleen nog de Europese validator te gebruiken. Op die datum wordt in Nederland ook overgestapt op metadataprofiel 2.1.0. In de Nederlandse validatietools hiervoor worden de INSPIRE-regels niet meer geüpdatet.
Contents
Validatieregels
In Annex A van alle INSPIRE technische specificaties is de Abstract Test Suite (ATS) opgenomen. Deze beschrijft tegen welke vereisten u een implementatie van die specificatie dient te toetsen. Een regel in de ATS beschrijft woordelijk aan welke eisen voldaan moet worden. Delen van de Abstract Test Suite kunnen geautomatiseerd worden getest en worden uitgewerkt in (de Europese) validators (Europa noemt deze de "INSPIRE reference validators”). De daadwerkelijke regels die geautomatiseerd getest kunnen worden is samen een Executable Test Suite (ETS).
Wanneer valideren
Geonovum raadt u aan deze tools (en eventuele steekproefsgewijs handmatige controles) op regelmatige basis te gebruiken, maar ten minste bij de volgende gebeurtenissen:
- Het publiceren van een (nieuwe) dataset.
- Een mutatie van de data, de metadata en/of service.
- De implementatie van een software release, een storing, herstel van een backup en/of onderhoudsmoment (dit geldt ook voor releases van het Nationaal Georegister)
- Het beschikbaar komen van nieuwe versies van testtools.
Te gebruiken validators
In de Nederlandse INSPIRE klankbordgroep is afgesproken dat de validatietools die door Geonovum ter beschikking worden gesteld, de basis vormen voor Nederlandse dataproviders om vast te stellen of een implementatie voldoet aan de INSPIRE vereisten. Dit zijn de in onderstaande tabel genoemde validatietools.
Validatietools zijn nooit feilloos. Er kunnen bugs in zitten en de tools kunnen achterlopen op de ontwikkeling van Technical Guidelines. Ook kunnen twee tools (bijvoorbeeld die van Geonovum en de Europese validator) op hetzelfde onderdeel testen en toch een andere uitkomst geven. Dat kan bijvoorbeeld komen doordat bij de ontwikkeling van validatietools bepaalde afwegingen gemaakt worden, bijvoorbeeld hoe er getest wordt, of door interpretatieverschillen. Het is belangrijk te realiseren dat validatietools voornamelijk technisch valideren (bijvoorbeeld, controleren of er een identifier is). Of iets fout is ingevuld (bijvoorbeeld, de identifier verwijst niet naar de juiste dataset) kan niet altijd ondervangen worden. Daarnaast zijn niet alle vereisten door middel van geautomatiseerde processen te testen. Vanzelfsprekend doen wij ons best om de tooling zo snel mogelijk in lijn te krijgen met de laatste inzichten rond het implementeren van de INSPIRE regelgeving en zo veel mogelijk vereisten geautomatiseerd te testen. Toch raden we u aan om ook zelf kritisch naar uw gepubliceerde data en services te kijken, bijvoorbeeld door te controleren of deze goed vindbaar en te bekijken en te downloaden zijn in de Thematic Viewer.
* zie de roadmap op de Geonovum website om na te gaan vanaf welk moment uw dataset aan deze eis dient te voldoen.
** Inspire vereist dat services voldoen aan OGC en/of W3C specificaties. Het EsdinTestFramework test met name op de inhoud en configuratie van een service. Om conformiteit van het protocol te valideren worden aparte tools aangegeven.
*** Voor deze protocollen heeft Geonovum geen validator beschikbaar (behalve de in ETF aanwezige testen). Daarom wordt hier verwezen naar andere validators op ’t web.
**** Dit zijn voorbeelden van software die regelmatig in dit soort usecases gebruikt worden, gezien het grote aantal vergelijkbare opties, schrijft Geonovum hier geen software voor.
Gebruik van de Europese validators: conformance classes
De INSPIRE Reference validators van Europa kennen zogenaamde conformance classes. Dit zijn te testen onderdelen van een implementatie. In bepaalde gevallen zijn er meerdere conformance classes van belang om te testen. De Europese validators zijn zo ingericht, dat als er een afhankelijkheid is bij een conformance class, deze automatisch ook geselecteerd wordt.
Conformance classes metadata
Voor metadata zijn er meerdere conformance classes beschikbaar. De volgende conformance classes kunnen het beste gebruikt worden, omdat dan automatisch alle relevante andere conformance classes geselecteerd worden:
| Te testen | Conformance class |
|---|---|
| Metadata (TG version 2.0) - dataset metadata | Conformance Class 2: 'INSPIRE data sets and data set series interoperability metadata |
| Metadata (TG version 2.0) - service metadata | Conformance Class 4: 'INSPIRE Network Services metadata' |
| Metadata (TG version 2.0) - SDS | Conformance Class 5, 6 of 7 overeenkomstig het type SDS |
Conformance classes data validatie
Om (geharmoniseerde) data te valideren zijn per thema validators beschikbaar. Op dit moment biedt de Europese validator alleen voor Annex I validators aan. Kies bij het valideren van een Annex I dataset de betreffende conformance classes van het thema. De algemene / generieke conformance classes worden dan automatisch geselecteerd, voor zo ver die relevant zijn. Algemeen advies is om alle conformance classes van een thema te selecteren bij het testen. Desgewenst kan echter ook een selectie gemaakt worden, als een bepaald onderdeel van de data harmonisatie getest moet worden.
Conformance classes service validators
Voor de meeste service validators (WMS, WMTS, WFS pre-defined, WFS direct access en ATOM) is er maar 1 Conformance class beschikbaar die gebruikt kan worden.
Bekende problemen Europese validator
De Europese validators werken over het algemeen goed. Er zijn echter nog een paar bekende problemen. De belangrijkste staan hieronder, zie de Github repository van INSPIRE validatie voor alle openstaande issues
Metadata v2.0: geen blokkerende issues bekend op dit moment.
WMS:
1. bij gebruik van WMS extensies in de Capabilities, bijvoorbeeld voor de extensie voor SLD operaties (o.a. als de WMS de operatie GetLegendGraphic ondersteunt), gaat de XML schema validatie van de Capabilities niet goed. De validatie houdt geen rekening met extensies anders dan INSPIRE extensies. Dit is te strikt, maar er is nog geen oplossing voor geïmplementeerd (https://github.com/inspire-eu-validation/community/issues/44). Als de XML schema validatie fout gaat op dit punt, kan de foutmelding genegeerd worden. De Nederlandse validator controleert wel correct op het XML schema.
2. WMS Layer names: te strikte controle op geharmoniseerde Layer names. De validator geeft een foutmelding als er een Layer name niet een geharmoniseerde Layer name is. Maar een WMS mag ook niet-geharmoniseerde Layer names bevatten. Als deze foutmelding verschijnt, kan die voor nu genegeerd worden (Github: https://github.com/inspire-eu-validation/community/issues/39)
3. Foutmeldingen bij Service exceptions: strikt genomen moeten services bij het ontbreken van bepaalde parameters (zoals: service=WMS) van een operatie, een foutmelding geven. Sommige implementaties zijn echter wat “vergevingsgezind”, bijvoorbeeld door aannames te doen voor een standaardwaarde als de parameter ontbreekt. Dit laatste is conform de (WMS) specificaties niet toegestaan. De Europese validators valideren op dit punt strikter dan de Nederlandse.
WFS (predefined):
1. Bij sommige implementaties blijft de validatie hangen bij Initialization and basic checks > Autoconfigure WFS > Analyze WFS Capabilities. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: https://github.com/inspire-eu-validation/community/issues/38)
2. Bij bepaalde WFS implementaties, waarschijnlijk als de Mapserver software in gebruik is, blijft de validatie hangen op Autoconfigure WFS > Analyze WFS Capabilities > Get Schema Definition. De oorzaak hiervan is nog onduidelijk. Als deze foutmelding voorkomt, rapporteer deze dan aan de Geonovum helpdesk, met opgave van de URL van de WFS die getest is. (Github: https://github.com/inspire-eu-validation/community/issues/29)
Tip: de Europese validator kan ook middels een API aangeroepen worden. Bij het (semi) geautomatiseerd uitvoeren van tests kan het nuttig zijn dit te gebruiken.
Link checker INSPIRE Geoportal en Thematic viewer
Om direct inzicht te hebben in de relaties tussen datasets, metadata en services is het niet nodig te wachten op de harvesting van het INSPIRE geoportal. Met de linkchecker van het INSPIRE Geoportal kan deze check op elk willekeurig moment worden uitgevoerd.
De Thematic viewer van Europa toont in welke mate een dataset ook daadwerkelijk raadpleegbaar (vie een View Service) en downloadbaar (via een Download Service) is. Hiervoor moeten diverse verwijzingen (via links en identifiers) tussen metadata en services goed opgegeven zijn. Dit is essentieel voor een werkende infrastructuur: als een dataset niet raadpleegbaar of niet downloadbaar is, is deze niet goed aangeboden aan INSPIRE en niet goed of zelfs helemaal niet bruikbaar.
Om de verwijzingen te controleren op juistheid bevat het INSPIRE Geoportal de Linkchecker: een tool om na te gaan of alle verwijzingen goed staan en waar eventuele correcties noodzakelijk zijn. De linkchecker voert verder geen validatie uit van de metadata, dataset en services. Deze onderdelen moeten apart gevalideerd worden, zie de table hierboven.
De linkchecker kan gestart worden door bestaande of nieuwe metadata van een dataset op te geven. Advies is om altijd voor New metadata te kiezen, omdat dan ook wijzigingen gelijk getest kunnen worden.
Monitoring op Quality of service
Europa verwacht van u dat u rapporteert over het feit of uw service de vereiste prestatie en beschikbaarheid heeft gehaald en in welke mate uw services bevraagd zijn. ETF bevat een voorziening om beschikbaarheid volgens een schedule te testen, echter u kunt ook software gebruiken die u misschien al gebruikt om andere websites te monitoren. Voor het bijhouden van gebruik van de services zijn diverse software modules gangbaar. Let wel op dat u bij het configureren van deze tools voldoende representatieve test-url’s gebruikt voor een gemiddelde gebruikerssessie (en niet bijvoorbeeld alleen een index pagina).Lees verder.
