Hoe genereer je testdata

Wat is subsetten? Waar moet je beginnen? Waar moet je rekening mee houden?

Wat is data subsetten?

Subsetten is het kopiëren van een deel van de data van de ene database (bron) naar een andere database (doel). Daarvoor heb je een bron nodig om de data te verstrekken. Dit is meestal een productiedatabase of een gold copy; een grotere dataset. De doeldatabase is meestal een ontwikkel- of testomgeving.

Vervolgens heb je een classificatie van tabellen nodig. Om dit te doen, zal DATPROF Subset metadata importeren; de tabeldefinities en externe sleutels. De classificatie bepaalt wat de tool met deze tabellen gaat doen. Mogelijke classificaties zijn Full, Subset, Emtpy en Unsused. Full tabellen worden volledig gekopieerd, subset tabellen worden gesubset, empty tabellen worden leeg gelaten en unsused tabellen blijven onaangeroerd.

Classificatie van tabellen

  • Full: dit zijn meestal domeintabellen en dergelijke
  • Subset: dit zijn meestal tabellen met transactie- of procesgegevens
  • Empty: deze tabellen bevatten meestal logboekregistratie of de gegevens zijn niet nodig in de doelomgeving
  • Unused: tabellen met omgevingsspecifieke gegevens vallen in deze categorie, zoals gebruikerstabellen

Dus je moet bepalen wat je met de tabellen moet doen. Wat zal jouw start table zijn? De start table is het begin van uw subset. Deze tabel wordt gefilterd met een startfilter. Dit filter bepaalt welke gegevens deel uitmaken van de subset. Normaal bevat deze tabel functioneel relevante gegevens, d.w.z. persoonlijke gegevens of verzekeringspolis.

Op basis van de classificatie genereert DATPROF Subset een subsetproces. Dit proces kan gevisualiseerd worden als een procesmodel. Dit model toont de volgorde waarin de tabellen worden gesubset. Dit geeft ook inzicht om eventuele fouten die je mogelijk hebt gemaakt bij het classificeren van de tabellen te corrigeren.

Nadat je het bovenstaande hebt gedaan, ben je klaar om de eerste subset-run te starten. DATPROF Subset begint nu met het kopiëren van gegevens. Eerst wordt de doelomgeving afgeknot. Vervolgens begint het kopiëren van gegevens. De starttabel wordt gefilterd en de volgende tabellen in het proces worden vervolgens gefilterd op basis van de gegevens in de eerste tabel.

Proces- en datamodel

DATPROF Subset kan het datamodel en een procesmodel visualiseren. Het gegevensmodel wordt gegenereerd door de metadata of door het handmatig toevoegen van FK’s. De kleuren van de tabellen zijn afhankelijk van de classificatie van de tabellen.

Een pad wordt bepaald door de database op basis van het algoritme van DATPROF Subset en de classificaties van de tabellen. Hiermee wordt een procesmodel gemaakt. De visualisatie toont de subsetreeks. De visualisatie geeft inzicht in de relaties tussen de tabellen en welke tabel verantwoordelijk is voor het vullen van een andere tabel.

Hoe subset je testdata

Wanneer je DATPROF Subset gebruikt, zul je merken dat het mogelijk is om een run in verschillende scenario’s te starten. In deze tutorial wordt het verschil tussen deze scenario’s uitgelegd en kun je bepalen wanneer je welk scenario wilt gebruiken. 

(Re)Create

Het recreate scenario kopieert eenvoudigweg de brontabellen en externe keys naar de doelomgeving. Als een brontabel al bestaat, maakt Subset deze tabel opnieuw. Maar onthoud dat dit scenario de triggers, beperkingen en indexen niet toevoegt! Alle bestaande gegevens in het target zullen verloren gaan. Dit scenario is vooral interessant voor eenvoudige ‘table only’ subsets waarvoor geen toepassingslogica vereist is.

(Re)Fill

Als je de DDL van de bronomgeving al in een doelomgeving hebt gemaakt of als je alleen een schone doelomgeving hebt, kun je met het refill scenario de doelomgeving leegmaken (niet verwijderen!) en deze vullen met je subset. Met behulp van dit scenario verwacht DATPROF Subset de aanwezigheid van de objecten in de doeldatabase en in tegenstelling tot het opnieuw gemaakte scenario, laat alle toepassingslogica zoals triggers en beperkingen voor wat het is.

Append

Het append scenario is bruikbaar om nieuwe gegevens aan een tabel toe te voegen. Dit scenario zorgt niet voor unieke gegevens en daarom kunnen dubbele gegevens worden gemaakt. Dit kan problemen met toepassingsbeperkingen veroorzaken, maar kan vooral handig zijn om je database ‘op te blazen’ om prestatietests te vergemakkelijken. Dit scenario wordt meestal gebruikt in situaties waarin je wilt testen of een databasearchitectuur nog steeds presteert wanneer je bestaande gegevens verdubbelen.

Unique Append

Het unique append scenario doet in principe hetzelfde als het normale Append scenario met één groot verschil; het zorgt wel voor de unieke gegevens! Met behulp van de unieke toevoeging worden alleen unieke gegevens toegevoegd en bestaande gegevens binnen de doeldatabase worden eenvoudig overgeslagen. Dit scenario wordt vaak gebruikt om een subset te maken vanuit verschillende perspectieven, bijvoorbeeld een klantgerichte subset en een op producten gebaseerde subset. Dit scenario kan ook worden gebruikt om een specifieke testcase toe te voegen aan een reeds bestaande subset.

Conclusie

DATPROF Subset biedt een verscheidenheid aan scenario’s om een juiste subset te maken. Kies zorgvuldig je scenario, want het opnieuw creëren zou de gegevens kunnen vernietigen die zouden moeten zijn toegevoegd. Een deel van onze DATPROF Subset training (die op verzoek kan worden gedaan) is een diepgaande uitleg van alle verschillende scenario’s met voorbeelden uit de echte wereld, terwijl je ook de mogelijkheid krijgt om het verschil hands-on te ervaren!

 

Zelf uitproberen?

Met onze 14-dagen free trial kun je alle bovenstaande uitgelegde DATPROF Subset functies zelf uitproberen, op je eigen database. 

Klik op de download button en begin vandaag nog!

Data Subsetting

Extraheer subsets uit grote complexe databases om het testen te versnellen.

Data Masking

DATPROF Privacy

Data Subsetting

DATPROF Subset

Data Automation

DATPROF Runtime

Data Discovery

DATPROF Analyze