Test data provisioning

voor software ontwikkeling

Testdata engineers hebben de eervolle taak om teams op het juiste moment toegang te geven tot de juiste testdata. Maar deze taak is niet eenvoudig uit te voeren, aangezien het verstrekken van testgegevens vaak een tijdrovend proces is.

De drie grootste frustraties op het gebied van data provisioning zijn 1) het handmatig verkrijgen van testdata, 2) tijdverspilling met het zoeken naar testcases en 3) het feit dat je te veel data hebt. Gelukkig kunnen deze uitdagingen eenvoudig worden opgelost met de juiste tools.

What is jouw voornaamste uitdaging?

Ik moet mijn testdata handmatig creëren

De meeste test data verzoeken kosten te veel tijd omdat de verversing handmatig gedaan wordt. Er zijn te veel mensen bij het test data provisioning proces betrokken. Lange wachttijden hebben een negatieve impact op je time-to-market.

Door het gebruik van een self-service portal en/of een automatiseringstool ben je in staat om op verzoek te verversen. Het kan zelfs direct worden geïntegreerd in je CI/CD pipeline. Het automatiseren van je test data processen bespaart veel tijd.

Ik verspil veel tijd aan het zoeken naar test data

Zoeken naar test data kan tot wel 50% van je testtijd opslokken. Bepaalde specifieke testdata is nodig om je tests goed te kunnen uitvoeren, maar je verspilt veel tijd aan het zoeken naar deze test data.

Het snel en eenvoudig vinden van test data die perfect aansluit op je testcases heeft een enorme impact op de kwaliteit van je software release en de levertijd.

Ik heb te veel data

Productie databases groeien sneller dan ooit tevoren. Door het gebruik van volledige kopieën van productie neemt de omvang van je test- en ontwikkelomgevingen ook razendsnel toe. Daardoor kan het dagen tot wel weken extra duren om deze omgevingen te restoren.

Het gebruik van verkleinde test data sets (subsets) verkort de tijd voor het creëren, verversen en restoren van deze omgevingen zodat je meer kunt ontwikkelen en testen in dezelfde tijd.

Wat is test data provisioning?

Laten we beginnen met het beantwoorden van de vraag “Wat is testgegevensvoorziening?” Op basis van onze ervaring hebben we het volgende antwoord geformuleerd:

“Test data voorziening is het proces om test data op een ordelijke, veilige – en bij voorkeur geautomatiseerde – manier toegankelijk en beschikbaar te maken voor gebruikers.”

Er wordt veel gezegd en geschreven over het maken van goede test data sets, maar de deliverability wordt vaak onderbelicht. Veel organisaties staan voor uitdagingen op het gebied van het aanleveren van test data. De meeste teams hebben niet de mogelijkheid om hun (test) data sets zelf te vernieuwen. Ze moeten een database verversing aanvragen bij de DBA, wat vaak veel tijd kost en voor de nodige frustraties zorgt.

Distributie van test data is een belangrijk onderdeel van Test Data Management. Test Data Management bestaat in onze optiek uit verschillende onderdelen/stappen (waarvan de volgorde kan verschillen):

Eenvoudige test data

De levering van software moet sneller en efficiënter gebeuren. Wachten tot de DBA een databasevernieuwing levert, is kostbare tijdverlies, aangezien het enkele dagen tot weken of zelfs maanden kan duren voordat een database is vernieuwd. Wachten op een verversing van test data zorgt ook voor geïrriteerde Software (Quality) Engineers. Iedereen wacht op de testresultaten, maar het team heeft niet de juiste data om deze tests uit te voeren en de druk blijft toenemen. Er wordt dan gezocht naar snelle (maar niet per se kwalitatieve) oplossingen zoals het handmatig genereren van test data of zelf testgevallen. Gewoon om de software te kunnen testen en de business wat (al dan niet betrouwbare) resultaten te kunnen geven over het geleverde softwareproduct.

Test data beschikbaarheid

Voor softwareontwikkelingsteams die zichzelf kunnen vernieuwen en testgegevens gemakkelijk beschikbaar hebben, zorgt ervoor dat ze hun werk goed kunnen doen. Een van de grootste knelpunten hier is het feit dat DBA’s niet zo gretig zijn om de databasecontrole over te dragen aan Software (Quality) Engineers, bang dat ze iets kapot maken of erger nog, het vernietigen. Maar aangezien het niet de hoofdtaak van een DBA is, wil hij of zij niet te veel tijd besteden aan het vernieuwen van de database, wat resulteert in lange wachttijden voor softwareontwikkelingsteams.

Voordelen van eenvoudige beschikbaarheid van test data:

  • Het handmatig genereren van testgegevens is verleden tijd
  • Verspil geen tijd meer aan het zoeken naar testgegevens
  • Bespaar op wachttijd en opslagkosten

Test data portaal

Samenvattend stellen we vast dat zowel softwareontwikkelingsteams als DBA’s baat zouden hebben bij een gemakkelijke distributie van testgegevens. Maar hoe krijgen we dit voor elkaar? Simpel: met behulp van een test data portaal. Een platform dat zowel door DBA’s als Software (Quality) Engineers kan worden gebruikt en benaderd. Beiden kunnen inloggen op dit portaal en via het platform zelf hun eigen test data sets vernieuwen. Uiterst eenvoudig met één druk op de knop. De enige wachttijd is de daadwerkelijke (technische) gegevensverwerkingstijd. DBA’s worden niet constant gestoord en Software (Quality) Engineers hoeven niet te wachten. Ze kunnen de processen zelf aansturen.

On-demand distributie

Op de backend van dit testdataplatform, DATPROF Runtime, zijn bepaalde projecten (ook wel templates genoemd) geïnstalleerd. Deze projecten kunnen bijvoorbeeld data masking (DATPROF Privacy) of data subsetting (DATPROF Subset) templates zijn. In de meeste gevallen worden de templates ontwikkeld door een Software Quality-teamlid met behoorlijke databasekennis, in nauwe samenwerking met de DBA. Na de installatie (meestal gedaan door de DBA) kunnen de projecten worden gebruikt door de geselecteerde teams.

De DBA kan toegang verlenen en toezicht houden op de processen die worden uitgevoerd. Bovendien worden ze verlost van deze niet-primaire taken die ze zo nu en dan hebben gekregen. Het is dus een win-winsituatie. Afhankelijk van je Test Data Architecture kunnen teams met een klik op de knop hun eigen database (subset) openen en vernieuwen en de DBA is er zeker van dat databases niet beschadigd raken.

Geautomatiseerde distribution

Om de levering van test data nog interessanter te maken, kan dit hele zelfverversingsproces ook worden geautomatiseerd. Met behulp van een API kan het testdataplatform worden geïntegreerd met bijna elke orkestratietool of andere tools die je mogelijk gebruikt voor het testen van software. Ons test data platform DATPROF Runtime wordt door klanten gebruikt om databases meerdere keren per week of zelfs meerdere keren per dag te vernieuwen – in plaats van handmatig test data te genereren vanwege de druk die op het testteam wordt uitgeoefend. Met behulp van zo’n testdataportaal kom je eenvoudig aan de juiste, productie-achtige testdata. Op deze manier zijn testgegevens een versneller in plaats van een bottleneck in je hele CI/CD-pipeline.

Data Provisioning Resources

data subsetting

Data subsetten

The concept van data subsetten is verrassend eenvoudig: neem een consistent deel van een database en breng het over naar een andere database. Dat is alles. Natuurlijk is de daadwerkelijke uitvoering iets ingewikkelder.

how to subset test data

How to subset test data

Subsetten is het kopiëren van een deel van de gegevens van de ene database (bron) naar de andere (doel). Daarom heb je een bron nodig om de data aan te leveren (meestal een productiedatabase) en een doelomgeving.

continuous-testing

Continuous test data

Continuous testen wordt gedefinieerd als een type softwaretest dat een proces omvat van vroeg testen, vaak testen, overal testen en automatiseren. Het is een strategie om kwaliteit te evalueren bij elke stap van het continue leveringsproces.

Test data provisioning tools

logo datprof subset

Extract small reusable subsets from large complex databases and speed up your testing.

datprof runtime full

Auditability and control center. Monitor, automate and execute your test data from one central test data portal.

datprof analyze full

Profiling and data discovery. Get new insights in data quality and find your the perfect test cases.

Get in touch with our experts

Contactform

  • Dit veld is bedoeld voor validatiedoeleinden en moet niet worden gewijzigd.

Data Masking

DATPROF Privacy

Data Discovery

DATPROF Analyze