De afgelopen jaren heb ik meerdere malen meegemaakt dat een relatie de zin “performance testen op SAAS oplossing? Wat een onzin” gebruikte in een gesprek.
Veelal was dit aan het begin van een gesprek. De relatie geeft dan vervolgens aan dat de performance van de applicatie min of meer niet zijn probleem is maar thuishoort bij de leverancier van de applicatie. Immers het is de leverancier die een compleet pakket aanbiedt en volgens de relatie is performance onderdeel van het pakket wat de leverancier moet leveren en waarborgen.
Dus ja… dan zal alles wel geregeld zijn…
Maar wacht… Wat staat er eigenlijk over performance in het contract met de leverancier? Na wat uitzoekwerk komt het er dan meestal op neer dat het woord performance niet genoemd wordt in het contract met de leverancier. De basis zaken zoals ‘uptime’ worden benoemd. Echter een uptime van 99.9% met een slechte performance is toch niet wat je zou moeten willen als organisatie.
Veelal zal de relatie nu toch wat verder na gaan denken over de risico’s die ze hebben op het gebied van performance binnen de SAAS omgevingen. Mijn ervaring is dat SAAS vaak toch iets meer naar Platform as a Service neigt. Veel organisaties voeren namelijk maatwerk en uitbreidingen uit op de geleverde SAAS oplossing. Voor de SAAS leverancier vervalt hiermee vaak de “garantie” op het door hun geleverde product, het is immers de klant die een nieuw risico introduceert. De klant zal die risico's op zowel functioneel als niet-functioneel gebied moeten afdekken.
Dit is vaak ook het moment dat het landschapsplaatje op tafel komt. Vanuit hier komt dan naar voren dat hoewel de applicatie inderdaad SAAS is, er meerder interfaces zijn naar applicaties die in-house draaien. Hiermee kom je dan weer in een ander risicogebied voor performance. De SAAS-oplossing is onderdeel geworden van een hybride model. Dit betekent dat er voor go-live grondig getest moet worden of de interfaces en API’s tijdig en correct draaien met de verwachte piekbelasting.
Nu we toch bezig zijn gaan we ook maar eens kijken naar het netwerk van de klant. Hieruit kan naar voren komen dat de klant een groot deel van het internet verkeer, dus het verkeer naar de SAAS applicatie over het eigen netwerk communiceert Situaties dat een gebruiker in Europa naar een internet access point in Amerika gaat om vanaf daar naar een SAAS oplossing in Europa te connecteren (of andersom) komen veelvuldig voor en hebben een grote impact op performance.
Gelukkig zie ik veelal dat bij de mensen waarmee ik spreek men dan begint te beseffen dat performancetesten op SAAS toch niet zo onzinnig is als het in eerste instantie leek.
Mijn eigen ervaring is dat performance testen op SAAS niet veel anders is dan op een in-houseapplicatie. De (product)risico’s die je moet afdekken zijn misschien deels anders maar de risico’s zijn er nog wel steeds en dus moet je deze onderzoeken en vervolgens mitigeren.
Ik ben benieuwd naar jullie ervaringen/meningen/aanpak op dit gebied.
