Huidige methoden voor het evalueren van dialoogsystemen geven inzicht in de prestatie ("performance") van een systeem ofwel in termen van systeemeigenschappen of in termen van kwaliteitsbeleving van de gebruiker (o.a. "user satisfaction"), maar niet beide. Eén van de weinige methoden die zowel objectieve als subjectieve gegevens in beschouwing neemt is de methode gebaseerd op het PARADISE-model (Walker et al., 1997). Door subjectieve oordelen van gebruikers (d.m.v. questionnaire) te relateren aan objectieve systeem- en interactieparameters (geëxtraheerd uit de gelogde dialogen, o.a. taaksucces, dialoogduur, % correcte woordherkenning) kan een kwantitatieve beschrijving van een dialoogsysteem verkregen worden. Op deze wijze krijgt men inzicht in de systeem- en interactieparameters die het meeste bijdragen aan de gebruikersbeleving. Deze informatie biedt ontwikkelaars en aanbieders direkt praktische aanwijzingen hoe ze hun spraakgestuurde diensten kunnen verbeteren. Tijdens de presentatie zal het PARADISE-model aan de hand van een voorbeeld besproken worden. Wanneer de tijd het toelaat, wordt een nieuwe taxonomie gepresenteerd die meer duidelijkheid verschaft in de relaties tussen de verschillende kwaliteitsmaten (o.a. "user satisfaction", "usability", "acceptability") die in de literatuur gehanteerd worden.