Zusammenfassung
Die Klassifikation repräsentiert ein wichtiges Instrument zur Unterstützung kundenbezogener Planungs- und Entscheidungsprobleme. Hierzu zählen z. B. die Prognose von Abwanderungswahrscheinlichkeiten im Vertragskundengeschäft oder die Abgrenzung einer geeigneten Zielgruppe für Marketingkampagnen. Während die Entwicklung neuer Klassifikationsverfahren ein populäres Forschungsfeld repräsentiert, werden entsprechende Neuerungen in der betrieblichen Praxis bisher nur selten eingesetzt. Diese Divergenz zwischen wissenschaftlichen und praktischen Interessen lässt sich z. T. dadurch erklären, dass das Potenzial moderner Klassifikationsverfahren in diesem Anwendungskontext noch nicht hinreichend geklärt ist. Die vorliegende Arbeit möchte einen Beitrag zur Schließung dieser Erkenntnislücke liefern. Hierzu wird eine empirische Studie durchgeführt, in deren Rahmen eine große Zahl etablierter wie neuer Klassifikationsverfahren verglichen wird. Eine Bewertung erfolgt anhand der Kosten bzw. Erträge, welche sich aus dem Einsatz einer bestimmten Methode in einer konkreten Entscheidungssituation ergeben. Die Untersuchung zeigt, dass eine stärkere Berücksichtigung moderner Methoden durchaus empfohlen werden kann und diese unter verschiedenen Bedingungen einen ökonomischen Mehrwert bieten.
Abstract
Classification analysis is an important tool to support decision making in customer-centric applications like, e.g., proactively identifying churners or selecting responsive customers for direct-marketing campaigns. Whereas the development of novel algorithms is a popular avenue for research, corresponding advancements are rarely adopted in corporate practice. This lack of diffusion may be explained by a high degree of uncertainty regarding the superiority of novel classifiers over well established counterparts in customer-centric settings. To overcome this obstacle, an empirical study is undertaken to assess the ability of several novel as well as traditional classifiers to form accurate predictions and effectively support decision making. The results provide strong evidence for the appropriateness of novel methods and indicate that they offer economic benefits under a variety of conditions. Therefore, an increase in use of respective procedures can be recommended.
Notes
Dies wird u. a. durch die Ergebnisse einer szientometrischen Untersuchung verdeutlicht, welche Beiträge der International Conference on Machine Learning im Zeitraum 1999–2003 analysiert (Demšar 2006, S. 3 f).
Zwei der acht von Baesens et al. (2003) verwendeten Datensätze sind öffentlich verfügbar.
Die genaue Vorgehensweise zur Berechnung dieser Kennzahl sowie die verwendeten Kosten/Erträge falscher/korrekter Klassifikationen sind im Anhang II dokumentiert.
Die Nullhypothese des Tests, dass die mittlere Prognosegüte zwischen beiden Gruppen identisch ist, kann mit hoher Wahrscheinlichkeit (>0.9999) verworfen werden.
Dahingegen wäre die Folgerung, dass zwei Methoden identisch sind, sofern sie sich nicht signifikant unterscheiden, statistisch falsch. Nur bei Verwerfen der Nullhypothese kann mit hoher Wahrscheinlichkeit (1-Irrtumswahrscheinlichkeit) geschlossen werden, dass die Alternativhypothese zutrifft. Dahingegen lässt das Scheitern, die Nullhypothese zu verwerfen, gerade nicht den Schluss zu, dass sie zutrifft.
Die F-Metrik wird insb. im Information Retrieval eingesetzt und ist dort unter diesem Namen bekannt. Prinzipiell handelt es sich um ein gewichtetes harmonisches Mittel aus Präzision und Sensitivität (Caruana u. Niculescu-Mizil 2004, S. 78). Als Gewichtungsfaktor wurde 0,5 gewählt.
Als Maß für den Zusammenhang wurde der Rang-Korrelationskoeffizient nach Kendall verwendet.
Für die Einteilung wurde das AUC-Kriterium verwendet, da dieser Wert von Datensatzcharakteristiken wie z. B. Klassenverteilung und Fehlerklassifikationskosten unabhängig ist (Fawcett 2006, S. 873). Er ist damit für eine allgemeine Bewertung der Schwierigkeit einer Klassifikationsaufgabe besser geeignet als andere Gütemaße.
Die genannten Werte beziehen sich erneut auf den Rangkorrelationskoeffizienten nach Kendall.
Beispielsweise werden sowohl stützvektorbasierte Verfahren als auch verschiedene Ensemble-Klassifikatoren und insbesondere SGB in aktuellen Versionen der Standardsoftwarepakete SAS Enterprise Miner und SPSS PASW Modeler (ehemals Clementine) unterstützt. Darüber hinaus existieren spezialisierte Systeme wie die Produkte von Salford Systems, KXEN oder DTREG, die ebenfalls entsprechende Analysetechniken bereitstellen.
Literatur
Asuncion A, Newman DJ (2007) UCI machine learning repository. http://archive.ics.uci.edu/ml/. Abruf am 2009-09-02
Baesens B, Viaene S, van den Poel D, Vanthienen J, Dedene G (2002) Bayesian neural network learning for repeat purchase modelling in direct marketing. European Journal of Operational Research 138(1):191–211
Baesens B, van Gestel T, Viaene S, Stepanova M, Suykens J, Vanthienen J (2003) Benchmarking state-of-the-art classification algorithms for credit scoring. Journal of the Operational Research Society 54(6):627–635
Barakat NH, Bradley AP (2007) Rule extraction from support vector machines: a sequential covering approach. IEEE Transactions on Knowledge and Data Engineering 19(6):729–741
Batista G, Prati RC, Monard MC (2004) A study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD Explorations Newsletter 6(1):20–29
Bauer E, Kohavi R (1999) An empirical comparison of voting classification algorithms: bagging, boosting, and variants. Machine Learning 36(1–2):105–139
Berry MJA, Linoff G (2004) Data mining techniques: for marketing, sales and customer relationship management, 2. Aufl. Wiley, New York
Bose I, Xi C (2009) Quantitative models for direct marketing: a review from systems perspective. European Journal of Operational Research 195(1):1–16
Boylu F, Aytug H, Koehler GJ (2009) Principal-agent learning. Decision Support Systems 47(2):75–81
Breiman L (2001) Random forests. Machine Learning 45(1):5–32
Burez J, van den Poel D (2009) Handling class imbalance in customer churn prediction. Expert Systems with Applications 36(3):4626–4636
Caruana R, Niculescu-Mizil A (2004) Data mining in metric space: an empirical analysis of supervised learning performance criteria. In: Kim W, Kohavi, R, Gehrke, J, DuMouchel W (Hrsg) Proc. 10th ACM SIGKDD intern. conf. on knowledge discovery and data mining, Seattle
Caruana R, Niculescu-Mizil A (2006) An empirical comparison of supervised learning algorithms. In: Cohen, WW, Moore A (Hrsg) Proc. 23rd intern. conf. on machine learning, Pittsburgh
Cooper GF, Aliferis CF, Ambrosino R, Aronis J, Buchanan BG, Caruana R, Fine MJ, Glymour C, Gordon G, Hanusa BH, Janosky JE, Meek C, Mitchell T, Richardson T, Spirtes P (1997) An evaluation of machine-learning methods for predicting pneumonia mortality. Artificial Intelligence in Medicine 9(2):107–138
Crone SF, Lessmann S, Stahlbock R (2006) The impact of preprocessing on data mining: an evaluation of classifier sensitivity in direct marketing. European Journal of Operational Research 173(3):781–800
Crook JN, Edelman DB, Thomas LC (2007) Recent developments in consumer credit risk assessment. European Journal of Operational Research 183(3):1447–1465
Cui D, Curry D (2005) Predictions in marketing using the support vector machine. Marketing Science 24(4):595–615
Curram SP, Mingers J (1994) Neural networks, decision tree induction and discriminant analysis: an empirical comparison. Journal of the Operational Research Society 45(4):440–450
Demšar J (2006) Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research 7:1–30
Dietterich TG (2000) An experimental comparison of three methods for constructing ensembles of decision trees: Bagging, boosting, and randomization. Machine Learning 40(2):139–157
Fawcett T (2006) An introduction to ROC analysis. Pattern Recognition Letters 27(8):861–874
Fenton N, Neil M (1999) A critique of software defect prediction models. IEEE Transactions on Software Engineering 25(5):675–689
Ferri C, Hernández-Orallo J, Modroiu R (2009) An experimental comparison of performance measures for classification. Pattern Recognition Letters 30(1):27–38
Friedman JH (2001) Greedy function approximation: a gradient boosting machine. The Annals of Statistics 29(5):1189–1232
Friedman JH (2002) Stochastic gradient boosting. Computational Statistics & Data Analysis 38(4):367–378
Friedman JH (2006) Recent advances in predictive (machine) learning. Journal of Classification 23(2):175–197
Gestel T, van, Suykens JAK, Baesens B, Viaene S, Vanthienen J, Dedene G, De Moor B, Vandewalle J (2004) Benchmarking least squares support vector machine classifiers. Machine Learning 54(1):5–32
Haas A (2006) Interessentenmanagement. In: Hippner H, Wilde KD (Hrsg) Grundlagen des CRM, 2. Aufl. Gabler, Wiesbaden, S. 443–472
Hamza M, Larocque D (2005) An empirical comparison of ensemble methods based on classification trees. Journal of Statistical Computation and Simulation 75(8):629–643
Hastie T, Tibshirani R, Friedman JH (2009) The elements of statistical learning, 2. Aufl. Springer, New York
Hippner H (2006) Komponenten und Potenziale eines analytischen Customer Relationship Management. In: Chamoni P, Gluchowski P (Hrsg) Analytische Informationssysteme, 3. Aufl. Springer, Heidelberg, S. 361–384
Hothorn T, Lausen B (2005) Bundling classifiers by bagging trees. Computational Statistics & Data. Analysis 49(4):1068–1078
Hsu C-W, Chang C-C, Lin C-J (2003) A practical guide to support vector classification. Arbeitspapier, Department of Computer Science and Information Engineering, National Taiwan University
Hulse JV, Khoshgoftaar TM, Napolitano A (2007) Experimental perspectives on learning from imbalanced data. In: Ghahramani Z (Hrsg) Proc. 24th intern. conf. on machine learning, Corvallis
Izenman AJ (2008) Modern multivariate statistical techniques. Springer, Heidelberg
Khoshgoftaar TM, Seliya N (2004) Comparative assessment of software quality classification techniques: an empirical case study. Empirical Software Engineering 9(3):229–257
King RD, Feng C, Sutherland A (1995) StatLog: comparison of classification algorithms on large real-world problems. Applied Artificial Intelligence 9(3):259–287
Lemmens A, Croux C (2006) Bagging and boosting classification trees to predict churn. Journal of Marketing Research 43(2):276–286
Lessmann S, VoßS (2008) Supervised classification for decision support in customer relationship management. In: Bortfeldt A, Homberger J, Kopfer H, Pankratz G, Strangmeier R (Hrsg) Intelligent Decision Support. Gabler, Wiesbaden, S. 231–253
Lessmann S, Baesens B, Mues C, Pietsch S (2008) Benchmarking classification models for software defect prediction: a proposed framework and novel findings. IEEE Transactions on Software Engineering 34(4):485–496
Lim T-S, Loh W-Y, Shih Y-S (2000) A comparison of prediction accuracy, complexity, and training time of thirty-three old and new classification algorithms. Machine Learning 40(3):203–228
Liu C-L, Nakashima K, Sako H, Fujisawa H (2003) Handwritten digit recognition: benchmarking of state-of-the-art techniques. Pattern Recognition 36(10):2271–2285
Martens D, Baesens B, van Gestel T, Vanthienen J (2007) Comprehensible credit scoring models using rule extraction from support vector machines. European Journal of Operational Research 183(3):1466–1476
Martens D, Baesens B, van Gestel T (2009) Decompositional rule extraction from support vector machines by active learning. IEEE Transactions on Knowledge and Data Engineering 21(2):178–191
Meyer D, Leisch F, Hornik K (2003) The support vector machine under test. Neurocomputing 55(1–2):169–186
Neslin SA, Gupta S, Kamakura W, Lu J, Mason CH (2006) Defection detection: measuring and understanding the predictive accuracy of customer churn models. Journal of Marketing Research 43(2):204–211
Ngai EWT, Xiu L, Chau DCK (2009) Application of data mining techniques in customer relationship management: a literature review and classification. Expert Systems with Applications 36(2):2592–2602
Ohlsson MC, Runeson P (2002) Experience from replicating empirical studies on prediction models. In: Proc. 8th intern. software metrics symposium, Ottawa
Perlich C, Provost F, Simonoff JS, Cohen WW (2003) Tree induction vs. logistic regression: a learning-curve analysis. Journal of Machine Learning Research 4(2):211–255
Poel D, van den, Lariviere B (2004) Customer attrition analysis for financial services using proportional hazard models. European Journal of Operational Research 157(1):196–217
Putten P, Someren M (2000) CoIL challenge 2000: the insurance company case. Arbeitspapier, Sentient Machine Research, Amsterdam
Reichheld FF, Sasser WE (1990) Zero defections: quality comes to service. Harvard Business Review 68(5):105–111
Saar-Tsechansky M, Provost F (2007) Decision-centric active learning of binary-outcome models. Information Systems Research 18(1):4–22
Sohn SY, Shin HW (2007) Experimental study for the comparison of classifier combination methods. Pattern Recognition 40(1):33–40
Ting KM (2002) An instance-weighting method to induce cost-sensitive trees. IEEE Transactions on Knowledge and Data Engineering 14(3):659–665
Tipping ME (2000) The relevance vector machine. In: Solla SA, Leen TK, Müller K-R (Hrsg) Advances in neural information processing systems, Bd 12. MIT Press, Cambridge, S. 652–658
Vapnik VN (1995) The nature of statistical learning theory. Springer, New York
Viaene S, Derrig RA, Baesens B, Dedene G (2002) A comparison of state-of-the-art classification techniques for expert automobile insurance claim fraud detection. Journal of Risk & Insurance 69(3):373–421
Wang S-j, Mathew A, Chen Y, Xi L-f, Ma L, Lee J (2009) Empirical analysis of support vector machine ensemble classifiers. Expert Systems with Applications 36(2):6466–6476
Weiss SM, Kapouleas I (1989) An empirical comparison of pattern recognition, neural nets and machine learning classification methods. In: Sridharan NS (eds) Proc. 11th intern. joint conf. on artificial intelligence, Detroit
Weiss GM, Provost F (2003) Learning when training data are costly: the effect of class distribution on tree induction. Journal of Artificial Intelligence Research 19:315–354
Weiss GM, Zadrozny B, Saar-Tsechansky M (2008) Guest editorial: special issue on utility-based data mining. Data Mining and Knowledge Discovery 17(2):129–135
Zickus M, Greig AJ, Niranjan M (2002) Comparison of four machine learning methods for predicting PM10 concentrations in Helsinki. Finland Water, Air, & Soil Pollution Focus 2(5):717–729
Author information
Authors and Affiliations
Corresponding author
Additional information
Angenommen nach zwei Überarbeitungen durch Prof. Dr. Buhl.
This article is also available in English via http://www.springerlink.com and http://www.bise-journal.org: Lessmann S, Voß S (2010) Customer-Centric Decision Support. A Benchmarking Study of Novel Versus Established Classification Models. Bus Inf Syst Eng. doi: 10.1007/s12599-010-0094-8.
Rights and permissions
About this article
Cite this article
Lessmann, S., Voß, S. Unterstützung kundenbezogener Entscheidungsprobleme. WIRTSCHAFTSINFORMATIK 52, 79–93 (2010). https://doi.org/10.1007/s11576-010-0216-4
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s11576-010-0216-4