Modellierung komplexer Prozesse durch naturanaloge Verfahren

Modellierung komplexer Prozesse durch naturanaloge Verfahren Christina Klüver · Jürgen Klüver · Jörn Schmidt Modellierung komplexer Prozesse durch naturanaloge Verfahren Künstliche Intelligenz und Künstliches Leben 3., erweiterte und aktualisierte Auflage Christina Klüver Forschungsgruppe CoBASC Essen, Deutschland Jürgen Klüver Forschungsgruppe CoBASC Essen, Deutschland Jörn Schmidt Forschungsgruppe CoBASC Essen, Deutschland ISBN 978-3-658-35275-2 ISBN 978-3-658-35276-9 https://doi.org/10.1007/978-3-658-35276-9 (eBook) Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2009, 2012, 2021 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von allgemein beschreibenden Bezeichnungen, Marken, Unternehmensnamen etc. in diesem Werk bedeutet nicht, dass diese frei durch jedermann benutzt werden dürfen. Die Berechtigung zur Benutzung unterliegt, auch ohne gesonderten Hinweis hierzu, den Regeln des Markenrechts. Die Rechte des jeweiligen Zeicheninhabers sind zu beachten. Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informationen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutionsadressen neutral. Planung/Lektorat: Reinhard Dapper Springer Vieweg ist ein Imprint der eingetragenen Gesellschaft Springer Fachmedien Wiesbaden GmbH und ist ein Teil von Springer Nature. Die Anschrift der Gesellschaft ist: Abraham-Lincoln-Str. 46, 65189 Wiesbaden, Germany Vorwort zur dritten Auflage Bei der Erstellung dieser dritten Auflage wurden wir an den dreibändigen Klassiker „Die drei Musketiere“ von Alexandre Dumas erinnert: Der dritte Band heißt „Zehn Jahre später“ und unsere dritte Auflage erscheint nun ebenfalls etwa 10 Jahre nach der zweiten. In der Zwischenzeit hat sich in der einschlägigen Wissenschaft wie bei den Musketieren viel ereignet und das war denn auch der Grund für Springer Vieweg, uns um eine Neuauflage zu bitten. Wir sind dieser Bitte natürlich gerne nachgekommen, vor allem da wir selbst auf den Gebieten dieses Buchs wie d`Artagnan aktiv waren. Die wesentlichen Neuerungen der dritten Auflage betreffen insbesondere einmal neue Anwendungsbeispiele für die verschiedenen Algorithmen und zum anderen Einführungen in Forschungs- und Entwicklungsbereiche, die es so beim Erscheinen der 2. Auflage noch nicht oder nicht in diesem Umfang gab, wie vor allem in den Bereichen der Neuronalen Netze (Kap. 5) und der hybriden Systeme (Kap. 7). Drittens schließlich sind die von uns selbst entwickelten Algorithmen, soweit sie in diesem Buch thematisiert werden, überarbeitet und erweitert worden; zusätzliche Beispiele für Anwendungen dieser neuen Algorithmen finden sich in Klüver und Klüver 2021. Insofern kann diese Neuauflage in Teilen auch als neue Publikation verstanden werden. Die Veränderung des Untertitels drückt dies teilweise aus. Auf dem CoBASC Research Group Kanal auf YouTube sind übrigens einige Videos zu den vorgestellten Modellen zu sehen. Zu danken haben wir insbesondere Reinhard Dapper, der uns den Anstoß für diese Neuauflage gegeben hat, und Andrea Broßler für die hervorragende Betreuung. Dank geht auch an die Studierenden, die mit ihren Programmierarbeiten wesentlich zur Fertigstellung dieses Buchs beigetragen haben. Sie sind bei den entsprechenden Passagen genannt. Wir danken auch den zahlreichen Studierenden, die hier zwar nicht namentlich erwähnt werden, die uns jedoch mit ihren Programmen, Modellen und Anregungen inspiriert haben. Für die ersten Auflagen haben wir durchaus erfreuliche Rückmeldungen interessierter Leserinnen und Leser erhalten. Hoffen wir, dass dies ein gutes Vorzeichen für dies Buch, V VI Vorwort zur dritten Auflage also die dritte Auflage ist und dass möglichst viele Leser/innen an diesen Themen auch etwas Vergnügen haben, wie wir es beim Schreiben durchaus hatten. Essen im Juni 2021 Christina Klüver Jürgen Klüver Jörn Schmidt Inhaltsverzeichnis 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Bottom-up Modelle, komplexe Systeme und naturanaloge Verfahren der KI und KL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1 Bottom-up, Top-down und KI/KL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Dynamiken komplexer Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Erweiterungen und Anwendungsmöglichkeiten eines universalen Modellschemas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4 Methodologische Schlussbemerkungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Selbstorganisierende Systeme: Zellularautomaten, Boolesche Netze und Algorithm for Neighborhood Generating . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1 Zellularautomaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.1 Allgemeine Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.2 Stochastische Zellularautomaten . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Boolesche Netze. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Regeln, Topologie und Dynamik – die Ordnungsparameter . . . . . . . . . . . . 3.4 Die Generierung topologischer Strukturen durch den Algorithm for Neighborhood Generating (ANG) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5 Analyse konkreter Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.1 Modellierung mit ZA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.1.1 Stochastische ZA zur Analyse der Auswirkung unterschiedlicher Impfquoten auf die InfluenzaAusbreitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.1.2 Lösung von Sudoku Rätseln auf der Basis eines ZA . . . . 3.5.2 Modellierung mit Booleschen Netzen . . . . . . . . . . . . . . . . . . . . . . . 3.5.2.1 Die Konstruktion von Schaltdiagrammen durch Boolesche Netze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.2.2 Modellierung der Formularauswahl für die Körperschaftsteuer mit BN . . . . . . . . . . . . . . . . . . . . . . . . 1 9 9 17 29 33 37 38 39 48 51 56 71 78 78 79 84 88 89 96 VII VIII Inhaltsverzeichnis 3.5.3 4 5 Datenstrukturierung durch den Algorithm for Neighborhood Generating . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 3.5.3.1 Vorselektion möglicher Standorte für Windkraftanlagen durch einen ANG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 3.5.3.2 ANG für die Analyse der Influenza-Erkrankungen in den USA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 Die Modellierung adaptiver Prozesse durch Evolutionäre Algorithmen . . . . 4.1 Allgemeine Charakterisierungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Genetische Algorithmen (GA) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Evolutionsstrategien (ES) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4 Der Regulator Algorithmus (RGA) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 Simulated Annealing (SA) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6 Analyse konkreter Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6.1 Entwicklung eines Mehrkomponentenklebers durch eine ES . . . . . 4.6.2 Minimierung der Länge von Kabelnetzen durch einen Genetischen Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6.3 Steuerung einer sozialen Gruppe durch einen GA, eine ES und ein SA im Vergleich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6.4 Ein Vergleich zwischen ES, GA und RGA . . . . . . . . . . . . . . . . . . . 4.6.5 Optimierung der Planungen an der Universität Duisburg-Essen durch einen RGA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Modellierung lernender Systeme durch Neuronale Netze (NN) . . . . . . . . . . . 5.1 Biologische Vorbilder. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2 Grundbegriffe und Grundlogik überwacht lernender Netzwerke . . . . . . . . 5.2.1 Interne Topologie, Funktionen und Schwellenwerte von NN . . . . . 5.2.2 Erweiterungen: Einschichtige und mehrschichtige Modelle . . . . . . 5.2.3 Informationsfluss: Feed forward, feed back und rekurrente Netzwerke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.4 Lernregeln für überwacht-lernende Netzwerke . . . . . . . . . . . . . . . . 5.2.5 Ein allgemeines Lernparadigma. . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.6 Exkurs: Graphentheoretische Darstellung neuronaler Netze . . . . . . 5.2.7 Informationsverarbeitung in neuronalen Netzen . . . . . . . . . . . . . . . 5.3 Maschinelles Lernen: Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.1 Tiefe Netze (Deep Learning) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.2 Convolutional Neural Networks (CNN) . . . . . . . . . . . . . . . . . . . . . 5.3.3 Long-Short-Term-Memory (LSTM) . . . . . . . . . . . . . . . . . . . . . . . . 5.3.4 Unüberwachtes, semi-überwachtes, selbst-überwachtes und verstärkendes Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.4.1 Unüberwachtes Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.4.2 Semi-überwachtes und selbst-überwachtes Lernen . . . . . 5.3.4.3 Verstärkendes Lernen (reinforcement learning) . . . . . . . . 109 110 113 123 127 133 139 140 145 150 159 161 173 173 176 176 182 186 187 192 194 197 201 201 202 205 208 208 210 212 Inhaltsverzeichnis 5.4 IX Modelle des selbstorganisierten Lernens . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.1 Selbstorganisierende Karte. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.2 Das Self-Enforcing Network (SEN) . . . . . . . . . . . . . . . . . . . . . . . . 5.5 Zusammenfassung: NN-Typen im Vergleich . . . . . . . . . . . . . . . . . . . . . . . . 5.6 Analyse konkreter Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.6.1 Optische Erkennung handgeschriebener Zahlen . . . . . . . . . . . . . . . 5.6.2 Transfer-Learning: Bildgebende Diagnostik mit einem Residual Network (ResNet) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.6.3 Auswahl von Standorten für Offshore-Windkraftanlagen durch ein SEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.6.4 Auswirkungen des cue validity factors auf die Analyse der Influenzaausbreitung durch SEN . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 215 217 222 227 227 6 Modellierung des Ungenauen: Fuzzy-Mengenlehre und Fuzzy-Logik . . . . . 6.1 Einführung in die Grundbegriffe: Von der Unschärfe der Realität . . . . . . . 6.2 Ein Begriffsexkurs: Wahrscheinlichkeit und Unschärfe . . . . . . . . . . . . . . . 6.3 Variationen der Operatoren und unscharfe Logik . . . . . . . . . . . . . . . . . . . . 6.4 Unscharfe Relationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5 Experten- und Produktionssysteme sowie Defuzzyfizierungen . . . . . . . . . . 6.6 Darstellung und Analyse konkreter Modelle . . . . . . . . . . . . . . . . . . . . . . . . 6.6.1 Die Modellierung von Wahlverhalten mit einem Fuzzy-ZA . . . . . . 6.6.2 Ampelsteuerungen durch ein Fuzzy-System . . . . . . . . . . . . . . . . . . 6.6.3 Aufwandschätzung in einer Poker Party mit Fuzzy-Logik . . . . . . . 249 251 261 264 267 270 276 277 282 287 7 Hybridisierungen der Basismodelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1 Hybride Systeme und Metaparameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2 Darstellung von Beispielen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2.1 Referenztypenbildung durch SEN zur Reduktion der Trainingsdatenmenge in überwacht-lernenden Netzwerken . . . . . . 7.2.2 SEN trifft R: shinySENalytics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2.3 Modellierung und Steuerung von Verkehrsaufkommen auf Autobahnen durch die horizontale Koppelung eines ZA mit einer SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2.4 Die Modellierung kognitiver Ontogenese: Ein horizontal gekoppeltes hybrides System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 295 299 8 232 239 242 299 306 309 317 Resümee und Perspektiven . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 Literatur. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 Stichwortverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343