Von Textgeneratoren zu Intermedia-Präsentationssystemen

Deutsches Forschungszentrum fOr KOnstl iche Intelligenz GmbH Research Report RR-94-02 Von Textgeneratoren zu Intellimedia-Prasentationssystemen Elisabeth Andre , Thomas Rist February1994 Deutsches Forschungszentrum fur Kunstliche Intelligenz GmbH Postfach 20 80 67608 Kaiserslautem, FRG Tel.: (+49631) 205-3211/13 Fax: (+49631) 205-3210 Stuhlsatzenhausweg 3 66123 Saarbrilcken, FRG Tel.: (+49681) 302-5252 Fax: (+49681) 302-5341 Deutsches Forschungszentrum fur Kunstliche Intelligenz The German Research Center for Artificial Intelligence (Deutsches Forschungszentrum fOr KOnstliche Intelligenz, DFKI) with sites in Kaiserslautern and SaarbrOcken is a non-profit organization which was founded in 1988. The shareholder companies are Atlas Elektronik, Daimler-Benz, Fraunhofer Gesellschaft, GMD , IBM , Insiders , Mannesmann-Kienzle, SEMA Group, and Siemens. Research projects conducted at the DFKI are funded by the German Ministry for Research and Technology , by the shareholder companies , or by other industrial contracts. The DFKI conducts application-oriented basic research in the field of artificial intelligence and other related subfields of computer science . The overall goal is to construct systems with technical knowledge and common sense which - by using AI methods - implement a problem solution for a selected application area . Currently . there are the following research areas at the DFKI : o o o o o o Intelligent Engineering Systems Intelligent User Interfaces Computer Linguistics Programming Systems Deduction and Multiagent Systems Document Analysis and Office Automation. The DFKI strives at making its research results available to the scientific community. There exist many contacts to domestic and foreign research institutions, both in academy and industry. The DFKI hosts technology transfer workshops for shareholders and other interested groups in order to inform about the current state of research . From its beginning, the DFKI has provided an attractive working environment for AI researchers from Germany and from all over the world . The goal is to have a staff of about 100 researchers at the end of the building-up phase . Friedrich J. Wendl Director Von Textgeneratoren zu Intellimedia-Pdisentationssystemen Elisabeth Andre, Thomas Rist DFKI-RR-94-02 Die vorliegende Veroffentlichung erschien auch in KDnst/iche Intelligenz (KI) 2/93. Diese Arbeit wurde finanziell unterstUtzt durch das Bundesministerium fOr Forschung und Technologie (FKZ ITW-8901 8). © Deutsches Forschungszentrum fUr Kunstliche Intelligenz 1994 This work may not be copied or reproduced in whole or in part for any commercial purpose. Permission to copy in whole or in part without payment of fee is granted for nonprofit educational and research purposes provided that all such whole or partial copies include the following : a notice that such copying is by permission of Deutsches Forschungszentrum fUr Kunstliche Intelligenz, Kaiserslautern, Federal Republic of Germany; an acknowledgement of the authors and individual contributors to the work ; all applicable portions of this copyright notice. Copying, reproducing, or republishing for any other purpose shall require a licence with payment of fee to Deutsches Forschungszentrum fUr Kunstliche Intelligenz. Von 1extgeneratoren zu Intellimedia-Prasentationssystemen* Elisabeth Andre, Thomas Rist Deutsches Forschungszentrum fur Kunstliche Intelligenz (DFKI) Stuhlsatzenhausweg 3, D-66123 Saarbrucken Email: andre/rist@dfki.uni-sb.de 3. Marz 1994 Zusammenfassung: Wahrend Textgeneratoren ausschlieI31ich auf das Medium Sprache zuriickgreifen, nutzen Intellimedia-Prasentationssysteme die individuellen Starken unterschiedlicher Medien, wie Text, Graphik, Gestik und Animation, fiir die Informationsdarbietung. Die aus kommunikationstheoretischer Sicht allgemeinere Aufgabe wirft einerseits neue interessante Probleme auf, etwa die Selektion und die Koordination von Medien, fiihrt aber andererseits zu einer umfassenderen Behandlung von Fragestellungen, die bereits von der Textgenerierung her bekannt sind. Dieses Papier stellt die erste Generation von sprachverarbeitenden Intellimedia-Prasentationssystemen vor, skizziert die neuen Problemstellungen und beschaftigt sich insbesondere mit der Frage, inwiefern sich Methoden zur Textgenerierung verallgemeinern lassen, damit sie fiir die Informationsprasentation mit mehreren Medien anwendbar sind. Abstract: While text generators exclusively rely on a single medium, intellimedia presentation systems take advantage of the individual strength of several media, such as text, graphics, gestures and animations, to present information. On the one hand, new interesting problems arise in the broader context of multimedia communication, in particular the selection and the coordination of media. On the other hand, this research leads to a more general treatment of problems already known from text generation. The paper discusses the first generation of NL processing intellimedia presentation systems and sketches the new problems. Particular emphasis is given to the question of how to generalize methods for text generation in such a way that they become useful for the production of multimedia presentations, too. • Die vorliegende Arbeit wurde im Rahmen des vom BMFT geforderten Projekts WIP durchgefiihrt. 1 Inhaltsverzeichnis 1 Einfiihrung 3 2 Erste Protoypen 4 3 6 Zentrale Verarbeitungsprozesse 4 Ansatze zur Textgenerierung als methodologische Basis 4.1 Generierung von Text-Bild- Kombinationen als zielgerichtete Tatigkei t 4.2 Ein erweiterter Koharenzbegriff fiir Text-Bild-Kombinationen . 4.3 Ansatze zur Strukturierung von Text-Bild-Kombinationen . . . . . . 7 7 8 10 5 Medienkoordination 5.1 Auswahl von Prasentationsmedien . . . . . . . . . . . . . . . . 5.2 Generierung von Querverweisen und multimedialen Referenzen 5.3 Raumliche und zeitliche Koordination der Ausgabe . . . . . . 11 6 15 Aufbau von IMP-Systemen 7 SchluBbemerkung 12 13 15 17 2 1 Einfiihrung Multimedia-Systeme, in denen unterschiedliche Medien wie beispielsweise Graphik, Sprache, Musik und Animation zur Informationsprasentation zur Verfiigung stehen, sind seit Ende der 80er Jahre unaufhaltsam auf dem Vormarsch. Ein Gang iiber eine beliebige Computerfachmesse zeigt, daB immer mehr Anbieter Multimedia-Systeme in ihre Angebotspalette aufnehmen und eingefiihrte Produkte urn gewisse Multimedia-Funktionen erweitern. Solche Funktionen umfassen die Darstellung, Speicherung, Verbreitung bis hin zur Erzeugung und Verarbeitung multimedialer Dokumente. Fiir die Informationsprasentation bietet die Unterstiitzung mehrerer Medien nicht nur Wahlmoglichkeit, sondern vor allem auch Kombinierbarkeit. Multimedia-Systeme sind besonders dann attraktiv, wenn sich Information erst durch eine geschickt gewahlte Kombination mehrerer Medien effektiv darbieten laBt, wobei unter Effektivitat leicht verstandlich, schnell wahrnehmbar, einpragsam, ansprechend usw. zu verstehen ist - je nach Zweck einer Prasentation. lntelligente Priisentationssysteme als Komponenten von Benutzerschnittstellen zu Hilfesystemen, Expertensystemen oder intelligenten Betriebswarten del' nachsten Generation zielen darauf ab, vorliegendes Wissen benutzerspezifisch und der jeweiligen Prasentationssituation angemessen auszuwahlen und darzubieten. Dies setzt ein hohes Mal3 an Flexibilitat bei der Informationsprasentation voraus; unterschiedliche Benutzer in unterschiedlichen Situationen erfordern fast immer unterschiedliche Prasentationen. Weil es im allgemeinen ext rem aufwendig - wenn nicht gar unmoglich - ist, potentielle Benutzer und Prasentationssituationen vollstandig zu antizipieren und dafur entsprechende Prasentationen vorzubereiten, ist es naheliegend, diese erst bei Bedarf unter Beriicksichtigung der aktuellen Gegebenheiten zu erzeugen. Diesel' Gedanke fiihrt zum intelligenten, im Idealfall universell einsetzbaren Prasentationsexperten, del' neben fachspezifischem Prasentationswissen iiber grundlegende kommunikative Fahigkeiten verfiigt. Ein solches Prasentationssystem ware sowohl fiir den Benutzer als auch fiir den Ersteller einer Anwendung vorteilhaft. Wahrend der Benutzer auf ihn individuell abgestimmte Prasentationen erwarten darf, wird der Ersteller wesentlich entlastet, da er sich auf die eigentlichen Probleme der Anwendung konzentrieren kann. Intellimedia-Priisentationssysteme (IMP-Systeme) stehen fiir den Versuch, MultimediaTechnologie ftir eine intelligente Informationsprasentation zu nutzen. Dazu geniigt es alb-dings nicht, eine Workstation mit den technischen Notwendigkeiten fiir den Einsatz multipler Medien auszurtisten. Die Schwierigkeit besteht vielmehr darin, die individuellen Starkcn del' zur Verfiigung stehenden Medien geschickt einzusetzen und unterschiedliche Medien in einer Multimedia-Prasentation in konsistenter und koharenter Weise zu integrieren. DaB es sich hierbei keinesfalls urn eine triviale Aufgabe handelt, laBt sich anhand zahlreicher mehr oder weniger miBgliickter Multimedia-Prasentationen belegen. Zu den Beispielen zahlen gedruckte illustrierte Gebrauchsanweisungen, in denen Bilder nichts zum Verstandnis beitragen, wenn nicht gar Verwirrung stiften, ebenso wie die vielen, aufwendig gestalteten Computerprasentationen, die den Benutzer letztendlich einer nicht zu bewaltigcnden Reiziiberftutung aussetzen. Urn die zur Verfiigung stehenden Medien 3 optimal einsetzen zu konnen, muB ein IMP-System zum einen die medienspezifische Enkodierung von Information beherrschen - tritt also sowohl als Textautor, Graphikdes igner, Drehbuchautor, Komponist usw . in Erscheinung. Zum anderen kommt ihm die Rolle des Medienkoordinators zu, der iihnlich einem Desktoppublisher verschiedene Medien in einem Dokument integriert . Aus der Sicht der Textgenerierung sind IMP-Systeme aus zwei Grlinden interessant. Zum einen macht Sprache als eines der wichtigsten Kommunikationsmedien Textgeneratoren zu unentbehrlichen Komponenten von IMP-Systemen. Zum anderen haben Verfahren zur Textgenerierung zunehmend an Reife gewonnen, so daB es erfolgversprechend ist , zu untersuchen, inwiefern sich die dort entwickelten Ansatze auch fur den allgemeineren Fall der Informationspriisentation mit mehreren Medien libertragen lassen. In den letzten Jahren wurden in einer Reihe von Projekten ausgehend von Fragestellungen der Textgenerierung Systeme entwickelt, die neben Sprache auch Medien wie Graphik, Gestik und animierte Darstellungen heranziehen. 2 Erste Protoypen Aus funktionaler Sicht liiBt sich jedes der bisher entwickelten sprachverarbeitenden IMPSysteme in das in Abbildung 1 gezeigte allgemeine Schema einpassen. Aufgabe eines IMP-Systems ist es, die von einer Anwendung bereitgestellte Information (Pfeil a) einem(r) Benutzer(gruppe) zu libermitteln (Pfeil b), wobei dem System unterschiedli che Medien zum Aufbau von Priisentationen zur Verfligung stehen. Die einzelnen Systeme sind zuniichst einmal hinsichtlich der vorgesehenen Anwendung voneinander zu unterscheiden. Zum einen gibt es Systeme, die als Informationssystem konzipiert sind. Hierzu ziihlen: ALFresco [Stock 91], das dem Benutzer Information liber italienische Fresken vermittelt, das von Kerpedjiev (vgl. [Kerpedjiev 92]) entwickelte System zur Priisentation meteorologischer Daten, die Dokumentationssysteme EDWARD [Claassen 92], IDAS (Intelligent Documentation Advisory System, [Reiter et al. 92]) und IGiNG (Integrating Graphics and Natural Language Generation, [Dilley et al. 92]), die Auskunft iiber Dateien, Rechneranlagen oder Konferenzen geben, das kartographische Informationssystem 12 (Integrated Interfaces, [Arens et al. 91]) sowie die Wegauskunftssysteme AIMI (vgl. [Maybury 91]) und VITRA-GUIDE (vgl. [Herzog et al. 93]). Zum anderen wurden Systeme als Schnittstellen zu Experten- oder Hilfesystemen entwickelt. XTRA (eXpert TRAnslator, [Allgayer et al. 89]) ist ein Zugangssystem zu einem Expertsystem, das den Benutzer beim Ausflillen eines Steuerformulars unterstiitzt. CUBRIC ON (the CUBRC Intelligent CONversationalist, [Neal & Shapiro 91]) ist als intelligente Benutzerschnittstelle zu einem militiirischen Planungssystem konzipiert. COSPS [Marks 91J und SAGE (a System for Automatic and Graphical Explanation, [Roth et al. 91]) generieren Erkliirungen fiir quantitative Modelle, z.B. im Bereich Projektmanagement oder im Finanzwesen . MMI2 (A Multi-Modal Interface for Man Machine Interaction with Knowledge-Based Systems, [Wilson et al. 92]) ist eine 4 Anwendungssystem (z.B. Datenbank. Hilfe- . Expertensystem IntellimediaPrasentationssystem Medium-l (z.B. Text • • • Medium-n z.B. Graphik) Multlmedla- . Prasentatio Abbildung 1: Schema fur IMP-Systeme Schnittstelle zu einem Konfigurierungssystem von Computernetzwerken. PEA (Program Enhancement Advisor, [Moore & Swartout 90]) ist mit einem Expertensystem gekoppelt, das Vorschlage zur Optimierung von Lispprogrammen liefert. COMET (COordinated Multimedia Explanation Testbed, [Feiner & McKeown 91]) und \VIP (Wissensbasierte Informationsprasentation [Wahlster et al. 91; Wahlster et al. 92; vVahlster et al. 93; Andre et al. 93al) ubermitteln Instruktionen fur die Montage, Bedienung und Reparatur technischer Gerate, wobei vorgesehen ist, daB die mitzuteilende Information von einem Diagnose- oder Hilfesystem bereitgestellt wird. Ein augenscheinliches Vergleichskriterium sind die von den Systemen untersti.itzten Prasentationsmedien. Neben statischen Medien wie Text und Graphik, die in allen Systemen in irgendeiner Form zum Einsatz kommen, werden in einigen Systemen auch dynamische Medien unterstutzt. Beispielsweise prasentiert ALFresco dem Benutzer Information uber italienische Fresken nicht nur durch Einzelbilder, sondern auch durch kurze Videosequenzen . Die Generierung von animierten Darstellungen wird u.a. fi.ir die Systeme VITRA-GUIDE und eine Erweiterung von COMET angestrebt. Je nachdem ob Interaktion zwischen Prasentationssystem und Benutzer bzw. einem Anwendungssystem vorgesehen ist, sind Pfeil c bzw. Pfeil d instantiiert (vgl. Abbildung 1). Die Systeme XTRA, CUBRICON, ALFresco, MMI2, 12, PEA und IDAS verfugen sowohl uber eine Generierungs- als auch eine Analysekomponente. U m komplizierte Referenzprobleme bei der Analyse von naturlicher Sprache zu umgehen, wurde fur die Systeme .5 12 , PEA und IDAS keine naturlichspraehliehe Analysekomponente entwiekelt. Stattdessen werden dem Benutzer Menus oder sogar hypertext-ahnliehe Sehnittstellen angeboten. Untersehiede sind auch hinsichtlieh der Fahigkeit festzustellen, ein und dieselbe Information in Abhangigkeit untersehiedlieher Generierungsparameter (Pfeil e) situationsgerecht zu prasentieren. Beispielsweise konnen im WIP-System Generierungsparameter wie Zielsprache (englisch/deutsch), Benutzergruppe (Experte/Laie) und Dokumenttyp (Handbueh/Bildschirmprasentation) vor dem PrasentationssyntheseprozeB eingestellt werden. Desweiteren sind gravierende Unterschiede in Bezug auf die zugrundeliegenden Ver- arbeitungsprozesse und Systemarchitekturen auszumaehen. Hierauf wird in den naehfolgenden Kapiteln naher eingegangen. 3 Zentrale Verarbeitungsprozesse Der Weg von einem kommunikativen Ziel bis hin zur Multimedia-Prasentation laBt sieh in mehrere Arbeitschritte unterteilen. Zu den grundlegenden Aufgaben, die ein IMP-System zu bevvaltigen hat, zahlen: • Festlegung und Strukturierung des Inhalts Hier ist zu unterscheiden, ob das Anwendungssystem den Inhalt mehr oder \veniger vorgibt, so daB dieser "nur" noch zu strukturieren ist, oder ob ausgehend von einem kommunikativen Ziel die mitzuteilende Information aus einer Wissensbasis ausgewahlt werden muB. Was prasentiert wird, hangt nieht zuletzt auch von dem gewahlten Prasentationsmedium abo Wahrend Spraehe zahlreiehe Abstraktionsmogliehkeiten bietet, ist ein Prasentator bei der bildlichen Wiedergabe von Information oftmals gezwungen, diese zu konkretisieren. Ebenso wie die Inhaltsauswahl ist aueh die Strukturierung einer Multimedia-Prasentation nieht unabhangig von dem gewahlten Medium zu sehen . • Koordinierte Verteilung der Information auf die versehiedenen Medien Urn untersehiedliehe Medien so zu kombinieren, daB ihre individuellen Starken optimal genutzt werden, miissen geeignete Kriterien gefunden werden, nach denen die mitzuteilende Information auf unterschiedliehe Generatoren verteilt wird. Hierbei gilt es auch, das richtige MaB an Komplementaritat und Redundanz zwischen den verwendeten Prasentationsmedien zu finden. Eine komplementar gestaltete Prasentation, die keinerlei redundant kodierte Information enthalt, wirkt meist inkoharent. Wird dagegen zuviel in unterschiedlichen Medien "paraphrasiert", besteht die Gefahr, daB sich der Benutzer nach ktll·zer Zeit auf ein Medium konzcntrieri und moglieherweise Information iibersieht. • Medienspezifisehe Inhaltsrealisierung Hierunter falIt die Realisierung der mitzuteilenden Information dureh die unter- 6 schiedlichen Generatoren, wobei die Generierungsergebnisse so aufeinander abzustimmen sind, daB sich die Medien in ihrer Wirkung gegenseitig verstiirken. Beispiels weise ist darauf zu achten, daB die Ergebnisse del' einzelnen Genel'atol'en strukturell vel'triiglich sind und daB auf die Ergebnisse anderel' Generatoren Bezug genommen wird . • Integration der Generierungsergebnisse in einer Ausgabe Wiihrend das Layout bei der Textgenerierung bisher weitgehend vernachliissigt wurde, wird es in IMP-Systemen als wichtiger Informationstriiger genutzt. Liegen die Ergebnisse unterschiedlicher Generatoren vor, miissen diese unter Beriicksich tigung riiumlicher und zeitlicher Constraints in einer multimedialen Ausgabe integriert und dem Benutzer priisentiert werden . 4 Ansatze zur Textgenerierung als methodologische Basis Obwohl die Generierung von Multimedia-Priisentationen neue Probleme aufwirft, fiillt eine groBe Ahnlichkeit zu Fragestellungen auf, die bereits in mehreren Arbeiten zur Textgenerierung thematisiert wurden. Hierzu ziihlen Verfahren zur Planung des Inhalts und del' Struktur von Texten. 4.1 Generierung von Text-Bild-Kombinationen als zielgerichtete Tatigkeit A lIsgehend von einer sprechakttheoretischen Sichtweise wird nicht nur die Generierung von Texten, sondern allgemein die Generierllng von Multimedia-Priisentationen als kommunikative Handlllng zur Erl'eichung von Zielen aufgefafit. In [Andre & Rist 90b] wurde dieser Ansatz erstmals fiir die Generierung von Text-Bildkombinationen ausgearbeitet. Kommunikative Handlungen kannen sich wiederum aus anderen kommunikativen Handlungen zusarnmensetzen. Die Bliitter der entstehenden hierarchischen Stl'uktur sind element are Sprechakte (vgl. [Searle 80l) oder Bildakte (vgl. [Kjorup 78]). Beispiele fiir Sprechakte sind 8ehaupten, AuiJordern oder Bitten, wiihrend Handlungen wie Annotieren, Darstellen oder Hervorheben zu den Bildakten ziihlen. Durch die mit den einzelnen Handlungen assoziierten Ziele ergibt sich neben einer hierarchischen Handlungsstruktur auch eine hierarchische Struktur von Zielen (intentionale Struktur). Dabei tragen die Handlungen, die zur Erreichung eines untergeordneten Ziels dienen, zur Erreichung iibergeordneter Ziele bei. Abbildung 2 zeigt einen aus einer Bedienungsanleitung entnommenen Dokumentausschnitt und die ihm zugrundeliegende intentionale Struktur. Mit dies em Dokumentallsschllitt so il erreicht werden, daB der Benlltzer die Verschlufikappe eines Wasserbehiilters cnLi'crnt. Dieses Ziel spiegelt sich im wesentlichen durch die verbale Aufforderung "Ent('emen Sie die VerschluBkappe" wider. Aufgrund del' Aufforderung weifi der Benutzer, daB der Prasentator macht.e, daB er die VerschluBkappe entfernt. Ob er jedoch dazu in del' Lage ist oder den Wiinschen des Prasentators nachkommen machte, ist damit nicht unbedingt 7 sichergestellt. Diese beiden Ziele sollen durch das Bild und die verbale AuBerung "urn den Wasserbehalter zu flillen" erreicht werden. Auch den einzelnen Bildteilen konnen bestirnrnte Ziele zugeordnet werden. Beispielsweise so11 durch die beiden Pfeile sichergestellt werden, daB der Benutzer den Bewegungsverlauf der von ihm auszuflihrenden Handl ungsschri t te kennt. (Done User remove-I) (Bel User (Goal System (Done User remove-I))) (Cando User remove-I) (Goal User (Done User remove-I» (Bel User (Step remove-I fiU-i) (Bel User (Causes remove-l state-I» Elllfernen Sie die Verschluj1kappe; um den Wasserbehillter ZJJ fii/len! I c:> (Cando User identify-cover-I) (Bel User (plan remove-l seauence·turn·lift·l )) (Bel User (Trajectory turn· 1 traj·turn-l» I I (Bel User (Trajectory lift· 1 traj-lift-l» I c.....,..- t I "um dell Wasserbehillter ZJJ filllell ,,' ~ Abbildung 2: Intentionale Struktur eines Dokumentausschnitts 4.2 Ein erweiterter Kobiirenzbegriff fur Text-Bild-Kombinationen Mehrere Textlinguisten haben Koharenz durch Relationen zwischen einzelnen Diskurssegmenten charakterisiert (vgl. [Grimes 75; Hobbs 78; Mann & Thompson 87]) . Ein Text wird nur dann als koharent betrachtet , wenn er in Segrnente zerlegt werden kann, die durch bestimmte Relationen miteinander verbunden sind. Beispielsweise haben Mann und Thompson ausgehend von einer urnfangreichen Analyse der rhetorischen Struktur koharenter Texte etwa 25 solcher Relationen identifiziert, die die Grundlage der von ihnen entwickelten Rhetorical Structure Theory (RST) bilden. Zu den RST-Relationen zahlen beispielsweise Enablement, Nlotivation, Condition oder Elaboration. 1m Hinblick auf einen verallgemeinerten Koharenzbegriff stellt sich die Frage, welche Beziehungen zwischen den Dokumentteilen einer koharenten multimedialen Prasentation bestehen. In kognitionspsychologischen Arbeiten wurde untersucht, welche Rolle ein bestimmtes Bild in Bezug auf eine begleitende Textpassage spielt. Beispielsweise hat Levin [Levin et al. 87] funf Grundfunktionen von Bildern erkannt: Representation, Organization, Interpretation, Transformation und Decoration. Bei der Untersuchung von Lehrbuchern schrieben Hunter und Kollegen (vgl. [Hunter et al. 87]) Bildern vor allem die Funktionen Embellish, Reinforce, Elaborate, Summarize und Compare zu. Bandyopadhyay [Bandyopadhyay 90] 8 unternahm den Versuch, die von Hobbs [Hobbs 7S] vorgeschlagenen Koharenzrelationen auf Bilder zu ubertragen. Leider sind die von den Text-Bild-Forschern vorgeschlagenen Definitionen sehr allgemein gehalten. Daruberhinaus wird nur die Funktion von ganzen Bildern betrachtet, d.h. es wird nicht untersucht, aus welchen Teilen sich ein Bild zusammensetzt und welche Rolle diese fur die Gesamtinterpretation spielen. Urn jedoch eine vollstandige Beschreibung der gesamten Prasentationsstruktur zu erhalten, rnussen auch die Beziehungen zwischen einzelnen Bildteilen und zwischen Bildteilen und Text explizit reprasentiert werden. Untersuchungen illustrierter Dokurnente (vgl. [Andre & Rist 93; Arens et al. 93b; Roth & Mattis 90]) zeigen, daB sich Beziehungen zwischen Bildern/Bildteilen untereinander und zwischen Bildern/Bildteilen und Text oft durch die von Textlinguisten gefundenen Relationen beschreiben lassen. Beispiele sind Elaboration bei Haupt- und Nebenbildern, Sequence bei Bildfolgen oder Interpretation bei einem Bild und der dazugehorigen Erklarung irn Text. Andererseits gibt es Relationen, wie beispiels\veise Concession oder Condition, die nicht ohne wei teres bildlich ausdruckbar sind. Schlie51ich treten Relationen auf, die in keiner der oben angegebenen Arbeiten zur Textkoharenz zu finden sind, etwa die Relation Label zwischen einern Text und seinern Titel oder zwischen Bildobjekten und ihrer Beschriftung. Instruct Request Enable I "Entfemen Sie die VerschllljJkoppe" ~ Inform-Cause-Result Describe-State Entfernen Sie dle VerschilljJkoppe, urn den Wasserbe· hiiller zu fiillen! Motivate . Provlde·Backgrou nd ~ Describe-Action : ~l!: Describe-Trajectory I c......... "tun den Wasserbehiilter zu fiil/en" I Describe-Trajectory I t Abbildung 3: Rhetorische Struktur des Dokurnentausschnitts aus Abbildung 2 Abbildung 3 zeigt die rhetorische Struktur des Dokurnentausschnitts aus Abbildung 2. Das Dokurnent setzt sich zusarnrnen aus einer Aufforderung, einern Motivationsteil und einern Teil, der die Ausfuhrung der Handlung errnoglichen solI. Auch den einzelnen Bildteilen konnen unterschiedliche rhetorische Funktionen zugeordnet werden. Beispielsweise 9 dient die Darstellung der Espressomaschine als Hintergrund fiir den Rest des Bildes . 4.3 Ansatze zur Strukturierung von Text-Bild-Kombinationen Wie in den vorangegangenen Abschnitten dargelegt, folgen Bilder und Text-Bild-Kombinationen ahnlichen Strukturierungskriterien wie Text. Insbesondere ist eine Text-BildKombination charakterisiert durch ihre intentionale Struktur, die die Ziele des Prasentators widerspiegelt, und ihre rhetorische Struktur, die durch rhetorische Relationen bestimmt wird. Es bietet sich daher an, Ansatze zur Textstrukturierung nicht nur zur Organisation der textuellen Teile einer multimedialen Prasentation, sondern zur Strukturierung der gesamten Prasentation zu verwenden. Ein wesentlicher Vorteil eines einheitlichen Strukturierungsansatzes ist darin zu sehen, dafi nicht nur Beziehungen innerhalb eines Mediums, sondern auch Beziehungen zwischen Teilen in unterschiedlichen Medien explizit reprasentiert werden konnen. In Systemen wie SAGE [Roth et al. 91], in den~ medienspezifische Verfahren zur Inhaltsstrukturierung zum Einsatz kommen, geht hingegen der Zusammenhang zwischen Text und Graphik verloren. In COMET werden zur Strukturierung der Gesamtprasentation Schemata verwendet (vgl. [McKeown et al. 90]), die McKeown urspriinglich zur Strukturierung von Texten (vgl. [McKeown 85]) entwickelte. Schemata beschreiben den prototypischen Aufbau von Prasentationen mit Hilfe von rhetorischen Pradikaten, die die Beziehungen zwischen den Teilen einer Prasentation reprasentieren. Beim Aufbau einer Multimedia-Prasentation wird ausgehend von einem Prasentationsziel (z.B. 'der Benutzer solI wissen, wie man ein bestimmtes Gerat bedient') ein Schema selektiert . Wahrend der Traversierung des Schemas wird Information aus einer Menge von vorselektierten Propositionen ausgewahlt. Das Ergebnis wird dann an einen Mediakoordinator iibergeben, der fiir die einzelnen Teile bestimmt, welcher Generator sie verarbeiten solI. Schemata konnen als das Ergebnis eines Kompilierungsprozesses aufgefafit werden, bei dem nur noch das iibergeordnete Ziel und die einzelnen Schritte zur Erreichung dieses Ziels iibrigbleiben. Welchen Effekt einzelne Teile eines Schemas auf den Benutzer haben und in welcher Beziehung diese Teile zueinander stehen, wird nicht explizit reprasentiert. Aus diesem Grund stellen Schemata ein effizientes Mittel zur Dokumentstrukturierung da.r. Probleme treten jedoch auf, wenn der Benutzer eine Systemaufierung nicht versteht. Auf Schemata basierende Systeme haben dann nur noch die Moglichkeit, ein anderes Schema auszuwahlen. Sie sind nicht in der Lage, nur auf einen Teil des zum Schema korrespondierenden Textes oder Bildes naher einzugehen (siehe auch [Paris 91]). Neben schemabasierten Ansatzen werden bei der Synthese multimedialer Dokumente planbasierte Ansatze verwendet, die auf Erweiterungen von Textplanungsansatzen (vgl. [Moore & Paris 89; Maybury 89]) beruhen. Urn multimediale Prasentationen zu pla.nen, fafit man die zu Beginn dieses Kapitels eingefiihrten kommunikativen Handlungen als 10 Operatoren eines Planungssystems auf. Beim PlanungsprozeB wird ausgehend von einem kommunikativen Ziel, z.B. der Benutzer soll in der Lage sein, eine bestimmte Aktion auszufiihren, nach Planungsoperatoren gesucht, deren Effekt dieses Ziel subsumiert . Wird ein solcher Planungsoperator gefunden, so werden die Ausdriicke im Rumpf als neue Teilziele bearbeitet. Handelt es sich dabei urn element are Sprechakte oder Bildakte, so werden diese an die medienspezifischen Generatoren iibergeben. Wie in [Moore & Paris 89] gezeigt wurde, ermoglichen es planbasierte Ansatze, sowohl die Intention, die ein Sprecher mit einer AuBerung verfolgt, als auch die rhetorischen Beziehungen zwischen AuBerungen aufzuzeichnen, vorausgesetzt es werden entsprechende Planoperatoren definiert, die intention ale mit rhetorischen Zielen in Verbindung bringen. Prasentationen lassen sich dadurch individuell auf einen Benutzer abstimmen. Beispielsweise konnte man in dem Dokumentausschnitt aus Abbildung 2 das Bild weglassen, falls sichergestellt ist, daB der Benutzer weiB, wo sich die VerschluBkappe befindet und wie sie ZlI entfernen ist. Dariiberhinaus lassen sich Teile einer Prasentation nachbessern, falls sich hcrausstellt, daB diese fiir den jeweiligen Benlltzer unverstandlich sind. Teilt del' Benutzer, nachdem ihm der Dokllmentausschnitt aus Abbildung 2 prasentiert wurde, dem System mit, daB er die Verschluf3kappe nicht finden kann, so konnte das System versuchen, das Objekt durch bestimmte Merkmale eindeutig zu charakterisieren, und z.B. einen Satz wie "Die VerschluBkappe ist die rote Kappe links unter dem Deckel" generieren. Bei einem schemabasierten Ansatz kann das System zwar ein neues Schema auswahlen, urn dem Benutzer das Auffinden der VerschluBkappe zu ermoglichen. Es kann jedoch passieren, daB wieder ein Bild generiert wird, da das System nicht in der Lage ist, zu erkennen, daB dieses Ziel bereits als Teilziel bearbeitet wurde und ein Bild nicht zum Erfolg fiihrte. Planungsbasierte Ansatze fiir die Synthese multimedialer Dokumente werden u.a. in den Systemen WIP [Andre & Rist 90b] und AIMI [Maybury 91] verwendet. Wahrend jedoch in [Maybury 91J die Mediumselektion erst an den Blattern des entstehenden Baumes erfolgt, konnte in [Andre & Rist 93J gezeigt werden, daB es Planer dieses Typs ermoglichen, gleichzeitig Inhalte auszuwahlen, zu strukturieren und auf die medienspezifischen Generatoren zu verteilen, wenn die Planoperatoren entsprechende Constraints ftir die MedilImselektion enthalten. 5 Medienkoordination Urn zu verhindern, daB die Ergebnisse der verschiedenen Generatoren beziehungslos nebeneinander stehen, diirfen die Generatoren nicht isoli ert voneinander betrieben werden. Es reicht also nicht, unterschiedliche Generatoren zu einem IMP-System zusammenzufassen, man muB deren Arbeit auch koordinieren . Hierunter niJlt die Verteilung der Information auf verschiedene Generatoren, die Verzahnung der einzelnen Generierungsprozesse sowie die Integration der Generierungsergebnisse in einer multimedialen Ausgabe. 11 5.1 Auswahl von Prasentationsmedien Ausgehend von der Frage, welches Medium oder welche Medienkombination welche Art von Information am besten ubertragt, wird in den meisten Ansatzen die zu prasenti erende Information nach verschiedenen Gesichtspunkten klassifiziert. Beispielsweise geht COMET von sechs Informationstypen (location, physical attributes, abstract actions, connectives, simple and compound actions) aus (vgl. [Feiner & McKeown 91]). Fur raumliche Information und physikalische Attribute ist als Prasentationsmedium Graphik vorgesehen,wahrend fur abstrakte Aktionen und Konnektiva Text verwendet wird . Zur Prasentation von einfachen und zusammengesetzten Aktionen werden beide Medien herangezogen. Eine feinere Klassifikation wird im WIP System verwendet (vgl. [Andre & Rist 93]). Dort stehen insgesamt sieben Informationstypen (concrete, abstract, spatial, covariant, temporal, quantification, negation) mit bis zu zehn Untertypen zur Verfiigung. Desweiteren wird zwischen zehn kommunikativen Funktionen (attract-attention, compare, elaborate, enable, elucidate, lab el, motivate, evidence, background, summarize) unterschieden, die ebenfalls di e Mediumselektion beeinflussen. Statt Informationstypen bestimmten Medien zuzuordnen, besteht di e Mogli chkeit , sowohl die Information als auch die zur Verfiigung stehenden Medien und Prasentationstechniken nach bestimmten Merkmalen zu charakterisieren und die Auswahl der Medien uncl der Prasentationstechniken auf der Grundlage dieser Klassifikation durchzufiihren. Diese Vorgehensweise wurde von Bertin [Bertin 67] fiir die Gestaltung von Graphiken gewahlt, dann von Mackinlay [Mackinlay 86] und spater von Roth [Roth et al. 91] hir die automatische Generierung von Geschaftsgraphiken aufgegriffen. In [Arens et al. 93b] wird eine ahnliche Vorgehensweise nicht nur fiir die Auswahl von Prasentationstechniken, sondern auch fiir die Mediumselektion eines IMP-Systems vorgeschlagen. Die fiir die Auswahl relevante Information wird dabei in einem Und-Oder-Abhangigkeitsnetzwerk dargestellt. Aufgrund der wenigen Merkmale, anhand derer die Medien klassifiziert werden, benotigt aber auch dieser Ansatz bei der Generierung speziellere Auswahlregeln (vgl. [Vossers 91]) wie sie etwa in WIP und COMET Verwendung finden. Wahrend fur die Auswahl zwischen Text und Graphik bisher nur einfache Heuristiken bekannt sind, liegen fiir die Auswahl zwischen mehreren Prasentationstechniken bereits auf tieferen Inferenzen beruhende Ansatze vor. Beispielsweise wircl in clem System APT [Mackinlay 86] bei cler Auswahl von Prasentationstechniken anhancl von formalen Kriterien gepriift, welche Information durch eine spezielle Prasentationstechnik vermittelt werden kann (J(riterium der Expressivitiit) und wie wirkungsvoll diese Tcchnik di e zu iibermittelnde Information prasentiert (J( rite7'ium der Effektivitiit). Casner [Casner 91] beschreibt einen Ansatz, bei dem die Selektion von Prasentationstechniken auf der Gruncllage von perzeptuellen Faktoren erfolgt. Das von ihm entwickelte System BOZ analysiert zunachst die yom Benutzer durchzufiihrende Aufgabe (z .B. Temperaturunterschiede zu erkennen) und formuliert eine entsprechende perzeptuelle Aufgabe (z.B. Langenunterschiede zu erkennen), indem die logischen Operatoren in der Aufgabenbeschreibung durch perzep- 12 tuelle Operatoren ersetzt werden. Anschlie13end wird eine graphische Darstellung entworfen, die die Daten in der Graphik so strukturiert, da13 sie aIle erforderlichen perzeptuellen Operatoren unterstiitzt und gleichzeitig die visuelle Suche minimiert. Zusammenfassend la13t sich sagen, daB in den meisten Systemen die Mediumselektion in erster Linie yom Informationstyp abhangt. Weitere Faktoren sind die Ziele des Prasentators, Betriebsmittelbeschrankungen, Benutzerklasse und Benutzeraufgabe. Schwierig wird der Auswahlproze13 vor aHem dann, wenn sich mehrere Faktoren gegenseitig beeinflussen. Beispielsweise stellten Bieger und Glock [Bieger & Glock 86] in einem Performanztest fest, da13 Versuchspersonen Instruktionen zwar schneller verstehen, wenn raumliche Information graphisch dargestellt wird, den Versuchspersonen jedoch mehr Fehler unterlaufen als bei rein text uellen Prasentationen. In diesem Fall ware zumindest eine Gewichtung der Ziele des Prasentators erforderlich. 5.2 Generierung von Querverweisen und multimedialen Referenzen Urn Prasentationen koharent zu gestalten, mussen die einzelnen Generatoren ihre Ergebnisse aufeinander abstimmen. Wichtige Beispiele hierfur sind Querverweise und multimediale ReJerenzen. Querverweise wie "der linke Bildteil" oder "Abbildung x" stellen Verbindungen zwischen Dokumentteilen in unterschiedlichen Medien her und tragen damit wesentlich zur Koharenz einer Multimedia-Prasentation bei. Eine multimediale Referenz liegt vor, wenn auf mehr als ein Medium zuruckgegriffen wird, urn auf eine Entitat der Diskurswelt zu verweisen . Typische Beispiele sind natiirlichsprachliche Au13erungen der Form "die im Bild grtin markierte Schraube" oder von natlirlichsprachlichen Au13erungen begleitete Zeigegesten. Wird unter Verwendung verschiedener Medien auf die frlihere Darstellung einer Ent iUit Bezug genommen, so handelt es sich urn einen multimedialen QuenJenveis. In den meisten Fallen wird von Text auf Graphik oder andere Textteile verwiesen, jedoch auch mit Hilfe graphischer Mittel lassen sich Querverweise realisieren. Beispiele hierflir sind Pfeile, die von einem Bildteil zum entsprechenden Text zeigen. Multimediale Referenzausdriicke bieten die Moglichkeit, zusatzliche Attribute zur Abgrenzung eines Obj ekts von seinen Alternativen zu verwenden. Hierunter fallen Attribute des Objekts im Bild, deren Interpretation sowie die raumliche Lage des Obj ekts relativ zum Bild oder zu anderen Bildobjekten. Wird auf die Interpretation eines Bildattributs vcrwiesen, so mu13 sichergestellt sein, da13 der Benutzer diese kennt. Beispielsweise wird ein Ausdruck der Form "der Flu13 oben links auf der Karte" nur dann verstanden, wenn der Benutzer in der Lage ist, bestimmte Bildteile als FluBdarstellungen zu erkennen. Darliberhinaus sollte aus dem Kontext eindeutig hervorgehen, ob es sich bei den verwendeten Attributen urn Welt- oder Bildattribute handelt. Verwirrung beim Benutzer konnte insbesondere dann entstehen, wenn sich Welt- und Bildattribute widersprechen. I-Iaufig werden bei der Generierung von Querverweisen und multimedialen Referenzen 13 raumliche Relationen verwendet. Da sich sowohl die Anordnung von Bildobjekten als auch die Anordnung von Textblocken und Bildern nicht vorhersehen laBt, ist es unmoglich, raumliche Relationen vorab in einer Wissensbasis abzulegen. Einige IMP-Systeme wie COMET und WIP verfiigen daher iiber Lokalisierungskomponenten, urn die Lage von Bildobjekten absolut im Bild (absolute Lokalisation) oder relativ zu anderen Bildobjekten (relative Lokalisationen) zu berechnen. Neben elementaren (z.B. "der Knopf links im Bild") konnen mit diesen Komponenten auch zusammengesetzte Lokalisationen (z.B. "der Knopf oben links im Bild") generiert werden. 1m Gegensatz zu COMET [McKeown et al. 92] werden in WIP Objekte auchin Bezug auf Bildteile (z.B. die Ecken) oder Objektgruppen lokalisiert (vgl. [Wazinski 91; Wazinski 92]). Eine wichtige Voraussetzung fiir die Generierung von Querverweisen ist die explizite Reprasentation des sprachlichen und des piktoriellen Kontextes. 1m System CUBRICON [Neal & Shapiro 91] ist der sprachliche Kontext durch eine Fokusliste von Entitaten und Propositionen repasentiert, auf die sprachlich oder mit Hilfe von Zeigegesten verwiesen wird. Zur Reprasentation des piktoriellen Kontext wird ein Display-Modell verwend'e t, das dariiber Buch fiihrt, weIche Entitaten sichtbar sind, in weIchem Fenster sie sich befinden und welche Fenster auf dem Bildschirm zu sehen sind. Auch XTRA reprasentiert nicht nur den sprachlichen Kontext, sondern verwaltet auch eine Datenstruktur fiir die Graphik, auf die wahrend des Dialogs Bezug genommen wird (vgl. [Reithinger 92bl). In der Steuerdomane ist dies eine Formularhierarchie, die die Positionen und GroBen der Formularfelder enthalt sowie deren geometrischen und logischen Zusammenhang. Dariiberhinaus werden die Verbindungen zwischen Teilen des Formulars, z.B. region437, und den entsprechenden Konzepten in der Wissensbasis, z.B. wohnort, reprasentiert. Wahrend die Systeme XTRA und CUBRICON auf unterschiedliche Kontextmodelle fiir den sprachlichen und den piktoriellen Kontext zuriickgreifen, verwendet das System EDWARD [Claassen 92] ein einheitliches Modell, das verschiedene Typen von Kontextfaktoren, wie z.B. Stellung im Satz oder Sichtbarkeit auf dem Bildschirm, beriicksichtigt. WIP unterscheidet sich von den oben genannten Systemen dadurch, daB die Semantik von Bildinhalten nicht nur auf Objektebene (z.B. daB die Bildkonstituente pic-ob-l das Weltobjekt w-obj-l darstellt), sondern auch auf Merkmalsebene (z.B. daB die Eigenschaft 'ist-rot' eines Bildobjekts die Eigenschaft 'ist-defekt' eines Bauteils darstellt) beschrieben wird (vgl. [Rist & Andre 92b; Rist & Andre 92al). Urn die semantische Bezieh:mg zwischen Bildteilen/Bildrelationen und Objekten/Relationen zu beschreiben, wird in Anlehnung an [Mackinlay 86] ein zweistelliges Pradikat der Form (Enkodiert <graphisches Mittel> <information» verwendet. Eine Menge soIcher Enkodierrelationen bildet dann eine semantische Beschreibung eines Bildes, auf deren Grundlage Inferenzprozesse durchgefiihrt werden konnen. Da sich Bildattribute wahrend des Generierungsprozesses andern konnen, ist zu gewahrleisten, daB der piktorielle Kontext standig aktualisiert wird. Wahlt der Graphikgenerator beispielsweise aufgrund zusatzlicher Auftrage eine andere Perspektive, so ist zu priifen, ob bereits berechnete raumliche Relationen noch aktuell sind. 14 5.3 Raumliche uod zeitliche Koordioatioo der Ausgabe Eine weitere Koordinationsaufgabe ist die Integration der einzelnen Generatorergebnisse in einer multimedialen Ausgabe. Hierunter £allt die riiumliche Anordnung von Textblocken und Bildern durch eine Layoutkomponente. Einer solchen Komponente kommt nicht nur die Aufgabe zu, Text- und Bildteile in einer moglichst ansprechenden Form auf die zur Verfugung stehenden Dokumentseiten oder Bildschirmfenster zu verteilen (kiinstlerisches Layout), sondern auch inhaltliche Zusammenhiinge zu vermitteln (Junktionales Layout). Beispielsweise kann die rhetorische Struktur eines Dokuments mitunter sehr effektiv durch das Layout ubertragen werden . Daher mussen neb en linguistischen Constraints (Wortwahl, Festlegung syntaktischer Strukturen usw.) zur sprachlichen Wiedergabe von rhetorischen Relationen (vgl. [Scott & Sieckenius de Souza 90]) auch graphische Constraints (Plazierung, Abstand usw .) definiert werden (vgl. [Hovy & Arens 91; Graf 92]), die die rhetorische Struktur des Dokuments reflektieren. Fur eine Reihe von rhetorischen Relationen sind bereits Designheuristiken bekannt. Beispielsweise werden Bilder, die durch 'Sequence' oder 'Contrast' zueinander in Beziehung stehen, vorzugsweise nebeneinander angeordnet. FaBt eine Graphik den Text zusammen, so sollte sie unter dem Text stehen, di ent sie hingegen zur Einfuhrung in ein Gebiet, so ist sie nach Moglichkeit uber dem Text zu plazieren. Wird dem Benutzer Information mit Hilfe dynamischer Medien vermittelt (z.B. gesprochene Sprache, Zeigegesten und animierte Darstellungen), so sind die Ausgabe der Generatorergebnisse nicht nur raumlich, sondern auch zeitlich zu koordinieren. Beispielsweise ist festzulegen, zu welch em Zeitpunkt eine bestimmte Zeigegeste beginnen soIl und wievicl Zeit sie in Anspruch nehmen darf. Bisher beschiiftigen sich erst wenige Arbeiten mit der Koordination dynamischer Medien. Erste Ideen zur zeitlichen Koordination gesprochener Sprache und animierter Darstellungen werden in [Andre et al. 87], [Feiner et al. 93] und [Andre et al. 93b] beschrieben. 6 Aufbau von IMP-Systemen 13eim Entwurf eines IMP-Systems ist eine adiiquate Behandlung der Abhiingigkeiten zwischen den durchzufuhrenden Entscheidungsprozessen zu gewiihrleisten. A us der Textgenerierung ist bekannt, daB es iiuBerst schwierig ist , Inhalte zu planen, ohne uber sprachliches vVissen zu verfugen. Ein streng sequentielles Modell, in dem Information ausschliefilich von der inhaltsfestlegenden Komponente zur inhaltsrealisierenden I\omponente flieBt, hat sich als unangemessen erwiesen, da die inhaltsfestlegende Komponent.e alle Entscheidungen der inhaltsrealisierenden Komponente antizipieren muBte (siehe auch [Reithinger 92a]). Dieses Problem verscharft sich, wenn wie in allen oben genannten Systemen fur die Inhaltsrealisierung getrennte Komponenten verantwortlich sind (z.B. ein Text-, ein Graphik- und ein Gestengenerator)' deren Entscheidungsprozesse die inhalt.sfestlegende Komponente nicht antizipieren kann. 15 Ahnliche Probleme treten bei der Inhaltsplanung, der Inhaltsstrukturierung und der Mediumselektion auf. Einerseits hangt die Wahl eines geeigneten Prasentationsmedium weitgehend von der Art und der Struktur der zu prasentierenden Information ab (siehe auch [Andre & Rist 90a; Arens et al. 93b; Roth & Mattis 90]). Andererseits werden 1nhaltsauswahl und Inhaltsstrukturierung durch frlihere Entscheidungen bei der Wahl der Prasentationsmedien beeinflufit. Beispielsweise wird visuelle Information benogtigt, urn mit graphischen Mitteln auf ein Objekt zu verweisenj wird hingegen auf dasselbe Objekt textuell Bezug genommen, ist diese Information moglicherweise irrelevant. Neben Abhangigkeiten zwischen Inhaltsfestlegung, Inhaltsrealisierung und Mediumselektion sind Abhangigkeiten zwischen medienspezifischen Generatoren zu beriicksichtigen. Informationsflufi soUte daher nicht nur zwischen der inhaltsfestlegenden und den inhaltsrealisierenden Komponenten, sondern auch zwischen einzelnen Generatoren moglich sein. Wahrend liber die Art der Entscheidungsprozesse eines IMP-Systems weitgehend Einigkeit herrscht, stehen unterschiedliche Verarbeitungsmodelle zur Diskussion. In COMET wird beim Entwurf einer Prasentation zunachst eine baumartige Struktur aufgebaut, die den Aufbau der zu generierenden Prasentation widerspiegelt. Dieser Strukturbaum wird von den medienspezifischen Generatoren monoton erweitert - Revisionen aufgrund der Mediumselektion sind nicht vorgesehen . Den Abhangigkeiten zwischen Textund Graphikgenerierung wurde mehr Aufmerksamkeit gewidmet. Beispiele hierflir sind die Abstimmung von Bild- und Satzgrenzen sowie die Generierung von Querverweisen. Urn die Kommunikation zwischen Text- und Graphikgenerierung zu erleichtern, wird die mitzuteilende Information in einer einheitlichen Reprasentationssprache an die beiden Generatoren libergeben. Da beide Generatoren von derselben Reprasentationssprache ausgehen, konnen sie sich gegenseitig Information liber ihre Entscheidungen und Ergebnisse mitteilen, indem sie die 1nhaltsspezifikation mit Annotationen versehen. Jeder Generator hat damit Zugriff auf die Ergebnisse anderer Generatoren und kann seine eigenen Ergebnisse entsprechend darauf abstimmen. Arens und Kollegen [Arens et al. 93a] beschaftigen sich mit Abhangigkeiten zwischen Inhaltsstrukturierung und Mediumselektion. Sie vertreten die Auffassung, daB die Bestimmung eines geeigneten Mediums erst dann moglich ist, wenn die Diskursstruktur vollstandig vorliegt. Daher schlagen sie eine strikte Trennung von Planungsund Mediumauswahlprozessen vor. Wahrend des Planungsprozesses wird zunachst die Diskursstruktur des zu generierenden Dokuments vollstandig aufgebaut. Diese ist im wesentlichen durch die kommunikativen Ziele des Prasentators und den mitzuteilenden Inhalt bestimmt. AnschlieBend erfolgt anhand spezieller Regeln [Arens et al. 93b] die Mediumauswahl. Nach der Mediumauswahl wird die Diskursstruktur von unten nach oben durchlaufen, wobei anhand von Transformationsregeln die Diskursstruktur in eine prasentationsnahe Struktur (Priisentationstruktur) liberflihrt wird. Problematisch an c1iesem Ansatz ist, daB diese Prasentationsstruktur offensichtlich keinerlei Einfluf3 auf die Diskursstruktur hat. Zwar wird die Auswahl des Mediums von der Diskursstruktur bein- 16 fiufit, Inhalte werden allerdings unabhiingig vom Medium ausgewiihlt. Urn Abhiingigkeiten zwischen Inhaltsselektion, Inhaltsstrukturierung und Mediumselektion zu beriicksichtigen, ist es jedoch notwendig, die einzelnen Prozesse enger als in den oben beschriebenen Systemen miteinander zu verzahnen. Wie bereits erliiutert wird in WIP fiir aIle drei Prozesse ein einheitlicher Planungsmechanismus verwendet. Er ermoglicht es, die Mediumselektion schon wahrend der Inhaltsfestlegung durchzufiihren und nicht erst danach wie beispielsweise in den obigen Systemen. Inhaltsrealisierung und Inhaltsfestlegung werden hingegen von separaten Komponenten, die auf unterschiedliche Wissensbasen zugreifen, iibernommen. Die Modularisierung ermoglicht einerseits Parallelverarbeitung, macht jedoch andererseits Interaktion zwischen den Komponenten notwendig. Ahnlich wie in COMET erfolgt die Kommunikation zwischen den einzelnen Komponenten iiber den Designplan, auf den aIle Komponenten Lese- und Schreibzugriff haben. 7 Schlu6bemerkung Die Verfiigbarkeit neuer Medien eroffnet neue Wege der Informationsprasentation und wirft neue interessante Fragestellungen auf, wie beispielsweise die Verteilung der Information auf verschiedene Medien sowie die Koordination von Medien untereinander. Andererseits treten Probleme auf, die bereits von der Textgenerierung her bekannt sind. Eine zentrale Feststellung <lieses Papiers ist, daB sich multimediale Prasentationen nach ahnlichen Prinzipien strukturieren lassen wie reine Texte. Konzepte, wie Sprechakte und rhetorische Relationen, die sich bereits fiir die automatische Generierung von Text als erfolgreich erwiesen haben, sind auch fiir die Generierung von multimedialen Prasentationen brauchbar. Aus diesem Grund konnen Methoden zur Planung des Inhalts und del' Struktur von Texten im Hinblick auf die Generierung von multimedialen Prasentationen verallgemeinert werden. Tatsiichlich hat del' Forschungsbereich Textgenerierung einen wesentlichen Anteil an del' Entwicklung del' ersten Generation von IMP-Systemen. Inwiefern eine eingehendcre Deschiiftigung mit den zahlreichen noch unzureichend gelosten Aufgabenstellungen anregende Impulse fiir die Textgenerierung bringen wird, bleibt abzuwarten . Literatur [Allgayer et al. 89J J. Allgayer, K. Harbusch , A. Kobsa , C. Reddig , N. Reithinger, und D. Schmauks. XTRA: A Natural-Language Access System to Expert Systems. International Journal of Man-Machine Studies, 31:161-195, 1989. [Andre & Rist 90a] E. Andre und T. Rist. Synthesizing Illustrated Documents: A PlanBased Approach. In: Proceedings of InfoJapan '90, Vol. 2, S. 163-170, Tokyo, 1990. Auch als DFKI Research Report RR-91-06 . 17 [Andre & Rist 90b] E. Andre und T. Rist. Towards a Plan-Based Synthesis oj Illustrated Documents. In: Proc. of the 9 th ECAI, S. 25- 30, Stockholm, July 1990. Auch als DFKI Research Report RR-9 0-11. [Andre & Rist 93] E. Andre und T. Rist. The D esign of Illustrat ed Docu ments as a Planning Task. In: M. Maybury (Hrsg.), Intelligent Multimedia Interfaces, S. 94-116. AAAI Press, 1993. Auch als DFKI Research Report RR-92-45. [Andre et al. 87] E. Andre, T. Rist , und G. Herzog. Generierung natiirlichsprachlicher AufJerungen zur simultanen B eschreibung von zeitveriinderlichen Szenen. In: K. Morik (Hrsg.), GWAI-87: 11th German Workshop on Artificial Intelligence, S. 330-338. Berlin, Heidelberg: Springer, 1987. [Andre et al. 93a] E. Andre, W. Finkler, W. Graf, T. Rist , A. Schauder, und W. Wahlster. WIP: The Automatic Synthesis of Multimodal Presentations. In: M. Maybury (Hrsg.), Intelligent Multimedia Interfaces, S. 75- 93 . AAAI Press, 1993. Auch als DFKI Research Report RR-92-46. [Andre et al. 93b] E. Andre , W. Graf, J. Heinsohn, B. Nebel , H.-J. Profitlich , T. Rist , und W. Wahlster. PPP - Personalized Plan-Based Presenter. Document D-93-5, DFKI, Saarbriicken, 1993. [Arens et al. 91] Y. Arens , L. Miller, und N. Sondheimer. Presentation Design Using an Integrated Knowledge Base. In: J. W. Sullivan und S. W. Tyler (Hrsg .), Intelligent User Interfaces, S. 241 - 258. New York, NY: acm press, 1991. [Arens et al. 93a] Y. Arens, E. Hovy , und S. van Mulken. Structure and Rules in Automated Multimedia Presentation Planning. In: Proc. of the 13 th IJCAI, Chambery, France, 1993. [Arens et al. 93b] Y. Arens, E. Hovy, und M. Vossers. Describing the Presentational Knowledge Underlying Multimedia Instruction Manuals. In: M. Maybury (Hrsg.), Intelligent Multimedia Interfaces . AAAI Press, 1993. [Bandyopadhyay 90] S. Bandyopadhyay. Towards an Underslanding oj Coh erence in Multimodal Discourse. Technical Memo TM-90-01, Deutsches Forschungszentrum fiir Kiinstliche Intelligenz (DFKI), Saarbriicken, Germany, 1990. [Bertin 67] J. Bertin. Semiologie graphique. Paris: Mouton & Cie, 1967. [Bieger & Glock 86] G.R. Bieger und M.D. Glock. Comprehending Spatial and Contextual Information in Picture- Text Instructions. The Journal of Experimental Education, 45(4) :1 81- 188,1986. [Casner 91] S.M. Casner. A Task-Analytic Approach to the Automated Design oj Graphic Presentations. ACM Transactions on Graphics, 10(2):111 - 151, April 1991. 18 [Claassen 92] W. Claassen. Genemting Referring Expressions in a Multimodal Environment. In: R. Dale, E. Hovy, D. Rosner, und O. Stock (Hrsg.), Aspects of Automated Natural Language Generation: Proc. of the 6th International Workshop on Natural Language Generation, S. 247- 262. Berlin , Heidelberg: Springer, 1992. [Costabile et al. 92] M. F . Costabile, T. Catarci, und S. Levialdi (Hrsg.). Advanced Visual Interfaces (Proceedings of AVI '92, Rome, Italy). Singapore: World Scientific Press, 1992. [Dilley et al. 92] S. Dilley, J. Bateman, U. Thiel, und A. Tissen. Integrating Natural Language Components into Graphical Discourse. In: Proc. of the Third Conference on Applied Natural Language Processing, S. 72-79, Trento, Italy, 1992. [Feiner & McKeown 91] S.K. Feiner und K.R. McKeown. Automating the Generation of Coordinated Multimedia Explanations. IEEE Computer, 24(10):33- 41, 1991. [Feiner et al. 93] S. K. Feiner, D. J. Litman, K. R. McKeown, und R. J. Passonneau. Towards Coordinated Temporal Multimedia Presentations. In: M. Maybury (Hrsg.), Intelligent Multimedia Interfaces. AAAI Press, 1993. [Graf 92] W. Graf. Constraint-Based Graphical Layout of Multimodal Presentations. In: Costabile et al. [Costabile et al. 92]. Auch als DFKI Research Report RR-92-15. [Grimes 75] J.E. Grimes. The Thread of Discourse. The Hague, Paris: Mouton, 1975. [Herzog et al. 93] G. Herzog, W. Maass, und P. Wazinski. VITRA GUIDE: Utilisation du langage naturel et de representations gmphiques pour la desc1'iption d'itineraires. In: Images et Langages: Multimodalite et Modelisation Cognitive, Paris, April 1993. [Hobbs 78] J. Hobbs. Why is a discourse coherent? Technical Report 176, SRI International, Menlo Park, CA, 1978. [IIovy & Arens 91] E. H. Hovy und Y. Arens. Automatic Generation of Formatted Text. In: Proc. of AAAI-91, S. 92- 97, Anaheim, CA, 1991. [Hunter et al. 87] B. Hunter, A. Crismore, und P.D. Pearson. Visual Displays in Basal Readers and Social Studies Textbooks. In: D.M. Willows und H. A. Houghton (Hrsg.), The Psychology of Illustration, Basic Research, Band 2, S. 116- 135. New York, Berlin, Heidelberg: Springer, 1987. [Kerpedjiev 92] S. M. Kerpedj iev. Automatic Generation of Multimodal Weather Repods from Datasets. In: Proc. of the Third Conference on Applied Natural Language Processing, S. 48- 55, Trento, Italy, 1992. [Kjorup 78] S. Kjorup. Pictorial Speech Acts. Erkenntnis, 12:55- 71, 1978. 19 [Levin et al. 87] J.R. Levin, G.J. Anglin, und R. N. Carney. On Empirically Validating Functions of Pictures in Prose. In: D.M. Willows und H. A. Houghton (Hrsg.), The Psychology of Illustration, Basic Research, Band 1, S. 51-85. New York, Berlin, Heidelberg: Springer, 1987. [Mackinlay 86] J. Mackinlay. Automating the Design of Graphical Presentations of Relational Information. ACM Transactions on Graphics, 5(2):110- 141, April 1986. [Mann & Thompson 87] W. C. Mann und S. A. Thompson. Rhetorical Structure Theory: Description and Construction of Text Structures. In: G. Kempen (Hrsg.), Natural Language Generation: New Results in Artificial Intelligence, Psychology, and Linguistics, S. 85-95. Dordrecht: Martinus Nijhoff Publishers, 1987. [Marks 91] J. Marks. Discourse Coherence and the Consistent Design of Informational Graphics. In: Workshop Notes from the Ninth National Conference on Artificial Intelligence, S. 29-36, Anaheim, CA, 1991. [Maybury 89] M. T. Maybury. Enhancing Explanation Coherence with Rhetorical Strategies. In: Proc. of the 4 th EACL, S. 168-173, Manchester, UK, 1989. [Maybury 91] M. T. Maybury. Planning Multimedia Explanations Using Communicative Acts. In: Proc. of AAAI-91, S. 61-66, Anaheim, CA, 1991. [McKeown et al. 90] K. McKeown, M. Elhadad, Y. Fukumoto , J. Lim, C. Lombardi, J. Robin, und F. Smadja. Natural Language Generation in COMET. In: R. Dale, C. Mellish, und M. Zock (Hrsg.), Current Research in Natural Language Generation, S. 103-139. London: Academic Press, 1990. [McKeown et al. 92] K. R. McKeown, S. K. Feiner, J. Robin, D. D. Seligmann , und M. Tanenblatt. Generating Cross-References for Multimedia Explanation. In: Proc. of AAAI-92, S. 9- 16, San Jose, CA, 1992. [McKeown 85] K. R. McKeown. Text Generation. Cambridge, MA: Cambridge University Press, 1985. [Moore & Paris 89] J. D. Moore und C. L. Paris. Planning Text for Advisory Dialogu es. In: Proc. of the 27 th ACL, S. 203- 211, 1989. [Moore & Swartout 90] J. D. Moore und W. R. Swartout. Pointing: A Way Toward Explanation Dialogue. In: Proc. of AAAI-90, S. 457- 464, Boston, MA, 1990. [Neal & Shapiro 91] J. G. Neal und S. C. Shapiro. Intelligent Multi-Media Int erface Technology. In: J. W. Sullivan und S. W. Tyler (Hrsg.), Intelligent User Interfaces, S. 11-43. New York, NY: acm press, 1991. [Paris 91] C. 1. Paris. Generation and Explanation: Building an Explanation Facility for the Explainable Expert Systems Framework. In: C. 1. Paris, W. R. Swartout, und W. C. Mann (Hrsg.), Natural Language Generation in Artificial Intelligence and Computational Linguistics, S. 49- 82. Boston: Kluwer, 1991. 20 [Reiter et al. 92] E. Reiter, C. Mellish, und J. Levine. Automatic Genemtion of OnLine Documentation in the IDAS Project. In: Proc. of the Third Conference on Applied Natural Language Processing, S. 64-71, Trento, Italy, 1992. [Reithinger 92a] N. Reithinger. Eine pamllele Architektur zur inkrementellen Generierung multimodaler Dialogbeitriige. infix, 1992. [Reithinger 92b] N. Reithinger. The Performance of an Incremental Genemtion Component for Multi-Modal Dialog Contributions. In: R. Dale, E. Hovy, D. Rosner, und O. Stock (Hrsg.), Aspects of Automated Natural Language Generation: Proc. of the 6th International Workshop on Natural Language Generation, S. 263-276. Berlin, Heidelberg: Springer, 1992. [Rist & Andre 92a] T. Rist und E. Andre. From Presentation Tasks to Pictures: Towards a Computational Approach to Gmphics Design. In: Proc. of the 10 th ECAI, S. 764- 768, Wien, 1992. Auch als DFKI Research Report RR-92-44. [Rist & Andre 92b] T. Rist und E. Andre. Inco1'pomting Graphics Design and Realization into the Multimodal Presentation System WIP. In: Costabile et al. [Costabile et al. 92]. [Roth & Mattis 90] S. F. Roth und J. Mattis. Data Chamcterization for Intelligent Gmphics Presentation. In: Proc. of CHI-90, S. 193- 200, 1990. [Roth et al. 91] S. F. Roth, J. Mattis, und X. Mesnard. Gmphics and Natuml Language as Components of Automatic Explanation. In: J. W. Sullivan und S. W. Tyler (Hrsg.), Intelligent User Interfaces, S. 207- 239. New York, NY: acm press, 1991. [Scott & Sieckenius de Souza 90] D. R. Scott und C. Sieckenius de Souza. Getting the Message Across in RST-Based Text Genemtion. In: R. Dale, C. Mellish, und M. Zock (Hrsg.), Current Research in Natural Language Generation, S. 47- 73. London: Academic Press, 1990. [Searle 80] J.R. Searle. Speech Acts: An Essay in the Philosophy of Language. Cambridge, MA: Cambridge University Press, 1980. [Stock 91] O. Stock. Natuml Language and Explomtion of an Information Space: The ALFresco Intemctive System. In: Pl'oc. of the 12 th IJCAI, S. 972- 978, Sidney, Australia, 1991. [Vossel's 91] M. Vossers. To W1'ite or to Draw? Automatic Genemtion of Formatted Text and Line Drawings. Diplomarbeit, University of Nijmegen, Nijmegen, Niederlande, 1991. [Wahlster et al. 91] W. Wahlster, E. Andre, W. Graf, und T. Rist. Designing Illustmted Texts: How Language Production is Influenced by Gmphics Genemtion. In: Proc. of the 5 th EACL, S. 8- 14, Berlin, Germany, 1991. 21 [Wahlster et al. 92] W. Wahlster, E. Andre, S. Bandyopadhyay, W. Graf, und T. Rist. WIP: The Coordinated Generation of Multimodal Presentations from a Common Representation. In: A. Ortony, J. Slack, und O. Stock (Hrsg.), Communication from an Artificial Intelligence Perspective: Theoretical and Applied Issues, S. 121-144. Berlin, Heidelberg: Springer, 1992. Auch als DFKI Research Report RR-91-0S. [Wahlster et al. 93] W. Wahlster, E. · Andre, W. Finkler, H.-J. Profitlich, und T. Rist. Plan-Based Integration of Natural Language and Graphics Generation. AI Journal, 63:387-427, 1993. Auch als DFKI Research Report RR-93-02. [Wazinski 91] P. Wazinski. Objektlokalisation in graphischen Darstellungen. Diplomarbeit, Universitat des Saarlandes, Saarbriicken, 1991. [Wazinski 92] P. Wazinski. Generating Spatial Descriptions for Cross-Modal References. In: Proc. of the Third Conference on Applied Natural Language Processing, S. 5663, Trento, Italy, 1992. [Wilson et al. 92] M. Wilson, D. Sedlock, J.-L. Binot, und P. Falzon. An Architecture For Multimodal Dialogue. In: Proc. of the Second Vencona Workshop for Multimodal Dialogue, Vencona, Italy, 1992. 22 DFKI -BibliothekPF 2080 67608 Kaiserslautern Deutsches Forschungszentrum fOr KOnstliche Intelligenz GmbH FRO DFKI Publikationen DFKI Publications Die folgenden DFKI Veroffentlichungen sowie die aktuelle Liste von allen bisher erschienenen Publikationen konnen von der oben angegebenen Adresse oder per anonymem ftp von ftp.dfki.unikl.de (131.246.241.1 00) unter pub/Publications bezogen werden. Die Berichte werden, wenn nicht anders gekennzeichnet, kostenlos abgegeben. The following DFKI publications or the list of all published papers so far are obtainable from the above address or per anonymous ftp from ftp .dfki.uni-kl.de (131.246.241.100) under pub/Publications. The reports are distributed free of charge except if otherwise indicated. DFKI Research Reports RR-92-S4 Harold Boley: A Direkt Semantic Characterization of RELFUN RR-93-03 Franz Baader. Berhard Hol/under . Bernhard Nebel. Hans-Jurgen Profitlich. Enrico Franconi: An Empirical Analysis of Optimization Techniques for Terminological Representation Systems 30 pages 28 pages RR-92-SS John Nerbonne, Joachim Laubsch. Abdel Kader Diagne. Stephan Oepen : Natural Language Semantics and Compiler Technology 17 pages RR-93-04 Christoph Klauck . Johannes Schwagereit: GGD: Graph Grammar Developer for features in CAD/CAM 13 pages RR-92-S6 Armin Laux: Integrating a Modal Logic of Knowledge into Terminological Logics RR-93-05 Franz Baader. Klaus Schulz : Combination Techniques and Decision Problems for Disunification 34 pages 29 pages RR-92-58 Franz Baader. Bernhard Hol/under: How to Prefer More Specific Defaults in Terminological Default Logic RR-93-06 Hans-Jurgen Burckert. Bernhard Hol/under. Armin Laux: On Skolemization in Constrained Logics 31 pages RR-92-59 Karl Schlechta and David Makinson : On Principles and Problems of Defeasible Inheritance 13 pages RR-92-60 Karl Schlechta: Defaults, Preorder Semantics and Circumscription 19 pages RR-93-01 Bernhard Hol/under: An Alternative Proof Method for Possibilistic Logic and its Application to Terminological Logics 25 pages RR-93-02 Wolfgang Wahlster. Elisabeth Andre. Wolfgang Finkler. Hans-Jurgen Profitlich. Thomas Rist: Plan-based Integration of Natural Language and Graphics Generation 50 pages 40 pages RR-93-07 /1ans-lurgen Burckert. Bernhard Hol/under. Armin Laux: Concept Logics with Function Symbols 36 pages RR-93-08 Harold Boley. Philipp Hanschke. Knut Hinkelmann. Manfred Meyer: COLAB: A Hybrid Knowledge Representation and Compilation Laboratory 64 pages RR-93-09 Philipp Hanschke. lorg Wurtz : Satisfiability of the Smallest Binary Program 8 Seiten RR-93-10 Martin Buchheit. Francesco M . Donini. Andrea Schaerf: Decidable Reasoning in Terminological Knowledge Representation Systems 35 pages RR·93·11 RR·93-25 Bernhard Nebel. Hans-Juergen Buerckert: Reasoning about Temporal Relations: A Maximal Tractable Subclass of Allen's Interval Algebra Klaus Fischer, Norbert Kuhn: A DAI Approach to Modeling the Transportation Domain 28 pages RR·93·12 Pierre Sablayrolles: A Two-Level Semantics for French Expressions of Motion 51 pages RR·93·13 Franz Baader. Karl Schlechta: A Semantics for Open Normal Defaults via a Modified Preferential Approach 93 pages RR·93·26 Jorg P. Muller. Markus Pischel: The Agent Architecture InteRRaP: Concept and Application 99 pages RR·93·27 Hans-Ulrich Krieger: Derivation Without Lexical Rules 33 pages RR·93·28 25 pages Hans-Ulrich Krieger. John Nerbonne, Hannes Pirker: Feature-Based Allomorphy RR·93·14 8 pages Joachim Niehren. Andreas Podelski,RalfTreinen: Equational and Membership Constraints for Infinite Trees 33 pages RR·93·15 Frank Berger . Thomas Fehrle. Kristof KlOckner, Volker Schemes. Markus A. Thies. Wolfgang Wahlster: PLUS - Plan-based User Support Final Project Report RR·93·29 Armin Laux: Representing Belief in Multi-Agent Worlds viaTerminological Logics 35 pages RR·93·30 Stephen P . Spa ckman, Elizabeth A. Hinkelman: Corporate Agents 14 pages 33 pages RR·93·31 RR·93·16 Elizabeth A. Hinkelman. Stephen P . Spackman: Abductive Speech Act Recognition, Corporate Agents and the COSMA System Ge:t Smolka. Martin Henz. Jorg Wurtz: ObjectOnented Concurrent Constraint Programming in Oz 17 pages RR·93·17 Rolf Backofen: Regular Path Expressions in Feature Logic 37 pages RR·93·18 Klaus Schild: Terminological Cycles and the Propositional J.l-Calculus 32 pages RR·93·20 Franz Baader. Bernhard Hollunder: Embedding Defaults into Terminological Knowledge Representation Formalisms 34 pages RR·93·22 Manfred Meyer, Jorg Muller: Weak Looking-Ahead and its Application in Computer-Aided Process Planning 17 pages RR·93·23 Andreas Dengel. Oltmar Lutzy: Comparative Study of Connectionist Simulators 20 pages RR·93·24 Rainer Hoch. Andreas Dengel: Document Highlighting Message Classification in Printed Business Letters 17 pages 34 pages RR·93·32 David R. Traum, Elizabeth A. Hinkelman: Conversation Acts in Task-Oriented Spoken Dialogue 28 pages RR·93·33 Bernhard Nebel, Jana Koehler: Plan Reuse versus Plan Generation: A Theoretical and Empirical Analysis 33 pages RR·93·34 Wolfgang Wahlster: Verbmobil Translation of Face-To-Face Dialogs 10 pages RR·93·35 lIarold Boley. Franc;ois Bry, Ulrich Geske (Eds.): Neucre Entwicklungen der deklarativen KIProgrammierung - Proceedings 150 Sciten Note: This document is available only for a nominal charge of25 DM (or 15 US-$). RR·93·36 Michael M. Richter, Bernd Bachmann . Ansgar Bernardi . Christoph Klauck . Ralf Legleitner. Gabriele Schmidt: Von IDA bis IMCOD: Expcrtensystcme im CIM-Umfeld 13 Sciten RR-93-38 Stephan Baumann: Document Recognition of Printed Scores and Transformation into MIDI 24 pages RR-93-40 Francesco M. Domni. Maurizio Lenzerini. Daniele Nardi. Werner Null. Andrea Schaerf: Queries, Rules and Definitions as Epistemic Statements in Concept Languages 23 pages RR-93-41 Winfried H. Graf: LAYLAB: A Constraint-Based Layout Manager for Multimedia Presentations 9 pages RR-93-42 Hubert Comon. RalfTreinen: The First-Order Theory of Lexicographic Path Orderings is Undecidable 9 pages RR-93-43 M. Bauer. G. Paul: Logic-based Plan Recognition for Intelligent Help Systems 15 pages RR-93-44 Martin Buchheit. Manfred A. Jeusfeld. Werner NUll. Martin Staudt: Subsumption between Queries to Object-Oriented Databases 36 pages RR-93-4S DFKI Technical Memos TM-92-01 Lijuan Zhang: Entwurf und Implementierung eines Compilers zur Transformation von Werkstlickreprasentationen 34 Seiten TM-92-02 Achim Schupeta: Organizing Communication and Introspection in a Multi-Agent Blocksworld 32 pages TM-92-03 Mona Singh: A Cognitiv Analysis of Event Structure 21 pages TM-92-04 Jargen Maller. Jorg Maller. Markus Pischel. Ralf Scheidhauer: On the Representation of Temporal Knowledge 61 pages TM-92-0S Franz Schmalhofer. Christoph Globig. Jorg Thoben: The refilling of plans by a human expert 10 pages TM-92-06 Ouo Kahn. Franz Schmalhofer: Hierarchical skeletal plan refinement: Task- and inference structures 14 pages Rainer Hoch: On Virtual Partition ing of Large Dictionaries for Contextual Post-Processing to Improve Character Recognition Anne Kilger: Realization of Tree Adjoining Grammars with Unification 21 pages 27 pages RR-93-46 TM-93-01 Philipp Hanschke: A Declarative Integration of Terminological. Constraint-based. Data-driven, and Goal-directed Reasoning Otto Kahn. Andreas Birk: Reconstructive Integrated Explanation of Lathe Production Plans 81 pages RR-93-48 TM-92-08 20 pages TM-93-02 Franz Baader. Martin Buchheit. Bernhard Hol/under: Cardinality Restrictions on Concepts Pierre Sablayrolles. Achim Schupeta: Conlfict Resolving Negotiation for COoperative Schedule Management 20 pages 21 pages RR-94-01 TM-93-03 Elisabeth Andre. Thomas Ris/: Multimedia Presentations: The Support of Passive and Active Viewing lIarold Boley. Ulrich Buhrmann. Christof Kremer: Konzeption einer deklarativen Wissensbasis Uber recyc1ingrelevante Materialien 15 pages 11 pages RR-94-02 TM-93-04 Elisabeth Andre. Thomas Rist: Von Textgeneratoren zu IntellimediaPrtisentationssystemen Hans-GUnther Hein: Propagation Techniques in W AM-based Architectures - The FIDO-III Approach 22 pages 105 pages RR-94-0S TM-93-0S Franz Schmalhofer. J.Stuart Aitken. Lyle E. Bourne jr.: Beyond the Knowledge Level: Descriptions of Rational Behavior for Sharing and Reuse Michael Sintek: Indexing PROLOG Procedures into DAGs by Heuristic Classification 81 pages 64 pages OFKI Oocuments 0-92-28 Klaus-Peter Gores. Rainer Bieisinger: Ein Modell zur Reprasentation von Nachrichtentypen 56 Seiten 0-93-01 Philipp Hanschke. Thom Fruhwirth: Terminological Reasoning with Constraint Handling Rules 12 pages 0-93-02 Gabriele Schmidt. Frank Peters. Gernod Laufkotter: User Manual of COKAM+ 23 pages 0-93-03 Stephan Busemann. Karin Harbusch(Eds.): DFKI Workshop on Natural Language Systems: Reusability and Modularity - Proceedings 74 pages 0-93-04 DFKI Wissenschaftlich-Technischer Jahresbericht 1992 194 Seiten 0-93-11 Knutllinkelmann. Armin Laux (Eds.): DFKI Workshop on Knowledge Representation Techniques - Proceedings 88 pages 0-93-12 Harold Boley. Klaus Elsbernd. Michael Herfert. Michael Sintek. Werner Stein : RELFUN Guide: Programming with Relations and Functions Made Easy 86 pages 0-93-14 Manfred Meyer (Ed.) : Constraint Processing Proceedings of the International Workshop at CSAM'93, July 20-21,1993 264 pages Note: This document is available only for a nominal charge of 25 DM (or 15 US-$). 0-93-15 Robert Laux: Untersuchung maschineller Lernverfahren und heuristischer Methoden im Hinblick auf deren Kombination zur Unterstiitzung eines Chart-Parsers 86 Seitcn 0-93-05 Elisabeth Andre. Winfried Graf. lochen Heinsohn. Bernhard Nebel. Hans-lurgen Profitlich. Thomas Rist. Wolfgang Wahlster: PPP: Personalized Plan-Based Presenter 0-93-16 Bernd Bachmann . Ansgar Bernardi. Christoph Klauck. Gabriele Schmidt: Design & KI 70 pages 0-93-20 Bernhard Herbig: Eine homogene Implementierungsebene filr einen hybriden Wissensreprasentationsformalismus 0-93-06 lurgen Muller (Hrsg.): Beitrage zum Griindungsworkshop der Fachgruppe Verteilte Kiinstliche Intelligenz, Saarbriicken, 29. 30. April 1993 235 Seiten Note: This document is available only for a nominal charge of 25 DM (or 15 US-$). 0-93-07 Klaus-Peter Gores. Rainer Bieisinger: Ein erwartungsgesteuerter Koordinator zur partiellen Textanalyse 53 Seiten 74 Seitcn 97 Scitcn 0-93-21 Dennis Drollinger: Intelligentes Backtracking in Inferenzsystemen am Beispiel Terminologischer Logiken 53 Seiten D-93-22 Andreas Abecker: Implementierung graphischer Benutzungsobcrflachen mit TcJ(Tk und Common Lisp 44 Seitcn 0-93-08 Thomas Kieninger. Rainer Hoch: Ein Generator mit Anfragesystem fUr strukturierte Worterbiicher zur Unterstiitzung von Texterkennung und Textanalyse 0-93-24 Brigille Krenn. Martin Volk : DiTo-Datenbank: Datendokumentation zu Funktionsverbgefiigen und Relativsatzen 125 Seiten 66 Scitcn 0-93-09 Hans-Ulrich Krieger. Ulrich Schafer: TDL ExtraLight User's Guide 0-93-25 lIans-lurgen Burckert . Werner Null (Eds.): Modeling Epistemic Propositions 35 pages 0-93-10 Elizabeth Hinkelman. Markus Vonerden.ChrislOph lung : Natural Language Software Registry (Second Edition) 174 pages 118 pages Note: This document is available only for a nominal charge of 25 DM (or 15 US-S) . 0-93-26 Frank Peters: Unterstiitzung des Experten bei der Formalisierung von Textwissen INFOCOM - Eine intcraktive Forrnalisierungskomponente 58 Seiten Von Textgeneratoren zu Intellimedia-Prasentationssystemen Elisabeth Andre, Thomas Rist RR-94-02 Research Report