Senior Research and Teaching Associate at the Institute of Mass Communication and Media, University of Zurich. Supervisors: Prof. Dr. Werner Wirth Phone: +41 (0)44 635 20 78 Address: IPMZ - Institut für Publizistikwissenschaft und Medienforschung Universität Zürich Andreasstrasse 15 CH-8050 Zürich
Research on populism has primarily traced the phenomenon within party manifestoes or mass media c... more Research on populism has primarily traced the phenomenon within party manifestoes or mass media content. Research on its manifestation within people’s heads has played a minor role. Yet, as populist parties are undoubtedly on the rise it seems of high importance to investigate on political attitudes that can be related to voting for these parties. The few studies that have to date endeavored to measure populist attitudes in the public have treated the concept as a unidimensional construct (e.g., Akkerman, Mudde & Zaslove, 2013). However, theoretically, populism has been defined as a political ideology set together by three different political ideas or sub-dimensions: anti-elitism attitudes, a preference for popular sovereignty, and a belief in the homogeneous and virtuous of the people. Hence, in order to trace the complete phenomenon, we propose to conceptualize populist attitudes as a latent higher-order construct with three distinct first-order dimensions. Following this approach...
Supplemental material, Online_Appendix for The Effects of Right-Wing Populist Communication on Em... more Supplemental material, Online_Appendix for The Effects of Right-Wing Populist Communication on Emotions and Cognitions toward Immigrants by Dominique S. Wirz, Martin Wettstein, Anne Schulz, Philipp Müller, Christian Schemer, Nicole Ernst, Frank Esser and Werner Wirth in The International Journal of Press/Politics
Codebook for a quantitative content analysis of populist communication in news media, party manif... more Codebook for a quantitative content analysis of populist communication in news media, party manifestos and social media.
Als Sonderfall eines Mediennutzers ist der in manuellen Inhaltsanalysen eingesetzte Codierer ein ... more Als Sonderfall eines Mediennutzers ist der in manuellen Inhaltsanalysen eingesetzte Codierer ein Leser oder Zuschauer, dessen Aufgabe es ist, Medieninhalte systematisch zu verarbeiten (Wirth, 2001). Im Idealfall halt sich der Codierer dabei eng an die Vorgaben der Codieranweisungen und lasst Interpretationen nur soweit zu, wie dies fur das Textverstandnis erforderlich ist. Diese Wunschvorstellung eines rein kognitiv und systematisch ablaufenden Codierprozesses scheitert jedoch moglicherweise an der Realitat, in der wir bei der Analyse von Medieninhalten auf Studierende angewiesen sind, die sich teilweise ohne starke intrinsische Motivation als Hilfskrafte verdingen.
"Es gehört zu den Standardprinzipien der Inhaltsanalyse, auf Codeshe... more "Es gehört zu den Standardprinzipien der Inhaltsanalyse, auf Codesheets für die Codierung bestimmter Variablen Platz für maximal meist drei Mehrfachcodierungen vorzusehen. Dahinter steht die Vermutung, dass mit der Begrenzung auf drei Akteure, Themen, Bewertungen etc. pro Artikel nur ein minimaler Informationsverlust verknüpft und kaum mit Verzerrungen bei den Ergebnissen zu rechnen ist. Allerdings gibt es bislang keine stringente und systematische Überprüfung dieser zumeist impliziten Annahmen. Der Beitrag beschreibt zunächst die Rahmenbedingungen, in denen Mehrfachcodierungen relevant werden und belegt dann erstmals anhand der Daten aus einer aktuellen und umfangreichen komparativen Inhaltsanalyse auf drei Analyseebenen, dass - unter Umständen – mit einem erheblichen Datenverlust und mit Ergebnisverzerrungen gerechnet werden muss."
This working paper approaches the study of populism from an explicit political communication pers... more This working paper approaches the study of populism from an explicit political communication perspective and thereby adds a new and original dimension to the existing literature. It first reviews the existing approaches to populism and then combines them within an integrative framework for populism research. This framework understands populism as ideology, strategy, or style and arranges them in a way that permits the empirical analysis of populism in political communication, media and the attitudes of the people. The framework serves as a guide for developing straightforward instruments to identify and quantitatively measure populism in the self-presentation of actors, in news media and other forms of communication, as well as in public opinion. By virtue of the broadness of the framework, it is applicable to longitudinal and cross-cultural analyses of populism, as well as the investigation of the flow of populist ideology among political actors, the media, and the public. It takes...
Die manuelle Inhaltsanalyse ist trotz der fortschreitenden Digitalisierung auch heute noch die ze... more Die manuelle Inhaltsanalyse ist trotz der fortschreitenden Digitalisierung auch heute noch die zentrale Erhebungsmethode in der Kommunikationswissenschaft. Obschon automatische Verfahren gunstiger und effizienter waren, wird nur ungern auf die Lesekompetenz und Verlasslichkeit menschlicher Codierer verzichtet. Wahrend diese Entscheidung in vielen Fallen durchaus Sinn macht, muss sie jedoch nicht bedeuten, dass auf die Unterstutzung durch Computer verzichtet werden muss. In dieser Dissertation wird der Forschungsprozess einer Inhaltsanalyse systematisch aufgearbeitet, um aufzuzeigen, an welchen Punkten geeignete automatische Verfahren auch in einer manuellen Inhaltsanalyse gewinnbringend eingesetzt werden konnen. Von der Planung uber die Textakquise, Codebucherstellung und Administration der manuellen Erhebung bis hin zur Aufbereitung der gewonnenen Daten, gibt es Moglichkeiten einer Computerunterstutzung. Auch wenn die meisten Codierentscheidungen dabei noch immer von Menschen getro...
In various branches of the social sciences, agent-based models (ABMs) have long been applied to e... more In various branches of the social sciences, agent-based models (ABMs) have long been applied to enhance researchers’ understanding of complex systems and processes. However, in communication science, this approach is rarely used. In this article, we argue that ABMs have the potential to advance communication research in general, and computational communication science (CCS) in particular, by helping scholars address two major gaps. First, by generating emergent global phenomena from individual interactions, ABMs make it possible to explicitly link micro and macro perspectives in communication research. Second, by formalizing theories, ABMs offer mechanism-based explanations for observed empirical patterns in data. To familiarize more communication scholars with this approach, this article provides a systematic overview of the potentials, applications, and challenges of ABMs in communication science. Special attention is paid to the criteria of reliability and validity.
In the analysis of communication events such as elections, public debates, business communication... more In the analysis of communication events such as elections, public debates, business communication or campaigns, contingency analyses have become a widely used tool in recent years. By means of analysis of co-occurrence patterns of words, objects or broader semantic elements, the contents of complex communication events may be summarized to few sub-issues, positions, or journalistic frames. In most cases these analyses use multidimensional scaling techniques to reduce the complexity of large contingency tables. These techniques, however, require decisions by the researcher at critical points. This renders explorative and inductive analyses almost impossible. In this paper a method for explorative cluster analysis is presented which is specifically designed to reduce the complexity of large consistency tables and to exclude items adding noise to the overall pattern. As an example, the technique is used to detect slight changes in the media framing of unemployment in Great Britain in a...
Right-wing populism has a long tradition in Switzerland. Nevertheless, only little is known about... more Right-wing populism has a long tradition in Switzerland. Nevertheless, only little is known about how populist messages in the media contribute to the success of the Swiss People’s Party (SVP) and to the acceptance of the party’s anti-immigration policies. In this study, we combine data from a large media content analysis (including newspapers and TV news shows) with data from a panel-survey in order to address this research gap. Thereby we differentiate between effects driven by the content and the form of right-wing populist communication. While right-wing populist content depicts immigrants and the political elite as a threat to the Swiss people, populist style evokes the sense of a crisis by emotionalizing and dramatizing the message. Populist style is therefore assumed to increase the persuasiveness of populist claims. The results of this study suggest that this is the case only for some voters, while it backfires for others.
International Journal of Public Opinion Research, 2019
The rising voter support for populist parties in Western Democracies in recent years has incited ... more The rising voter support for populist parties in Western Democracies in recent years has incited academic interest in populist voters and attitudes connected to the voting propensity of populist actors. In line of this research, numerous scales to measure populist attitudes among voters have been proposed. In most cases, however, the measurement of populist attitudes was tailored to specific countries and its applicability to cross-national research on populism was not assessed. This article uses a cross-national survey to assess the measurement invariance, reliability, and validity of a deductively developed inventory for populist attitudes. The findings suggest that there is a common attitudinal base to left- and right-wing populism which may be measured reliably and invariantly across nations.
Linkage analyses use data from panel surveys and content analyses to assess media effects under f... more Linkage analyses use data from panel surveys and content analyses to assess media effects under field conditions and are able to close the gap between experimental and survey-based media effects research. Results from current studies and simulations indicate, however, that these studies systematically under-estimate real media effects as they aggregate measurement errors and reduce the complexity of media content. In response to these issues, we propose a new method for linkage analysis which applies agent-based simulations to directly assess short-term media effects using empirical data as guideposts.Results from an example study modeling opinion dynamics in the run-up of a Swiss referendum show that this method outperforms traditional regression-based linkage analyses in detail and explanatory power. In spite of the time-consuming modeling and computation process, this approach is a promising tool to study individual media effects under field conditions.
Research on populism has primarily traced the phenomenon within party manifestoes or mass media c... more Research on populism has primarily traced the phenomenon within party manifestoes or mass media content. Research on its manifestation within people’s heads has played a minor role. Yet, as populist parties are undoubtedly on the rise it seems of high importance to investigate on political attitudes that can be related to voting for these parties. The few studies that have to date endeavored to measure populist attitudes in the public have treated the concept as a unidimensional construct (e.g., Akkerman, Mudde & Zaslove, 2013). However, theoretically, populism has been defined as a political ideology set together by three different political ideas or sub-dimensions: anti-elitism attitudes, a preference for popular sovereignty, and a belief in the homogeneous and virtuous of the people. Hence, in order to trace the complete phenomenon, we propose to conceptualize populist attitudes as a latent higher-order construct with three distinct first-order dimensions. Following this approach...
Supplemental material, Online_Appendix for The Effects of Right-Wing Populist Communication on Em... more Supplemental material, Online_Appendix for The Effects of Right-Wing Populist Communication on Emotions and Cognitions toward Immigrants by Dominique S. Wirz, Martin Wettstein, Anne Schulz, Philipp Müller, Christian Schemer, Nicole Ernst, Frank Esser and Werner Wirth in The International Journal of Press/Politics
Codebook for a quantitative content analysis of populist communication in news media, party manif... more Codebook for a quantitative content analysis of populist communication in news media, party manifestos and social media.
Als Sonderfall eines Mediennutzers ist der in manuellen Inhaltsanalysen eingesetzte Codierer ein ... more Als Sonderfall eines Mediennutzers ist der in manuellen Inhaltsanalysen eingesetzte Codierer ein Leser oder Zuschauer, dessen Aufgabe es ist, Medieninhalte systematisch zu verarbeiten (Wirth, 2001). Im Idealfall halt sich der Codierer dabei eng an die Vorgaben der Codieranweisungen und lasst Interpretationen nur soweit zu, wie dies fur das Textverstandnis erforderlich ist. Diese Wunschvorstellung eines rein kognitiv und systematisch ablaufenden Codierprozesses scheitert jedoch moglicherweise an der Realitat, in der wir bei der Analyse von Medieninhalten auf Studierende angewiesen sind, die sich teilweise ohne starke intrinsische Motivation als Hilfskrafte verdingen.
"Es gehört zu den Standardprinzipien der Inhaltsanalyse, auf Codeshe... more "Es gehört zu den Standardprinzipien der Inhaltsanalyse, auf Codesheets für die Codierung bestimmter Variablen Platz für maximal meist drei Mehrfachcodierungen vorzusehen. Dahinter steht die Vermutung, dass mit der Begrenzung auf drei Akteure, Themen, Bewertungen etc. pro Artikel nur ein minimaler Informationsverlust verknüpft und kaum mit Verzerrungen bei den Ergebnissen zu rechnen ist. Allerdings gibt es bislang keine stringente und systematische Überprüfung dieser zumeist impliziten Annahmen. Der Beitrag beschreibt zunächst die Rahmenbedingungen, in denen Mehrfachcodierungen relevant werden und belegt dann erstmals anhand der Daten aus einer aktuellen und umfangreichen komparativen Inhaltsanalyse auf drei Analyseebenen, dass - unter Umständen – mit einem erheblichen Datenverlust und mit Ergebnisverzerrungen gerechnet werden muss."
This working paper approaches the study of populism from an explicit political communication pers... more This working paper approaches the study of populism from an explicit political communication perspective and thereby adds a new and original dimension to the existing literature. It first reviews the existing approaches to populism and then combines them within an integrative framework for populism research. This framework understands populism as ideology, strategy, or style and arranges them in a way that permits the empirical analysis of populism in political communication, media and the attitudes of the people. The framework serves as a guide for developing straightforward instruments to identify and quantitatively measure populism in the self-presentation of actors, in news media and other forms of communication, as well as in public opinion. By virtue of the broadness of the framework, it is applicable to longitudinal and cross-cultural analyses of populism, as well as the investigation of the flow of populist ideology among political actors, the media, and the public. It takes...
Die manuelle Inhaltsanalyse ist trotz der fortschreitenden Digitalisierung auch heute noch die ze... more Die manuelle Inhaltsanalyse ist trotz der fortschreitenden Digitalisierung auch heute noch die zentrale Erhebungsmethode in der Kommunikationswissenschaft. Obschon automatische Verfahren gunstiger und effizienter waren, wird nur ungern auf die Lesekompetenz und Verlasslichkeit menschlicher Codierer verzichtet. Wahrend diese Entscheidung in vielen Fallen durchaus Sinn macht, muss sie jedoch nicht bedeuten, dass auf die Unterstutzung durch Computer verzichtet werden muss. In dieser Dissertation wird der Forschungsprozess einer Inhaltsanalyse systematisch aufgearbeitet, um aufzuzeigen, an welchen Punkten geeignete automatische Verfahren auch in einer manuellen Inhaltsanalyse gewinnbringend eingesetzt werden konnen. Von der Planung uber die Textakquise, Codebucherstellung und Administration der manuellen Erhebung bis hin zur Aufbereitung der gewonnenen Daten, gibt es Moglichkeiten einer Computerunterstutzung. Auch wenn die meisten Codierentscheidungen dabei noch immer von Menschen getro...
In various branches of the social sciences, agent-based models (ABMs) have long been applied to e... more In various branches of the social sciences, agent-based models (ABMs) have long been applied to enhance researchers’ understanding of complex systems and processes. However, in communication science, this approach is rarely used. In this article, we argue that ABMs have the potential to advance communication research in general, and computational communication science (CCS) in particular, by helping scholars address two major gaps. First, by generating emergent global phenomena from individual interactions, ABMs make it possible to explicitly link micro and macro perspectives in communication research. Second, by formalizing theories, ABMs offer mechanism-based explanations for observed empirical patterns in data. To familiarize more communication scholars with this approach, this article provides a systematic overview of the potentials, applications, and challenges of ABMs in communication science. Special attention is paid to the criteria of reliability and validity.
In the analysis of communication events such as elections, public debates, business communication... more In the analysis of communication events such as elections, public debates, business communication or campaigns, contingency analyses have become a widely used tool in recent years. By means of analysis of co-occurrence patterns of words, objects or broader semantic elements, the contents of complex communication events may be summarized to few sub-issues, positions, or journalistic frames. In most cases these analyses use multidimensional scaling techniques to reduce the complexity of large contingency tables. These techniques, however, require decisions by the researcher at critical points. This renders explorative and inductive analyses almost impossible. In this paper a method for explorative cluster analysis is presented which is specifically designed to reduce the complexity of large consistency tables and to exclude items adding noise to the overall pattern. As an example, the technique is used to detect slight changes in the media framing of unemployment in Great Britain in a...
Right-wing populism has a long tradition in Switzerland. Nevertheless, only little is known about... more Right-wing populism has a long tradition in Switzerland. Nevertheless, only little is known about how populist messages in the media contribute to the success of the Swiss People’s Party (SVP) and to the acceptance of the party’s anti-immigration policies. In this study, we combine data from a large media content analysis (including newspapers and TV news shows) with data from a panel-survey in order to address this research gap. Thereby we differentiate between effects driven by the content and the form of right-wing populist communication. While right-wing populist content depicts immigrants and the political elite as a threat to the Swiss people, populist style evokes the sense of a crisis by emotionalizing and dramatizing the message. Populist style is therefore assumed to increase the persuasiveness of populist claims. The results of this study suggest that this is the case only for some voters, while it backfires for others.
International Journal of Public Opinion Research, 2019
The rising voter support for populist parties in Western Democracies in recent years has incited ... more The rising voter support for populist parties in Western Democracies in recent years has incited academic interest in populist voters and attitudes connected to the voting propensity of populist actors. In line of this research, numerous scales to measure populist attitudes among voters have been proposed. In most cases, however, the measurement of populist attitudes was tailored to specific countries and its applicability to cross-national research on populism was not assessed. This article uses a cross-national survey to assess the measurement invariance, reliability, and validity of a deductively developed inventory for populist attitudes. The findings suggest that there is a common attitudinal base to left- and right-wing populism which may be measured reliably and invariantly across nations.
Linkage analyses use data from panel surveys and content analyses to assess media effects under f... more Linkage analyses use data from panel surveys and content analyses to assess media effects under field conditions and are able to close the gap between experimental and survey-based media effects research. Results from current studies and simulations indicate, however, that these studies systematically under-estimate real media effects as they aggregate measurement errors and reduce the complexity of media content. In response to these issues, we propose a new method for linkage analysis which applies agent-based simulations to directly assess short-term media effects using empirical data as guideposts.Results from an example study modeling opinion dynamics in the run-up of a Swiss referendum show that this method outperforms traditional regression-based linkage analyses in detail and explanatory power. In spite of the time-consuming modeling and computation process, this approach is a promising tool to study individual media effects under field conditions.
Eine der zentralen Fragestellungen in der Kommunikationswissenschaftlichen Forschung ist: "Wie be... more Eine der zentralen Fragestellungen in der Kommunikationswissenschaftlichen Forschung ist: "Wie berichten die Medien über das Thema XY?". Diese Frage ist sowohl direkt für die Erforschung der Medienrealität, als auch indirekt für die Medienwirkungsforschung (in Zusammenhang mit Befra-gungsdaten), für die politische Kommunikatorforschung (im Zusammenhang mit Parteiprogrammen) und für die Journalismusforschung (in komparativer oder langfristiger Perspektive) relevant. Gerade in Fällen, in welchen der Medieninhalt gemeinsam mit Daten aus anderen Quellen analysiert werden soll, werden für die Beantwortung dieser Frage mit Vorteil quantitative Inhaltsanalysen durchgeführt.
Im Fall von klar abgegrenzten Themen sowie Wahlkampf-, Unternehmens-, oder Abstimmungs- Berichterstattung lässt sich der Medieninhalt durch standardisierte Verfahren der quantitativen Inhaltsanalyse verhältnismässig leicht erheben. In diesen Fällen sind sowohl der Zeitraum als auch die zentralen Argumente und Unterthemen bereits zu Beginn der Berichterstattung bekannt, was die Stichprobenziehung und die Entwicklung eines Messinstruments deutlich vereinfacht.
Bei öffentlichen Debatten über umfassende Themen wie Umweltschutz, Arbeitslosigkeit, Immi-gration oder europäische Integration, welche über einen längeren Zeitraum untersucht werden sollen, gestaltet sich jedoch sowohl die Vorbereitung einer Inhaltsanalyse, als auch die Erhebung und anschliessende Auswertung schwieriger. Hier treten an verschiedenen Stellen Probleme auf, welche den Forscher vor methodische Herausforderungen stellen. In diesem Vortrag sollen zunächst diese Herausforderungen erörtert werden, um anschliessend ein umfassendes und aktuelles Methoden-inventar vorzustellen, mit welchem ihnen begegnet werden kann. Hierzu werden aktuelle Studien vorgestellt, in welchen diese - meist computergestützten - Methoden bereits angewandt wurden.
Most online news media today enable and encourage their readers to comment on published content a... more Most online news media today enable and encourage their readers to comment on published content and discuss covered issues. Spontaneous discussions on these platforms among anonymous and intrinsically involved citizens have a high potential for public deliberation. This potential, however, may be lowered in practice by the behavior of the discussants. As civility, respect, and sincerity are generally considered prerequisites for successful deliberation, destructive online behavior such as flaming and trolling are expected to be detrimental to deliberative discussions. In this study we conduct an extensive and fine-grained content analysis of deliberative quality in comment threads on the two major Swiss news websites to investigate the influence of destructive comments in detail. Findings suggest that incivility and insincerity are less harmful to the quality of debates than deliberative theory would suggest. Contrary to expectations, personal attacks are found to increase the deliberative quality of subsequent comments.
In the analysis of communication events such as elections, public debates, business communication... more In the analysis of communication events such as elections, public debates, business communication or campaigns, contingency analyses have become a widely used tool in recent years. By means of analysis of co-occurrence patterns of words, objects or broader semantic elements, the contents of complex communication events may be summarized to few sub-issues (Authors 2012), positions (Miller & Riechert 2001), and journalistic frames (Crawley 2007; Matthes & Kohring 2008).
A wide range of statistical methods have been used to investigate the contingency of semantic elements in the past and have led to valuable insights to the structure of communication events. In most cases, semantic network analyses (e.g.: Kim, 2011; Schultz et al., 2012) or multi-dimensional scaling (MDS) techniques such as exploratory factor analysis (EFA; e.g.: Crawley, 2007), cluster analysis (CA; e.g.: Matthes & Kohring, 2008), or smallest space analysis (SSA; e.g.: Miller & Riechert, 2001) are used to reduce the complexity of large contingency tables and thus to reach a small number of sub-issues, positions or frames.
When applying large tables of count data with high numbers of empty cells and highly variant marginal sums to these techniques, however, the results may lack robustness and precision due to violations of the basic assumptions of underlying statistical procedures. In addition, when using CA or EFA, the researcher has to determine the number of clusters or factors to be extracted and to manually exclude items reducing the quality of the solution. With graphic procedures such as SSA or network analysis, on the other hand, the researcher has to interpret the solution based on his or her prior knowledge of the communication event.
Some of these problems could successfully be solved by using latent class analysis (LCA) to achieve a statistically determined number of latent constructs and allow for correlations and cross-loadings in the solution (Matthes, 2007). There is, however, a drawback to this method as only a very limited number of elements (N<30) may be included in the analysis with current computers. This would not be sufficient for contingency analyses of keywords in a debate.
In this paper we propose a novel method of explorative hierarchical cluster analysis (EHCA) which is designed to assist in the analysis of very large contingency tables. Elements adding noise to the solution or reducing the homogeneity of clusters are discarded automatically and the number of clusters to be extracted is not to be predetermined. The method is thus entirely inductive and operates in a comparable fashion on different datasets which makes it a useful tool for comparative or longitudinal analyses.
For the purpose of illustration the method will be used on content analysis data on the framing of unemployment in Great Britain in autumn 2010 . In this example EHCA is used to examine the framing of unemployment in Great Britain before and after the revelation of the spending review on October 19. In this example, the behavior of the method in the face of changing (i.e. domestic labor politics) and persisting (i.e. global unemployment) patterns of co-occurrence may be demonstrated. The reliability and exclusiveness of the clusters are investigated.
International vergleichende (komparative) Inhaltsanalysen nehmen in der Kommunikationswissenschaf... more International vergleichende (komparative) Inhaltsanalysen nehmen in der Kommunikationswissenschaft eine bedeutende Rolle ein (z.B. in der Wahlforschung Semetko et al., 1991). Allerdings steht die komparative Inhaltsanalyse vor dem gleichen Problem wie auch die vergleichende Umfrageforschung: Wie kann sichergestellt werden, dass die Befunde zwischen verschiedenen Ländern (oder auch Zeiträumen) überhaupt vergleichbar sind? Im Rahmen der (zunehmend interdisziplinären) komparativen Sozialforschung ist dies als das Problem der Äquivalenz bekannt (vgl. für einen aktuellen interdisziplinären Überblick Davidof et al., 2011). Hier gibt es trotz einiger begrifflicher Unschärfe (vgl. Johnson, 1998) inzwischen so etwas wie einen Quasi-Standard, der die kritische Diskussion von verschiedenen Aspekten der Äquivalenz und insbesondere die Berechnung der Messäquivalenz mit seinen drei Unterformen konfiguraler, metrischer und skalarer Äquivalenz vorsieht (vgl. Baumgartner & Steenkamp, 1998). Auch in der Kommunikationswissenschaft beginnen Verfahren zur Sicherstellung der Äquivalenz Fuβ zu fassen (Kühne et al. 2011, Wirth/Kolb, 2004). Dies gilt bislang allerdings ausschlieβlich für die Umfrageforschung, für die Inhaltsanalyse gibt es bislang allenfalls leitfadenähnliche Vorschläge (vgl. Rössler, 2011, Wirth/Kolb, 2004). Bislang ist noch kein Verfahren bekannt, mit dem inhaltsanalytische Messäquivalenz überprüft werden kann. Der Mangel ist einerseits nachvollziehbar, da die Inhaltsanalyse forschungslogisch und messtheoretisch anderen Voraussetzungen als die Umfrageforschung folgt. Andererseits muss dies aber auch kritisiert werden, da die inhaltsanalytischen Besonderheiten sich – wie zu zeigen sein wird – kein grundsätzliches Hindernis darstellen und darüber hinaus für die komparative Inhaltsanalyse ebenso wie für die komparative Umfrageforschung der Nachweis der Vergleichbarkeit erbracht werden muss. Ziel des Beitrages ist es zu beleuchten, wie verschiedene Ebenen der Äquivalenz (inhaltliche Äquivalenz, Indikatoräquivalenz und Konstruktäquivalenz) im Rahmen von komparativen Inhaltsanalysen sichergestellt werden können. Zu diesem Zweck werden zunächst knapp bestehende Konzepte der Äquivalenz erläutert, die sich zumindest für die Umfrageforschung als Quasi-Standard anbieten, so dann die Übertragbarkeit dieser Konzepte auf die komparative Inhaltsanalyse diskutiert, wobei auf wichtige Besonderheiten der Inhaltsanalyse eingegangen wird. Damit bietet der Beitrag erstmals einen Vorschlag zur Äquivalenzprüfung für die komparative Inhaltsanalyse. Im Vortrag wird die Fruchtbarkeit des Ansatzes an empirischen Beispielen demonstriert. Zuletzt werden Anwendungsmöglichkeiten und ihre Grenzen diskutiert. [...]
Im Vortrag wird eine in computergestützten Inhaltsanalysen anwendbare Methode vorgestellt, den Da... more Im Vortrag wird eine in computergestützten Inhaltsanalysen anwendbare Methode vorgestellt, den Datenerhebungsprozess detailliert zu erfassen und vor dem Hintergrund der Leistung der Codierer auszuwerten. Dabei werden sowohl objektive Bewertungskriterien der Codierleistung, als auch die subjektive Einschätzung des Codierers und Selbstaussagen über den Codierprozess verwendet, um Fragen über Einflüsse auf die Effizienz und Qualität der Codierung zu klären. Der eigentliche Erhebungsprozess (das Codieren) ist nur sehr begrenzt beobachtbar und kontrollierbar, er bleibt vielfach eine "Black Box" (Wirth 2001). Trotz der Bedeutung der Inhaltsanalyse als Methode für die Kommunikationswissenschaft liegt ein solches Instrument bislang nicht vor. Im Vortrag werden beispielhaft erste Analysen präsentiert, welche mit Hilfe dieses Verfahrens durchgeführt wurden und wertvolle Erkenntnisse über den Codierprozess liefern. IN-TOUCH ("Integrated Technique for Observing and Understanding Coder Habits") stellt eine integrierte Technik dar, mit deren Hilfe der Codierprozess detailliert erfasst und analysiert werden kann. IN-TOUCH kann immer dann eingesetzt werden, wenn die Codierer die Daten direkt über eine Datenbankabfrage eingeben. Da die Abfrage nicht nur die eingegebenen Variablen des Codebuchs, sondern auch Datum, Uhrzeit und Dauer der Codierung speichert, können Daten über die Effizienz der Codierung und Hinweise über die Codierumstände direkt erhoben werden. Gleichzeitig wird nach Ende jedes Artikels der subjektive Eindruck des Codierers erfragt . Nach dem letzten bearbeiteten Artikel einer Codiersitzung werden die Codierer ausserdem nach Hintergrundgeräuschen, Störungen und Aktivitäten während der Pausen befragt. Sie werden darauf hingewiesen, dass ihre Antworten keine Auswirkungen auf die Bewertung ihrer Arbeit oder ihre Bezahlung haben, sondern dass diese Fragen lediglich für wissenschaftliche Zwecke verwendet werden. Reliabilitätstests werden ohne Wissen der Codierer unter die zu codierenden Texte gemischt und ergeben zeitgenaue Reliabilitätswerte. Durch die direkte Messung der Zeit, die subjektive Einschätzung der einzelnen Artikel und die ausführliche Befragung am Ende jeder Sitzung können die Umstände der Codierung jedes Artikels sowie jeder zusammenhängenden Codierphase nachvollzogen und vor dem Hintergrund der objektiv gemessenen Leistungen des Codierers analysiert werden. Im Vortrag werden Forschungsfragen, Hypothesen und Analysen detailliert besprochen. Es handelt sich um die ersten, beispielhaften Resultate, die mit Hilfe von IN-TOUCH erzielt wurden und dessen Nutzen veranschaulichen sollen. Auf weiterführende Analysemöglichkeiten wird im Vortrag ebenfalls hingewiesen. Ein Vorteil von IN-TOUCH ist auch dessen Portierbarkeit: Derzeit wird diese Methode auch in einem weiteren inhaltsanalytischen Projekt eingesetzt.
Der Einsatz von automatischen Verfahren zur Analyse von Texten erfreut sich seit Jahren wachsende... more Der Einsatz von automatischen Verfahren zur Analyse von Texten erfreut sich seit Jahren wachsender Beliebtheit in verschiedenen Wissenschaftszweigen. Nicht nur die Kommunikationswissenschaft, sondern auch andere Disziplinen wie die Politologie (Wüest et al. 2011, van Atteveldt, Kleinnijenhuis & Ruigrok, 2008) und Naturwissenschaften wie die Bioinformatik (Schneider, Clematide & Rinaldi, 2011) haben Textmining und automatische Inhaltsanalysen für sich entdeckt, um grosse Textmengen in kurzer Zeit nach Informationen zu durchsuchen. Gerade in der Kommunikationswissenschaft, welche sich sowohl der kritischen Rolle des Rezipienten als auch der Rolle unterschiedlicher Mediengattungen und journalistischer Stile beim Verständnis von Texten besonders bewusst ist, bestehen noch heute grosse Vorbehalte gegen die computergestützte Inhaltsanalyse. Insbesondere anzutreffen sind Vorbehalte, wonach automatische Verfahren aufgrund der Komplexität der menschlichen Sprache einen Text nie so gut verstehen werden wie ein Mensch (West, 2001) bzw. dass sie bei direkten Vergleichen mit menschlichen Codierern bei einer Inhaltsanalyse in Bezug auf die Validität deutlich unterlegen sind (Conway, 2006). Dennoch ist der entscheidende Vorteil automatischer Analyse von Texten, nämlich die Reduktion der Analysekosten durch eine äusserst schnelle und effiziente Codierung, nicht von der Hand zu weisen. Auch die wachsende Verfügbarkeit elektronischer Texte und die steigende Bedeutung von Online Medien und Sozialen Online Netzwerken mit originär digitalen Inhalten, sowie die rasante Entwicklung auf den Gebieten der Computerlinguistik (Roberts, 1989; Wüest et al. 2011) und Informationstechnologie erhöhen den Druck auf Inhaltsanalyse-Projekte, automatische Verfahren in Betracht zu ziehen. In diesem Vortrag sollen erstens die Vor- und Nachteile automatischer Inhaltsanalyse-Techniken aufgezeigt werden. Zweitens sollen aktuelle Ansätze zur Kombination von manueller und automatischer Inhaltsanalyse in der Kommunikationswissenschaft vorgestellt werden, um drittens einen neuen Ansatz vorzuschlagen, mit dem auch die mit traditionellen automatischen Methoden schwer fassbaren inhaltlichen Kategorien effizient und reliabel computerunterstützt (aber nicht vollautomatisch) codiert werden können.
Es gehört zu den Standardprinzipien der Inhaltsanalyse, auf Codesheets für die Codierung bestimmt... more Es gehört zu den Standardprinzipien der Inhaltsanalyse, auf Codesheets für die Codierung bestimmter Variablen Platz für maximal meist drei Mehrfachcodierungen vorzusehen. Dahinter steht die Vermutung, dass mit der Begrenzung auf drei Akteure, Themen, Bewertungen etc. pro Artikel nur ein minimaler Informationsverlust verknüpft und kaum mit Verzerrungen bei den Ergebnissen zu rechnen ist. Allerdings gibt es bislang keine stringente und systematische Überprüfung dieser zumeist impliziten Annahmen. Der Beitrag beschreibt zunächst die Rahmenbedingungen, in denen Mehrfachcodierungen relevant werden und belegt dann erstmals anhand der Daten aus einer aktuellen und umfangreichen komparativen Inhaltsanalyse auf drei Analyseebenen, dass - unter Umständen – mit einem erheblichen Datenverlust und mit Ergebnisverzerrungen gerechnet werden muss.
Die Bezeichnung "Populist" wird in alltäglichen Situationen immer öfter verwendet, um unliebsame ... more Die Bezeichnung "Populist" wird in alltäglichen Situationen immer öfter verwendet, um unliebsame Politiker zu diffamieren. Was genau ein Populist ist, wie sich das Konzept des Populismus von Extremismus, Radikalismus oder Charisma unterscheidet, und wieso genau Populismus schädlich oder nützlich sein könnte, ist weitgehend unbekannt.
In diesem Vortrag wird ein aktuelles internationales Forschungsprojekt vorgestellt, welches Populismus in mehreren europäischen Ländern untersucht und die Beziehung zwischen Populismus, Demokratie und Mediatisierung aufzuklären versucht.
Im Rahmen der Methodenausbildung im Masterprogramm wird in diesem Gastreferat eine Inventur der a... more Im Rahmen der Methodenausbildung im Masterprogramm wird in diesem Gastreferat eine Inventur der aktuell üblichen Praktiken der automatischen Inhaltsanalyse vorgenommen. Ziel der Präsentation ist ein grober Überblick über die verschiedenen Ansätze automatischer Textanalyse und der Chancen und Probleme der einzelnen Techniken.
Uploads
Papers by Martin Wettstein
Im Fall von klar abgegrenzten Themen sowie Wahlkampf-, Unternehmens-, oder Abstimmungs- Berichterstattung lässt sich der Medieninhalt durch standardisierte Verfahren der quantitativen Inhaltsanalyse verhältnismässig leicht erheben. In diesen Fällen sind sowohl der Zeitraum als auch die zentralen Argumente und Unterthemen bereits zu Beginn der Berichterstattung bekannt, was die Stichprobenziehung und die Entwicklung eines Messinstruments deutlich vereinfacht.
Bei öffentlichen Debatten über umfassende Themen wie Umweltschutz, Arbeitslosigkeit, Immi-gration oder europäische Integration, welche über einen längeren Zeitraum untersucht werden sollen, gestaltet sich jedoch sowohl die Vorbereitung einer Inhaltsanalyse, als auch die Erhebung und anschliessende Auswertung schwieriger. Hier treten an verschiedenen Stellen Probleme auf, welche den Forscher vor methodische Herausforderungen stellen. In diesem Vortrag sollen zunächst diese Herausforderungen erörtert werden, um anschliessend ein umfassendes und aktuelles Methoden-inventar vorzustellen, mit welchem ihnen begegnet werden kann. Hierzu werden aktuelle Studien vorgestellt, in welchen diese - meist computergestützten - Methoden bereits angewandt wurden.
A wide range of statistical methods have been used to investigate the contingency of semantic elements in the past and have led to valuable insights to the structure of communication events. In most cases, semantic network analyses (e.g.: Kim, 2011; Schultz et al., 2012) or multi-dimensional scaling (MDS) techniques such as exploratory factor analysis (EFA; e.g.: Crawley, 2007), cluster analysis (CA; e.g.: Matthes & Kohring, 2008), or smallest space analysis (SSA; e.g.: Miller & Riechert, 2001) are used to reduce the complexity of large contingency tables and thus to reach a small number of sub-issues, positions or frames.
When applying large tables of count data with high numbers of empty cells and highly variant marginal sums to these techniques, however, the results may lack robustness and precision due to violations of the basic assumptions of underlying statistical procedures. In addition, when using CA or EFA, the researcher has to determine the number of clusters or factors to be extracted and to manually exclude items reducing the quality of the solution. With graphic procedures such as SSA or network analysis, on the other hand, the researcher has to interpret the solution based on his or her prior knowledge of the communication event.
Some of these problems could successfully be solved by using latent class analysis (LCA) to achieve a statistically determined number of latent constructs and allow for correlations and cross-loadings in the solution (Matthes, 2007). There is, however, a drawback to this method as only a very limited number of elements (N<30) may be included in the analysis with current computers. This would not be sufficient for contingency analyses of keywords in a debate.
In this paper we propose a novel method of explorative hierarchical cluster analysis (EHCA) which is designed to assist in the analysis of very large contingency tables. Elements adding noise to the solution or reducing the homogeneity of clusters are discarded automatically and the number of clusters to be extracted is not to be predetermined. The method is thus entirely inductive and operates in a comparable fashion on different datasets which makes it a useful tool for comparative or longitudinal analyses.
For the purpose of illustration the method will be used on content analysis data on the framing of unemployment in Great Britain in autumn 2010 . In this example EHCA is used to examine the framing of unemployment in Great Britain before and after the revelation of the spending review on October 19. In this example, the behavior of the method in the face of changing (i.e. domestic labor politics) and persisting (i.e. global unemployment) patterns of co-occurrence may be demonstrated. The reliability and exclusiveness of the clusters are investigated.
Ziel des Beitrages ist es zu beleuchten, wie verschiedene Ebenen der Äquivalenz (inhaltliche Äquivalenz, Indikatoräquivalenz und Konstruktäquivalenz) im Rahmen von komparativen Inhaltsanalysen sichergestellt werden können. Zu diesem Zweck werden zunächst knapp bestehende Konzepte der Äquivalenz erläutert, die sich zumindest für die Umfrageforschung als Quasi-Standard anbieten, so dann die Übertragbarkeit dieser Konzepte auf die komparative Inhaltsanalyse diskutiert, wobei auf wichtige Besonderheiten der Inhaltsanalyse eingegangen wird. Damit bietet der Beitrag erstmals einen Vorschlag zur Äquivalenzprüfung für die komparative Inhaltsanalyse. Im Vortrag wird die Fruchtbarkeit des Ansatzes an empirischen Beispielen demonstriert. Zuletzt werden Anwendungsmöglichkeiten und ihre Grenzen diskutiert.
[...]
Trotz der Bedeutung der Inhaltsanalyse als Methode für die Kommunikationswissenschaft liegt ein solches Instrument bislang nicht vor. Im Vortrag werden beispielhaft erste Analysen präsentiert, welche mit Hilfe dieses Verfahrens durchgeführt wurden und wertvolle Erkenntnisse über den Codierprozess liefern.
IN-TOUCH ("Integrated Technique for Observing and Understanding Coder Habits") stellt eine integrierte Technik dar, mit deren Hilfe der Codierprozess detailliert erfasst und analysiert werden kann. IN-TOUCH kann immer dann eingesetzt werden, wenn die Codierer die Daten direkt über eine Datenbankabfrage eingeben. Da die Abfrage nicht nur die eingegebenen Variablen des Codebuchs, sondern auch Datum, Uhrzeit und Dauer der Codierung speichert, können Daten über die Effizienz der Codierung und Hinweise über die Codierumstände direkt erhoben werden. Gleichzeitig wird nach Ende jedes Artikels der subjektive Eindruck des Codierers erfragt .
Nach dem letzten bearbeiteten Artikel einer Codiersitzung werden die Codierer ausserdem nach Hintergrundgeräuschen, Störungen und Aktivitäten während der Pausen befragt. Sie werden darauf hingewiesen, dass ihre Antworten keine Auswirkungen auf die Bewertung ihrer Arbeit oder ihre Bezahlung haben, sondern dass diese Fragen lediglich für wissenschaftliche Zwecke verwendet werden. Reliabilitätstests werden ohne Wissen der Codierer unter die zu codierenden Texte gemischt und ergeben zeitgenaue Reliabilitätswerte. Durch die direkte Messung der Zeit, die subjektive Einschätzung der einzelnen Artikel und die ausführliche Befragung am Ende jeder Sitzung können die Umstände der Codierung jedes Artikels sowie jeder zusammenhängenden Codierphase nachvollzogen und vor dem Hintergrund der objektiv gemessenen Leistungen des Codierers analysiert werden.
Im Vortrag werden Forschungsfragen, Hypothesen und Analysen detailliert besprochen. Es handelt sich um die ersten, beispielhaften Resultate, die mit Hilfe von IN-TOUCH erzielt wurden und dessen Nutzen veranschaulichen sollen. Auf weiterführende Analysemöglichkeiten wird im Vortrag ebenfalls hingewiesen. Ein Vorteil von IN-TOUCH ist auch dessen Portierbarkeit: Derzeit wird diese Methode auch in einem weiteren inhaltsanalytischen Projekt eingesetzt.
Gerade in der Kommunikationswissenschaft, welche sich sowohl der kritischen Rolle des Rezipienten als auch der Rolle unterschiedlicher Mediengattungen und journalistischer Stile beim Verständnis von Texten besonders bewusst ist, bestehen noch heute grosse Vorbehalte gegen die computergestützte Inhaltsanalyse. Insbesondere anzutreffen sind Vorbehalte, wonach automatische Verfahren aufgrund der Komplexität der menschlichen Sprache einen Text nie so gut verstehen werden wie ein Mensch (West, 2001) bzw. dass sie bei direkten Vergleichen mit menschlichen Codierern bei einer Inhaltsanalyse in Bezug auf die Validität deutlich unterlegen sind (Conway, 2006).
Dennoch ist der entscheidende Vorteil automatischer Analyse von Texten, nämlich die Reduktion der Analysekosten durch eine äusserst schnelle und effiziente Codierung, nicht von der Hand zu weisen. Auch die wachsende Verfügbarkeit elektronischer Texte und die steigende Bedeutung von Online Medien und Sozialen Online Netzwerken mit originär digitalen Inhalten, sowie die rasante Entwicklung auf den Gebieten der Computerlinguistik (Roberts, 1989; Wüest et al. 2011) und Informationstechnologie erhöhen den Druck auf Inhaltsanalyse-Projekte, automatische Verfahren in Betracht zu ziehen.
In diesem Vortrag sollen erstens die Vor- und Nachteile automatischer Inhaltsanalyse-Techniken aufgezeigt werden. Zweitens sollen aktuelle Ansätze zur Kombination von manueller und automatischer Inhaltsanalyse in der Kommunikationswissenschaft vorgestellt werden, um drittens einen neuen Ansatz vorzuschlagen, mit dem auch die mit traditionellen automatischen Methoden schwer fassbaren inhaltlichen Kategorien effizient und reliabel computerunterstützt (aber nicht vollautomatisch) codiert werden können.
Der Beitrag beschreibt zunächst die Rahmenbedingungen, in denen Mehrfachcodierungen relevant werden und belegt dann erstmals anhand der Daten aus einer aktuellen und umfangreichen komparativen Inhaltsanalyse auf drei Analyseebenen, dass - unter Umständen – mit einem erheblichen Datenverlust und mit Ergebnisverzerrungen gerechnet werden muss.
In diesem Vortrag wird ein aktuelles internationales Forschungsprojekt vorgestellt, welches Populismus in mehreren europäischen Ländern untersucht und die Beziehung zwischen Populismus, Demokratie und Mediatisierung aufzuklären versucht.
Ziel der Präsentation ist ein grober Überblick über die verschiedenen Ansätze automatischer Textanalyse und der Chancen und Probleme der einzelnen Techniken.