Stefanie Haustein
For decades, research assessment infrastructure has been shaped by closed, centralized systems that prioritize selectivity, reinforce hierarchies, and define what counts as scholarly impact. This talk traces the historical evolution of bibliometrics, from the first citation analysis in the early 20th century via the revolutionary development of the Science Citation Index to the dominance of commercial data analytics companies like Clarivate and Elsevier today. The talk will highlight how these infrastructures have perpetuated power imbalances—determining who gets to define impact, what types of knowledge are valued, and whose labor is made visible.
Currently research assessment and the underlying bibliometric infrastructure are undergoing a transformation. The increasing availability of open bibliographic sources (e.g., Crossref, OpenAlex, DataCite, DOAJ), metadata accessibility, and alternative models of research evaluation are challenging traditional hierarchies and enabling more inclusive and transparent assessment practices.
Using a data feminist lens, this talk will critically examine both the past and present of research assessment infrastructure, advocating for a shift that embraces pluralism, contextualizes metrics, and recognizes the diverse contributions that shape scholarly knowledge. By reflecting on historical lessons and current developments, we can envision a research assessment system that is more equitable, open, and reflective of the complexities of academic work.
*recorded and presented on 19.03.2025
Cornelia Schendzielorz/ Martin Reinhart
Our contribution is dedicated to the topic of large research collaborations. We frame the issue of large research collaborations in the context of their long history in the study of science, which is closely related to the notion of Big Science (De Solla Price 1963). Beyond the quantitative growth of science in various aspects such as publications, journals, personnel, funding, etc., we focus our attention on the fact that considering the big picture of science implies taking into account the social order of science (Merton 1938, Barber 1953). From the beginnings of the sociology of science (Bernal 1939, Merton 1942, Polanyi, 1962, Pielke 2014, Wray 2023) to the present day, this question has been linked to the much broader question of how science is embedded in society and how it relates to politics (Jasanoff 1990, Pielke 2007, Kitcher 2011). Consequently, we argue that large research collaborations are a suitable object of study for an empirical theory of science because these two central questions of the social order of science and the relationship between science and society coincide in this object.
Against this background, our contribution aims to empirically investigate how the production of scientific knowledge is organised in concrete working contexts of large research collaborations. Our paper is structured as follows: First, we draw on the research literature to explain why the internal organisation and governance of large research collaborations is an increasingly controversial issue. (Hallonsten 2016, Cramer and Hallonsten 2020, Baneke 2020). We then elaborate on routinely identified points of contention in research collaborations, which also represent necessary transition points in the process of developing internal social order and governance. We do so by drawing on theoretical literature, empirical case studies from the literature (Rüland 2023, Galison et al 2023, Jerabkova et al 2023, 2024), and two examples from our own ongoing research. In particular, we will look at governance issues such as membership, distribution of power and recognition in the cases of the Next Generation Event Horizon Telescope (ngEHT) and the European Southern Observatory (ESO). Based on this cursory overview, we will explore the extent to which key challenges in the governance of large research collaborations recur to implicit or explicit normative presuppositions, and how these normative presuppositions relate to forms of political self-governance.
*recorded and presented on 15.05.2024
Holger Straßheim (Fakultät für Soziologie, Universität Bielefeld)
Der Beitrag setzt sich mit Perspektiven der politischen Epistemologie auseinander, die sich mittlerweile zu einem soziologischen, politikwissenschaftlichen, philosophischen und historischen Brückenkonzept entwickelt hat. Trotz unterschiedlicher disziplinärer Zugänge lassen sich gemeinsame Kernelemente und ähnliche Theoriestrategien ausmachen: Immer geht es dabei um die Identifikation jener Mechanismen, die Erkenntnis und Ordnung, Expertise und Entscheiden miteinander vermitteln. Politische Epistemologien fragen nach den Praktiken bzw. Diskursen der Ko-Konstruktion von politischer und epistemischer Autorität. Sie vergleichen jene kulturellen und institutionellen Arrangements, in denen Expertise an Legitimität und Geltungsmacht gewinnt (oder verliert). Während ‚objektivistische Epistemologien‘ auf eine Rationalisierung der Politik durch die Wissenschaft hoffen, ist die politische Epistemologie skeptischer. Mit der globalen Ausweitung von Kommunikations- und Interaktionshorizonten verbinden sich vielmehr – so eine leitende Vermutung – sehr unterschiedliche, potentiell umstrittene Wege der wechselseitigen Durchdringung von Politik und Wissenschaft und damit auch konkurrierende Legitimitäts- und Rationalitätsvorstellungen. Der Beitrag skizziert zunächst Gemeinsamkeiten zwischen den verschiedenen Zugängen zur politischen Epistemologie und arbeitet Kernkonzepte und -erkenntnisse heraus. Ein zweiter Teil fokussiert dann anhand von Beispielen auf politisch-epistemische Mechanismen der Ko-Konstruktion. Der Vortrag schließt mit Überlegungen zu Konfliktdynamiken im Verhältnis von Wissenschaft und Politik unter den Bedingungen der Weltgesellschaft.
*presented and recorded on 06.03.2024
Julia Baumann (Sozial- und Kulturanthropologie, Freie Universität Berlin)
„Die akademische Kultur ist eine Kultur, in der Gefühle abwesend sind – eine Kultur des ‚Nicht-Gefühls‘. […], aber Gefühle sind in der Wissenschaft reichlich vorhanden“ (Bloch, 2012: 140, übersetzt aus dem Englischen von JB), schließt Charlotte Bloch ihre ethnografische Studie Passion and Paranoia zu akademischen Emotionskulturen in Dänemark.
Auf der Grundlage meiner ethnographischen Feldforschung (2019-2022) werde ich darlegen, wie eben diese „academic cultures of no-feeling“ den Alltag von Forscher*innen beeinflussen und die Wissensproduktion auch hier in Deutschland prägen. Historisch gewachsen zu einem emotionsgebundenen Wertesystem, das Gefühle als das Gegenteil von Rationalität und Wissenschaftlichkeit versteht, wird die Fähigkeit Gefühle zu regulieren oder sogar gänzlich zu unterdrücken zu einer Form von Kapital (Bourdieu 1986). Innerhalb dieser akademischen Emotionsregime ist es Kennzeichen der academic cultures of no-feeling Emotionen als nicht-existent anzunehmen. Trotzdem prägen sie das durch diese Kulturen manövrierende Individuum und die Wissensproduktion in hohem Maße.
Im Jour fixe werde ich diese vermeintliche Diskrepanz, mein Promotionsprojekt, die Methoden der Datenerhebung, meine eigene Rolle im Feld und die Ergebnisse und Analysen vorstellen, reflektieren und diskutieren. Anhand meines empirischen Materials (Grounded Theory) werde ich individuelle Gefühlswelten und Umgänge mit dem „Nicht-Gefühl“ darstellen und darlegen, welche Emotionen und Affekte den akademischen Arbeitsalltag meiner Gesprächspartner*innen prägten und inwiefern Fühlen und affektive (Re)Aktionen als systemisch eingebettet betrachtet werden können. Anhand Mut, Angst, Verzweiflung, Wut und Liebe stelle ich dar, wie eine Gefühlsunterdrückung zwar als Basis akademischer Professionalität verstanden wird, Ethnograf*innen aber hierdurch ebenso in einer affective community miteinander verbinden sind; ich zeige gleichermaßen den Umgang akademischer Institutionen mit Emotionen in Bezug auf mentale Belastungen auf; erläutere wie Diskriminierungserfahrung und Machtmissbrauch zu einer stetigen moral injury sowie (emotionalen) Widerständigkeiten führen können und führe aus, wie agencies, Identitäten und belongings innerhalb dieser akademischen Emotionsregime ausgehandelt werden.
Reference: Bloch, C. (2012). Passion and Paranoia. Emotions and the Culture of Emotion in Academia, New York/London: Routledge.
*recorded and presented on 17.04. 2024
Marianne Noel und Lucile Ottolini (Université Gustave EiffeI, Frankreich)
The last twenty years of open science advocacy and the more recent proliferation of programs and funding have shown that open science has become a veritable mantra. In this communication we deliberately adopt a perspective of the sociology of work and of professions: rather than examining discourses on openness, we focus on the missions, experiences and profiles, as well as the practices, of professionals whose daily work is devoted to ‘opening up’ science. We propose to analyse the opening up of science as a vector of contemporary scientific credibility, implemented by professional communities which are invisible in their daily environment. Drawing on the cases of two groups studied in our respective theses, the one responsible for opening up their institution to society, and the other responsible for opening up publication, our proposal follows the hypothesis of the emergence of a professional category. In total, our empirical material consists of interviews (n=41), and analyses of institutional archives. The data covers a broad period of institutional intervention in France and Sweden (from the early 2000s to late in 2020).
The exercise of comparing the work of ‘opening up’ science involved two groups of professionals of different sizes and with different professional and institutional histories. The comparison has informed us about common competencies and work characteristics (professional profiles, previous professional experience, missions, extensive socialisation spaces, etc). It also highlights differences between the two groups, notably in the extensive use of quantification by open access publishing professionals. “Qualculatory” logics and methods are clearly vectors of credibility for the group of Open Access publishing professionals, but at the time of writing we do not observe the extension of qualculatory, or even commercial, logics in openness to society.
At the time of the survey, the work of opening up remained invisible in institutions. This invisibility allowed both professional groups to develop quietly and to benefit from a considerable autonomy of action within the institutions, therefore be a resource for the work of opening up. While this invisibility was at the service of their profession, in the medium term it nevertheless calls into question the means implemented to ensure the long-term survival of the opening up. Faced with the effects of professionalisation and managerialisation (growing workforce, younger and less experienced professionnals), openness professionals also run the risk of losing the motivation and meaning of their actions, especially when it comes to the ‘sewing’ work that is essential for linking up with the communities they serve. The work of opening up lies somewhere between management, critical analysis, and (measuring) performance, whether in terms of opening up the publication or opening up to society.
*recorded and presented on 04.02.2025
Henning Laux (Leibniz Forschungszentrum Wissenschaft und Gesellschaft, Hannover)
Der Vortrag stellt erste Überlegungen zu einer Soziologie der Dummheit vor. Dummheit wird dabei als systematisch vernachlässigte, aber konstitutive Außenseite der Wissensgesellschaft interpretiert. Im Vortrag sollen daher die Akteure, Arenen, Mechanismen und Funktionen bei der sozialen Zuschreibung von Dummheit genauer beleuchtet werden.
*recorded and presented on 29.05.2024
Anna Ahlers (Max-Planck-Institut für Wissenschaftsgeschichte)
Zu den interessantesten Entwicklungen im gegenwärtigen globalen Wissenschaftsystem gehört der rasante Aufstieg der Volksrepublik China. Als kollektiver Akteur hat es das Land innerhalb von drei Jahrzehnten geschafft, in allen gängigen wissenschaftlichen Leistungs- und Reputations-Rankings Spitzenplätze einzunehmen. Internationale Reaktionen auf diese Entwicklung sind geprägt von Faszination und – zunehmend – Sorge und Ablehnung. Nicht zuletzt fordert das autoritäre Wissenschaftsmodel der VR China offensichtlich viele landläufige Annahmen und Normen in der OECD-Welt heraus. Auch aus wissenschaftlich-analytischer Perspektive ist der chinesische Fall deshalb äußerst spannend, aber dies hat sich bisher weder in der Sinologie noch in der Wissenschaftsforschung signifikant niedergeschlagen. Der Vortrag stellt die ersten Ergebnisse einer interdisziplinären Forschungsgruppe vor, die sich – inspiriert von relativ klassischen Ansätzen der Wissenschaftssoziologie – seit 2020 mit der Dynamik des chinesischen Wissenschaftssystems und seiner globalen Integration beschäftigt. Dies regt abschließend idealerweise eine gemeinsame Diskussion über die Potentiale und die Grenzen von Konzept- und Theoriebildung im komplexen Spannungsfeld von Isomorphismus und Variation (oder Divergenz) in einer derart interdisziplinären empirischen Wissenschaftsforschung an.
*recorded and presented on 22.01.2025
*recorded and presented on 12.06.2024
Dimity Stephen (DZHW) und Meta Cramer (RMZ, Humboldt Universität zu Berlin)
The recent shift in evaluation systems to more diverse quality criteria has increased the visibility of lower quality research, incurring a moral panic about the effects of predatory publishing practices (PPP) on the science system. However, this concern currently lacks empirical substantiation and ignores the complex geopolitical relations, researchers’ motivations, and centre-periphery narrative inherent in the predatory publishing debate. Thus, we propose a mixed-methods approach to answering three questions: i) how have (P)PP in different national settings emerged, ii) how do academic communities define and react to PPPs, and iii) how do evaluation systems influence (P)PPs? Our aim is to elucidate the relationship between evaluation systems and (P)PPs, accounting for the contextual processes of labelling practices as questionable. Our approach combines systematic review, quantitative and bibliometric methods to identify (changing) publishing practices associated with evaluation systems, together with qualitative methods to understand the motivations for these practices in six national systems: Germany, Poland, Portugal, Nigeria, India, and Brazil. In this session, we will present the aims of this project, which began in September 2024, and the methodologies to be used in it.
*recorded and presented on 08.01.2025
Marta Wróblewska (SWPS University Warsaw)
The talk will offer a comparative review of policy-making in the area of research impact evaluation in UK (REF), Poland (EJDD) and Norway (Humeval and Sameval). Poland and Norway have used an ex-post, expert-review system modeled on the British REF. There are several analogies between the studied impact evaluation systems, including similar definitions of impact, the use of case studies as the basis for evaluation, the structuring of the impact template and English as the language of evaluation. There are also several differences: the mode of introduction of the exercise (gradual vs. shift), whether the exercise is tied to funding, and the level of transparency of the policy-making and evaluation process. The text will present an overview of the three approaches on impact evaluation and attempt to answer the following question: 1) How does the articulation of research impact change depending on the goals of the exercise and the broader academic and social context into which the exercise is introduced; 2) Consequently, how do the effects of the exercise differ from one national context to another?
After longer comparative part of the talk (based on an article submitted for review to Research Evaluation), I will attempt an interpretation of the ongoing process of policy-borrowing in the area of impact evaluation in terms of centre-periphery dynamics (as described by Immanuel Wallerstein) and/or Antonio Gramsci’s theory of hegemony. The goal of the talk will be to test out theoretical theoretical perspectives on the data collected. I welcome any remarks and recommendations from the audience.
*recorded and presented on 26.06.2024
