Richtlinien zur Bewertung digitaler Geschichtswissenschaft: ein Vorschlag der AHA

Die American Historical Association (AHA) hat mit den „Draft Guidelines on the Evaluation of Digital Scholarship [PDF]“ eine interessante Initiative gestartet, die auch in den Geschichtswissenschaften hierzulande diskutiert werden sollte: ein Richtlinienentwurf für die Evaluierung digitaler Geschichtswissenschaft. Ausgangspunkt ist die Bestandsaufnahme, dass neue digitale Praktiken in Forschung, Lehre, Pädagogik und Servicebereichen entstehen, es aber noch keine Standards gibt, wie diese zu bewerten sind.

Sicherlich: bei den zehnseitigen Guidelines handelt es sich in erster Linie um einen pädagogischen Text, der oftmals wenig konkret ist. Vieles klingt auf den ersten Blick selbstverständlich. Dass es das offensichtlich nicht ist, beweist die bloße Existenz dieser Guidelines. Der Hauptzweck des Textes dürfte folglich darin liegen, um Verständnis für digitale Praktiken zu werben und flächendeckend in der historischen Disziplin Ängste und Vorurteile abzubauen. Vielfach trauen sich Wissenschaftlerinnen und Wissenschaftler nicht, digitale Methoden und Werkzeuge einzusetzen, da für die Bewertung digitaler Projekte die entsprechenden Richtlinien fehlen. Hier setzt der Entwurf ein, der Kriterien zur Evaluierung digitaler Projekte und wissenschaftliche Kommunikation entwickeln möchte, die bei Einstellung, Beförderung und tenure (hiring, promotion, and tenure) zum Einsatz kommen sollen.

Das Komitee der AG „Digitale Geschichtswissenschaft“ im Verband der Historikerinnen und Historiker Deutschlands e.V. hat den Entwurf sowie die Vorgehensweise der AHA auf seiner Sitzung am 7.5.2015 in Marburg diskutiert und möchte mir der Community darüber in einen Austausch treten. Ziel dabei ist es, gemeinsam einen Text zu verfassen, der sowohl mit den amerikanischen Kolleginnen und Kollegen diskutiert als auch dem VHD als Entwurf präsentiert werden kann. Kommentare bitte hier im Blog, in den sozialen Medien unter hashtag #digigw.

Die Guidelines im Überblick (ich weiß: tl;dr, bitte trotzdem versuchen)

Erarbeitet wurde der Entwurf der AHA, so ist auf dem Blog des Vereins zu lesen, von acht Professoren unter der Leitung von Ed Ayers, Präsident der University Ritchmond. Der Text versteht sich als Empfehlung sowohl für universitäre Institute und Forschungseinrichtungen, als auch für einzelne Historikerinnen und Historiker aller Qualifizierungsstufen. Ein dritter Teil richtet sich an die AHA selbst. Der Entwurf der AHA-Guidelines steht bis Mitte Mai zur Diskussion. Anschließend soll auf der Grundlage der Kommentare eine endgültige Version erstellt werden.

Sehr ausführlich hat das Komitee laut Einleitung über die Frage diskutiert, was als wissenschaftliche Leistung zählen kann (counting as scholarship). Das erscheint mir sehr wichtig, werden doch bisher zumeist ausschließlich Veröffentlichungen als wissenschaftliche Leistung gewertet, während Editionen oder die Erstellung einer Datenbank etwa demgegenüber in Bewertung und Reputation zurückfällt.

Der Aufbau des Richtlinienentwurfs ist wie folgt:

1. Überblick und Argumentation
2. Prolog: Formen und Funktionen digitaler Wissenschaft
3. Richtlinien
Verantwortung der „departments“
Verantwortung der Wissenschaftler/innen
4. Die Rolle der American Historical Association
Anhang A: Projekttypen
Anhang B: Zusammenarbeit und Beitrag zum Projekt

Prolog

Das Komitee geht in seiner Bestandsaufnahme davon aus, dass rein digitale Projekte oder gemischt analog-digitale Projekte zukünftig zunehmen werden und daher die Frage, wie diese zu bewerten sind, an Dringlichkeit gewinnen wird. Digitale Geschichte wird hier breit verstanden als Wissenschaft, die entweder „aus der Verwendung von computerbezogenen Werkzeugen oder Methoden hervorgeht oder mithilfe digitaler Techniken präsentiert wurde“.¹ Diese weite Definition scheint mir begrüßenswert, insbesondere weil die Präsentation und Verbreitung der Ergebnisse von Geschichtsforschung als zugehörig angesehen werden. Wissenschaftsblogs und Twitter sind folglich im Prolog explizit erwähnt, als Strategien von Forschenden um neue Zugänge zu „historischem Denken“ (historical reasoning) zu entwickeln. Zu diesen Strategien zählen neue digitale Kurzform-Genres wie Blogs, Soziale Medien, Multimedia Storytelling, aber auch der Einsatz für die Open Access-Verbreitung wissenschaftlicher Arbeit oder der Aufbau von digitalen Plattformen und Werkzeugen als alternative Modalitäten der wissenschaftlichen Produktion.²

Wissenschaft wird als dokumentierte und disziplinierte Unterhaltung verstanden über Themen von nachhaltiger Tragweite. Einstellung, Beförderung und tenure verlangen nach Peer-Beurteilung, die die Bedeutung des wissenschaftlichen Beitrags zu einer oder mehrerer dieser Unterhaltungen bewerten kann.³

Schon im Prolog versucht der Entwurf eine ausgleichende Haltung einzunehmen zwischen den Forschenden, die digitale Wege beschreiten wollen, und demgegenüber zurückhaltenden Einrichtungen. Digital arbeitende Wissenschaftlerinnen und Wissenschaftler sollten jeden Schritt beim Planen, Aufbau und Teilen ihrer Forschungen so klar wie möglich erläutern und dabei erklären, wie digitale Werkzeuge zur Beantwortung ihrer Forschungsfrage beitragen. Historikerinnen und Historiker, die computergestützte Verfahren und Methoden verwenden, müssen erklärende Narrative mitliefern, um ihre Forschungen von Fachkolleg/innen evaluieren lassen zu können. Auch Einrichtungen, die nicht explizit digitale Historiker/innen anstellen, müssen digitales Engagement anerkennen und die damit einhergehenden Herausforderungen akzeptieren, so die Guidelines.⁴

Verantwortung der wissenschaftlichen Einrichtungen

Laut Guidelines sollen sich wissenschaftliche Einrichtungen ganz grundsätzlich fragen:

• wie sie sich zu den Möglichkeiten und Herausforderungen der digitalen Forschung positionieren;
• wie die Einrichtung digitale Arbeiten bewerten möchte (Anm.: das bleibt leider vage, denn genau die Antworten auf diese Fragen erwartet man sich ja von den Guidelines…);
• und ob die Institution Historiker/innen anstellen oder fördern will, die digitale Medien einsetzen.

Als vertiefende Aufgaben und Frage, die vielleicht nicht sofort beantwortet werden können, aber vor denen alle Einrichtungen irgendwann einmal stehen, werden genannt:

• sich informieren, Workshops für das Personal organisieren;
• spezifizieren, was als wissenschaftlicher Beitrag für Beförderung und tenure zählen wird;
• Guidelines erarbeiten, wie Forschende digitale Ressourcen, Werkzeuge und Netzwerke in ihrer wissenschaftlichen Tätigkeit verwenden sollen.

Digitale Wissenschaft soll in ihrem ursprünglichen digitalen Medium bewertet und nicht etwa ausgedruckt werden. Denn nur so kann auch bewertet werden, wie ein digitales Projekt funktioniert.

Die Einrichtungen sollen des Weiteren:

• überlegen, wie und ob das Entwickeln anspruchsvoller Werkzeuge als wissenschaftliche Leistung gewertet wird (Anm.: Hier hätte man sich mehr Mut gewünscht und kein „ob“, sondern nur noch das „wie“);
• überlegen wie mit Wissenschaft umzugehen ist, die in einem digitalen Medium in einer kontinuierlichen Revision ist und nie eine „beendete“ Form erhält;
• Protokolle erstellen für die Bewertung von gemeinschaftlich erarbeiteter Werke, z.B. Ko-Autorenschaft, Crowdsourcing, gemeinsames Entwickeln von Werkzeugen;
• Einrichtungen ohne interne Expertise sollten auf externe Gutachter zurückgreifen, um Stärken und Schwächen eines Projekts zu bewerten.

Verantwortung der Wissenschaftlerinnen und Wissenschaftler

Historikerinnen und Historiker, die digitale Projekte planen, sollen sich drei grundsätzliche Fragen stellen:

1. Wie ist der Nutzen digitaler Methoden zur Erreichung der wissenschaftlichen Zielen zu erklären, wie Zeit und Energieinvestition in diese Arbeit einzuschätzen?
2. Wie evaluiert die Einrichtung, an die man angebunden ist, digitale Wissenschaft?
3. Welche Pläne hat man hinsichtlich der Verbreitung, Nachhaltigkeit und Langzeitarchivierung?

Konkretere Fragen und Aufgaben sind dann:

Bevor man ein digitales Projekt beginnt und während der Projektphase sollte man den Beitrag des Projekts zur Forschung, seine Entwicklung und Fortschritte erklären und dokumentieren können. Diese Aussagen sollten mit Betreuenden u.ä. diskutiert werden, damit alle mit denselben Erwartungen an das Projekt herangehen.

Man sollte Kolleginnen und Kollegen in das Projekt einbeziehen und Gelegenheiten nutzen, die eigene Arbeit und deren Beitrag zur wissenschaftlichen Diskussion zu erklären, in Tagungen, Vorträgen oder Publikationen. Wenn eine Kooperation beschlossen wird, sollte man die eigene Abteilung und Institution über jeden Schritt informieren.

Man sollte bestimmen, welchen Einfluss die Prozesse und Prozeduren der eigenen Einrichtung zur Bewertung und zur Förderung digitaler Wissenschaft auf die eigenen Pläne haben.

Man soll sich bei jedem Schritt über Erwartungen von Deadlines, Endprodukten und Evaluation im Klaren sein. Historiker/innen, die mit neuen Formen experimentieren, müssen besonders klar darlegen, was sie tun, warum sie von bisherigen Praktiken abweichen und vor welche Herausforderungen Kolleginnen und Kollegen durch die Arbeit gestellt werden.

Die Rolle der AHA

Im Abschnitt über die Rolle der AHA wird betont, dass der Verein bisher sich bereits für digitale Projekte eingesetzt hat, etwa bei der Zulassung von Panels zur digitalen Geschichte während der Jahrestagungen oder durch Zeitschriftenaufsätze. Darauf aufbauend möchte die AHA zukünftig noch stärker für digitale Geschichte eintreten. Dafür rät ihr die Kommission z.B.:

• Die AHA sollte Experten versammeln und eine Arbeitsgruppe einsetzen, die über Entwicklungen auf dem Laufenden ist und bleibt und Expertise an wissenschaftliche Einrichtungen vermitteln kann.
• Die AHA sollte diese AG als Ressource nutzen, die innerhalb der Community Dialoge anregen und regelmäßig in den Zeitschriften AHA Today und Perspectives on History berichten kann.
• Die AHA sollte eine kuratierte “Galerie” laufender digitaler Wissenschaft aufbauen, so dass Historiker/innen voneinander lernen können.
• Die AHA sollte über eine Zusammenarbeit mit der American Historical Review nachdenken, um regelmäßige Reviews digitaler Wissenschaft, Besprechungen digitaler Projekte und ein Peer Review dieser Projekte einzuführen.

Anhang A: Projekttypen

Anhang A enthält eine Aufzählung verschiedene Projekttypen zur Erklärung und Definition:

• Large-scale collaborations
• Small-scale web-based projects
• Digital media for communication about scholarship

Dazu heisst es:

“Digital media for communication about scholarship: This category would include individual and group scholarly blogs, and the use of social media for scholarly means. The scholarship being presented is not necessarily transformed by digital technology but the use of new media might help in showcasing research, connecting with other scholars working on the same field, public and classroom education, etc.”

• Teaching focused use of digital tools
• Use of digital tools as research aid

Diese Liste von Projekttypen soll auf der Website der AHA jeweils mit konkreten Beispielen aus der „Galerie“ verknüpft werden. Vor allem der letzte Punkt „Nutzen digitaler Werkzeuge“ ist dabei aus meiner Sicht viel zu groß und disparat. Es ist ja ein Unterschied, ob man textmining, Visualisierung, qualitative Inhaltsanalyse, 3-D-Nachbildungen oder anderes macht. Zumindest wenn die Galerie einen Sinn haben soll, wäre hier eine vertiefende Aufschlüsselung notwendig.

Anhang B: Zusammenarbeit und Beitrag zum Projekt

Anhang B erhält den impliziten Aufruf, sich gegenüber kollaborativen Projekten zu öffnen, da viele digitale Projekte im Team erarbeitet werden. Um zu verdeutlichen, welche Rollen es bei den Projekten gibt, wird die folgende Aufgabeliste mitangegeben:

• project management
• software development
• conceptualization
• gathering of evidence/data
• transcription
• data scrubbing
• markup/tagging/annotation
• grant writing

Bei dieser Aufstellung bleibt es jedoch und es fehlt, wie welcher Bereich einzuschätzen ist. Bei der Liste stellt sich außerdem die Frage, ob sie hierarchisch gemeint ist, was zu Schwierigkeiten bei der Bewertung führen könnte.

Und nun?

Soweit die Vorstellung und Zusammenfassung der Richtlinien. Nun ist die Community aufgefordert, sich zu den Richtlinien zu äußern, zunächst wohl hier in den Kommentaren bzw. in den sozialen Medien (hashtag #digigw), später vielleicht in einem gemeinsamen Dokument für die Erarbeitung eines Textes? Dabei lohnt sich ein Blick in das Manifest des Wissenschaftlichen Nachwuchses in den Digital Humanities das in Teilen konkreter ist und Punkte enthält, die in den AHA-Richtlinien fehlen, z.B:

• die konsequente Hinwendung zum Open Access als Empfehlung,
• die Berücksichtigung der technischen Qualität und Anwendung bei der Bewertung von Projekten und nicht nur den Inhalt,
• Schulungsangebote adaptiert für alle Generationen und Karrierestufen,
• das Einbeziehen von Open Peer-Review-Verfahren und offene Kommentare in den Bewertungsprozess sowie
• das Schaffen eines wissenschaftlichen Ökosystems u.a. mit dauerhaften Publikationsplattformen und Ähnliches.

Wie der Stand der Diskussion bei der AHA ist, geht aus dem Blog nicht hervor. Kommentare gibt es auf den Beitrag hin keine, wohl aber einige Pingbacks etwa zu Veranstaltungen, bei denen die Guidelines diskutiert wurden. Auch das wäre ja hierzulande eine Möglichkeit.

________

Links

Seth Denbo, Draft Guidelines on the Evaluation of Digital Scholarship, in: AHA Today, 21.4.2015, http://blog.historians.org/2015/04/draft-guidelines-evaluation-digital-scholarship/.

– Guidelines [PDF]

Abbildung

Beitragsbild oben: 24, von Jabiz Raisdana, Creative Commons CC-BY-NC 2.0.

1. Definition digitale Geschichte als “scholarship that is either produced using computational tools and methods or presented using digital technologies“. [↩]
2. “Some scholars may seek to incubate genuinely new approaches to historical reasoning. Those strategies might include new digital short-form genres such as blogs, social media or multimedia storytelling, participating in strong activist forms of open-access distribution of scholarly work, or creating digital platforms and tools as alternative modalities of scholarly production.” (S. 4). [↩]
3. At its heart, scholarship is a documented and disciplined conversation about matters of enduring consequence. Hiring, tenure, and promotion involve peer based judgments evaluating the significance of a scholar’s contribution to one or more of those conversations.” [↩]
4. For their part, scholars who embark upon digital scholarship have a responsibility to be as clear as possible at each stage of conceiving, building, and sharing that scholarship about the ways that the digital medium contributes to their contribution to the scholarly conversation. Historians whose use of information technology produces new methodological capacities and modes of analysis need to provide explanatory narratives as a prelude to the professional evaluation of their scholarship by disciplinary colleagues. Even departments not explicitly hiring a digital historian need to reckon with digital engagement in the discipline and to be prepared to face the challenges and take advantage of the opportunities it provides. (S. 5). [↩]

---

---