Forschungslinie 2: Evaluation der Bildungsangebote
In der zweiten Forschungslinie wird untersucht, wie sich die Qualität der Bildungsangebote verbessern lässt. Die Wissenschaftler:innen fragen sich zum Beispiel, wie die Kommunikation der Studierenden und Bildungsfachkräfte in den Bildungsangeboten miteinander funktioniert. Außerdem interessiert sie, wie die Bildungsangebote gemeinsam mit Dozierenden der Seminare gut vorbesprochen und in den Seminarablauf eingebaut werden können.
Projekt 2.1: Gelingensbedingungen
Titel: "Evaluation struktureller und interaktionaler Gelingensbedingungen von Hochschulbildungsangeboten, ausgebracht von Menschen mit kognitiver Beeinträchtigung"
Laufzeit: 2020 bis 2024
Ansprechpartner: David Dörrer
- Welche strukturellen und interaktionalen Bedingungen sind notwendig, damit Bildungsfachkräfte und deren Erfahrungsexpertise in theoretisch-akademische Hochschulbildung einbezogen werden können?
- Welche Erfahrungen haben die am Bildungsangebot beteiligten Personenkreise mit dem Einbezug der Bildungsangebote gemacht und welche Veränderungen könnten aus deren Sicht zur Verbesserung von Prozessen, Strukturen und Interaktionsmöglichkeiten beitragen?
In einem ersten Schritt wurden mittels kurzer Expert:innenbefragungen und einer Fokusgruppe mit Studierenden relevante Aspekte für die Entwicklung von Interviewleitfäden erarbeitet. In der Hauptstudie werden nun jeweils sechs Interviews mit Dozierenden, Studierenden und Bildungsfachkräften geführt.
Die Interviews werden als Audiodatei aufgezeichnet und transkribiert. Die transkribierten Interviews werden per qualitativer Inhaltsanalyse ausgewertet.
Die Ergebnisse aller drei Gruppen werden miteinander verglichen, um gemeinsame Muster, aber auch Unterschiede in den Perspektiven herauszuarbeiten ("Synthese" oder "Triangulation").
Projekt 2.2: Evaluationsinstrument
Titel: "Entwicklung eines Evaluationsinstruments für Bildungsangebote am AW-ZIB"
Laufzeit: 2021 bis 2023
Ansprechpartner: Prof. Dr. David Scheer
Ist es möglich, Qualitätsindikatoren akademischer Lehrveranstaltungen so zu modifizieren, dass sich die Bildungsangebote der Bildungsfachkräfte am AW-ZIB quantitativ evaluieren lassen?
- Schritt 1: Itemsammlung und Experten-Rating
In einem ersten Schritt wurden verschiedene publizierte und unveröffentlichte Evaluationsinstrumente, die für die Hochschullehre vorgesehen sind, analysiert. Items, die grundsätzlich mit der Organisationsform der Bildungsangebote in Einklang zu bringen sind, wurden geclustert (um inhaltliche Doppelungen möglichst zu eliminieren) und dann sprachlich an die Bildungsangebote angepasst. Die fertige Item-Sammlung (45 Items) wurde als Online-Fragebogen an mehrere Expert:innen aus dem AW-ZIB und aus dem ehemaligen Projekt "Inklusive Bildung Baden-Württemberg" vorgelegt mit der Bitte, für jedes Item auf einer elfstufigen Skala (0% - 100%) anzugeben, wie gut das Item für die Evaluation der Bildungsangebote geeignet ist. Zudem wurde die Möglichkeit der offenen Rückmeldung gegeben. Alle Items, bei denen mindestens die Hälfte der Befragten eine Eignung von mehr als 60% angegeben hat, wurden beibehalten. Zudem wurden einige Items auf Basis von qualitativem Feedback modifiziert, aufgesplittet oder entfernt. Das verbleibende Item-Set besteht aus 38 Items. - Schritt 2: Informationsgehalt der Items, Faktorenstruktur
Die verbleibenden 38 Items werden in einer ersten großen Studie den Teilnehmenden der Bildungsangebote im Wintersemester 2021/22 zur Evaluation der Bildungsangebote vorgelegt. Dabei erhält die Hälfte der Teilnehmenden einen Fragebogen mit vollverbalisierter fünfstufiger Skala (0 = "trifft gar nicht zu" bis 4 = "trifft voll und ganz zu") und die andere Hälfte einen Fragebogen mit teilverbalisierter neunstufiger Skala (0 = "trifft gar nicht zu" bis 8 = "trifft voll und ganz zu"). Items mit zu geringem diagnostischem Informationsgehalt sollen im Anschluss entfernt werden. Mittels schrittweiser explorativer Faktorenanalyse soll die Struktur des Fragebogens evaluiert werden. Items mit Doppelladungen werden entfernt. Zudem sollen Items mit zu geringer Ladung und Trennschärfe auf den Faktoren als potenzielle Streichkandidaten für spätere Studien markiert werden. - Schritt 3: Replikation der der Faktorenstruktur, Reliabilität, Messinvarianz
Die in der explorativen Faktorenanalyse verbliebenen Items werden im Sommersemester 2022 erneut zur Evaluation der Bildungsangebote eingesetzt. Dabei wird mittels einer konfirmatorischen Faktorenanalyse geprüft, ob sich die Faktorenstruktur der ersten Studie bestätigen lässt. Außerdem soll geprüft werden, ob die einzelnen Faktoren zuverlässig ("reliabel") gemessen werden und ob der Fragebogen in unterschiedlichen Gruppen identisch misst ("Messinvarianz"). - Schritt 4: Partizipative Weiterentwicklung des Eval-AWZ
Im Austausch mit Lehrenden, akademisch Forschenden und Bildungsfachkräften über die Items zur Evaluation der Bildungsangebote, wurden diese nochmals um weitere, vor allem qualitative Items ergänzt. Handlungsleitend bei der Überarbeitung und Weiterentwicklung war die Frage, welche Dimensionen/ Fragestellungen aus Sicht der unterschiedlichen Personengruppen zur Optimierung der Bildungsangebote noch nötig bzw. hilfreich wären. Hierdurch entstand ein erweiterter Fragebogen: „Fragebogen zur Evaluation der Bildungsangebote am Annelie-Wellensiek-Zentrum für inklusive Bildung (Eval-AWZ)“. Dieser kam im Wise 2022/23 und kommt aktuell im SoSe 2023 zur Anwendung.