Dokument

Zusammenfassung:
Die Auswahl von Datenerhebungsmethoden ist in der Evaluationsforschung ein methodologisches Problem, das mit dem Kriterium der Gegenstandsangemessenheit augenscheinlich eine Lösung erfährt. Bei näherer Analyse der methodologischen Literatur erweist sich dieses Kriterium jedoch als nicht eindeutig definiert. Um das Konstrukt der Gegenstandsangemessenheit greifbarer und besser anwendbar zu machen, wird in der vorliegenden Arbeit zunächst eine systematische Analyse der relevanten Literatur vorgenommen, die anschließend um eine empirische Untersuchung ergänzt wird. Auf dieser Basis wird ein an die Praxis gerichteter Kriterienkatalog entwickelt, mit dessen Hilfe die Gegenstandsangemessenheit von Datenerhebungsmethoden systematisch untersucht und bewertet werden kann, um fundierte Entscheidungen zu treffen. Somit stellt der Kriterienkatalog auch einen Beitrag zur Sicherung der Qualität von Evaluationsforschung dar. Er ist an die Standards der DeGEval anschlussfähig, d.h. er kann als Ergänzung zu ihnen und als Fokussierung auf einen Teilbereich eingesetzt werden. Als Teilschritt wird ein Klassifikationsschema für Datenerhebungsmethoden erarbeitet und vorgestellt sowie eine Einordnung der häufig in Lehrevaluationen an Hochschulen eingesetzten Verfahren (Standardisierte Befragung, Offene Befragung, Gruppenverfahren, Dokumenten- und Kennzahlenanalyse, Gutachterverfahren) vorgenommen.

Bibliographie / References

1. Spencer, Liz et al. (2003): Quality in Qualitative Evaluation: A framework for as- sessing research evidence. London: National Centre for Social Research, Cabinet Office.
2. Krueger, Richard A. (1994): Focus groups. A practical guide for applied research. Thousand Oaks: Sage Publications.
3. Literaturverzeichnis Stockmann, Reinhard (2006a): Evaluation in Deutschland. In Stockmann, Rein- hard (2006c): Evaluationsforschung. Grundlagen und ausgewählte Forschungs- felder. 3. Auflage. Münster: Waxmann, S. 15 – 46.
4. Vedung, Evert (2006): Evaluation Research and Fundamental Research. In Stock- mann, Reinhard (2006c): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. 3. Auflage. Münster: Waxmann, S. 113 – 136.
5. Kromrey, Helmut (2006b): Qualität und Evaluation im System Hochschule. In Stockmann, Reinhard (2006c): Evaluationsforschung. Grundlagen und aus- gewählte Forschungsfelder. 3. Auflage. Münster: Waxmann, S. 234 – 259.
6. Staufenbiel, Thomas (2000): Fragebogen zur Evaluation von universitären Lehrver- anstaltungen durch Studierende und Lehrende. In Diagnostica, 46, Nr. 4, 169–181.
7. Seale, Clive (1999): The Quality of Qualitative Research. Thousand Oaks: Sage Publications.
8. Serrano-Velarde, Kathia (2008): Evaluation, Akkreditierung und Politik. Zur Or- ganisation von Qualitätssicherung im Zuge des Bolognaprozesses. Wiesbaden: VS Verlag für Sozialwissenschaften.
9. Mayerhofer, Wolfgang (2007): Das Fokusgruppeninterview. In Buber, Renate/ Holzmüller, Hartmut M. (Hrsg.) (2007): Qualitative Marktforschung. Kon- zepte – Methoden – Analysen. Wiesbaden: VS Verlag für Sozialwissenschaften, S. 477 – 490.
10. Schmidt, Uwe (2009): Evaluation an deutschen Hochschulen – Entwicklung, Stand und Perspektiven. In Widmer, Thomas/Beywl, Wolfgang/Fabian, Carlo (Hrsg.) (2009): Evaluation. Ein Systematisches Handbuch. Wiesbaden: VS Ver- lag für Sozialwissenschaften, S. 163 – 169.
11. Schmidt, Christiane (2010): Auswertungstechniken für Leitfadeninterviews. In Friebertshäuser, Barbara/Langer, Antja/Prengel, Annedore (Hrsg.): Handbuch Qualitative Methoden in der Erziehungswissenschaft. 3. Auflage.
12. Weber, Robert Philip (2004): Content Analysis. In Seale, Clive (Hrsg.) (2004): Social Research Methods. A Reader. London: Routledge Students Readers, S. 117 – 124.
13. Laux, Eberhard/Teppe, Karl (Hrsg.) (1998): Der neuzeitliche Staat und sei- ne Verwaltung. Beiträge zur Entwicklungsgeschichte seit 1700. Stuttgart: Franz Steiner.
14. Löffler, Elke (1998): Die Diskussion über Führung und Management in der öffentli- chen Verwaltung als zentrales Anliegen der Verwaltungswissenschaften. In Laux, Eberhard/Teppe, Karl (Hrsg.) (1998): Der neuzeitliche Staat und seine Ver- waltung. Beiträge zur Entwicklungsgeschichte seit 1700. Stuttgart: Franz Steiner, S. 333 – 348.
15. Kuckartz, Udo (2007): Einführung in die computergestützte Analyse qualitativer Daten. 2. Auflage. Wiesbaden: VS Verlag für Sozialwissenschaften.
16. Stockmann, Reinhard (2007a): Einführung in die Evaluation. In Stockmann, Reinhard (2007b): Handbuch zur Evaluation. Eine praktische Handlungsan- leitung. Münster: Waxmann, S. 24 – 70.
17. Laging, Ralf et al. (2010): Evaluation der fachdidaktischen Ausbildung im Rah- men der Lehramtsausbildung an der Philipps-Universität Marburg – Bericht zur Evaluation. Marburg.
18. Lewin, Karl et al. (2000): Evaluation der Praxissemester an den Fachhochschulen des Landes Nordrhein-Westfalen. Hannover: HIS.
19. Widmer, Thomas/Landert, Charles/Bachmann, Nicole (2000): Evaluations- Literaturverzeichnis Standards der Schweizerischen Evaluationsgesellschaft (SEVAL-Standards). Frei- burg: Schweizerische Evaluationsgesellschaft (SEVAL).
20. Stockmann, Reinhard (2006b): Evaluation und Qualitätsentwicklung. Eine Grund- lage für wirkungsorientiertes Qualitätsmanagement. Münster: Waxmann.
21. Mittag, Sandra/Bornmann, Lutz/Daniel, Hans-Dieter (2003a): Evaluation von Studium und Lehre an Hochschulen. Handbuch zur Durchführung mehrstufiger Evaluationsverfahren. Münster: Waxmann.
22. Suchman, Edward Allen (1967): Evaluative Research. Principles and Practice in Public Service & Social Action Programs. New York: Russel Sage Foundation.
23. Scriven, Michael (1973): Goal-free evaluation. In House, Ernest R. (Hrsg.): School evaluation: The politics and process. Berkeley: McCutchan, S. 219 – 328.
24. Strauss, Anselm/Corbin, Juliet (1996): Grounded Theory: Grundlagen Qualita- tiver Sozialforschung. Weinheim: Beltz.
25. Lueger, Manfred (2000): Grundlagen qualitativer Feldforschung. Wien: UTB.
26. Tashakkori, Abbas (2003): Handbook of mixed methods in the social & behavioral research. Thousand Oaks: Sage.
27. Stockmann, Reinhard (2007b): Handbuch zur Evaluation. Eine praktische Hand- lungsanleitung. Münster: Waxmann.
28. Lohnert, Beate/Rolfes, Manfred (1997): Handbuch zur Evaluation von Lehre und Studium an Hochschulen. Ein praxisorientierter Leitfaden. Hannover: Zentrale Evaluationsagentur der niedersächsischen Hochschulen.
29. Verbeek, David/Balogh, Heike (Hrsg.) (1995): Evaluation der Lehre. Ziele – Akzeptanz – Methoden. Band 1, Handbuch Hochschullehre Highlights. Stuttgart u.a.: Raabe.
30. Scriven, Michael (2012): Key Evaluation Checklist. Michigan URL: http:// michaelscriven.info/images/KEC.11.17.12.pdf – Zugriff am 30.12.2012.
31. Steinke, Ines (1999): Kriterien qualitativer Forschung. Ansätze zur Bewertung qualitativ-empirischer Sozialforschung. Weinheim und München: Juventa.
32. Soellner, Renate/braun, Edith/Gusy, Burkhard (2006): Lehrevaluation aus pädagogisch-psychologischer Sicht. Das Berliner Evaluationsinstrument für Kompetenzen. In Hochschulrektorenkonferenz (Hrsg.) (2006): Qua- litätsentwicklung an Hochschulen. Erfahrungen und Lehren aus 10 Jahren Evaluation. Band 8/2006, Bonn: Hochschulrektorenkonferenz URL: http: //www.hrk.de/de/download/dateien/2006-08_Qualitaetsentwicklung_ an_Hochschulen.pdf, S. 72 – 80 URL: http://www.hrk.de/de/download/ dateien/2006-08_Qualitaetsentwicklung_an_Hochschulen.pdf.
33. Mittag, Sandra/Bornmann, Lutz/Daniel, Hans-Dieter (2003b): Mehrstufi- ge Verfahren für die Evaluation von Studium und Lehre – Eine Zwischen- bilanz europäischer Erfahrungen. In Schwarz, Stefanie/Teichler, Ulrich (Hrsg.) (2003): Universität auf dem Prüfstand. Konzepte und Befunde der Hochschulforschung. Frankfurt am Main: Campus, S. 183 – 205.
34. Theory, Method and Practice. 2. Auflage. Thousand Oaks: Sage, S. 125 – 139.
35. Tashakkori, Abbas/Teddlie, Charles (2000): Mixed methodology. Combining qua- litative and quantitative approaches. 4. Auflage. Thousand Oaks: Sage.
36. Literaturverzeichnis Sheehan, Kim/Hoy, Mariea (2004): On-Line Surveys. In Seale, Clive (Hrsg.) (2004): Social Research Methods. A Reader. London: Routledge Stu- dents Readers, S. 105 – 110.
37. Schreier, Margit (2012): Qualitative Content Analysis in Practice. Los Angeles, London, New Delhi, Singapore, Washington DC: Sage.
38. Miles, Matthew B./Huberman, A. Michael (1999): Qualitative data analysis. An expanded Sourcebook. 2. Auflage. Thousand Oaks: Sage.
39. Kuckartz, Udo et al. (2008): Qualitative Evaluation. Der Einstieg in die Praxis.
40. Lüders, Christian (2006): Qualitative Evaluationsforschung – was heißt hier For- schung? In Flick, Uwe (Hrsg.): Qualitative Evaluationsforschung. Konzepte, Methoden, Umsetzungen. Reinbek bei Hamburg: Rowohlt, S. 33–62.
41. Lamnek, Siegfried (2005): Qualitative Sozialforschung. Lehrbuch. Weinheim und München: Beltz Psychologie Verlags Union.
42. Kuckartz, Udo (2006): Quick and dirty? – Qualitative Methoden der drittmittelfi- nanzierten Evaluation in der Umweltforschung. In Flick, Uwe (Hrsg.): Qua- litative Evaluationsforschung. Konzepte, Methoden, Umsetzungen. Reinbek bei Hamburg: Rowohlt, S. 267–283.
43. Seale, Clive (Hrsg.) (2004): Social Research Methods. A Reader. London: Routledge Students Readers.
44. Stock, Manfred (2004): Steuerung als Fiktion. Anmerkungen zur Implementierung der neuen Steuerungskonzepte an Hochschulen aus organisationssoziologischer Sicht. In die hochschule. journal für wissenschaft und bildung, 1, S. 30 – 48.
45. Weber, Regina (2006): Studentische Lehrevaluation: Anforderungen aus stu- dentischer Sicht. In Hochschulrektorenkonferenz (Hrsg.) (2006): Qua- litätsentwicklung an Hochschulen. Erfahrungen und Lehren aus 10 Jahren Evaluation. Band 8/2006, Bonn: Hochschulrektorenkonferenz URL: http: //www.hrk.de/de/download/dateien/2006-08_Qualitaetsentwicklung_ an_Hochschulen.pdf, S. 52 – 57 URL: http://www.hrk.de/de/download/ dateien/2006-08_Qualitaetsentwicklung_an_Hochschulen.pdf.
46. Miller, Jody/Glassner, Barry (2004): The " inside " and the " outside " : finding reali- ties in interviews. In Silverman, David (Hrsg.) (2004): Qualitative Research.
47. Lee, Barbara (2006): Theories of Evaluation. In Stockmann, Reinhard (2006c): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. 3. Auflage. Münster: Waxmann, S. 137 – 176.
48. Kromrey, Helmut (2007): " Die empirische Erfassung von Qualität: Evaluationsfor- schung, Qualitätssicherung und Qualitätsstandards " – Veranstaltung der DGS- Sektion Methoden der empirischen Sozialforschung am 11.10.2006. In Zeitschrift für Evaluation, 1/2007, S. 111/112.
49. Mensching, Anja (2006): Zwischen Überforderung und Banalisierung – zu den Schwierigkeiten der Vermittlungsarbeit im Rahmen qualitativer Evaluationsfor- schung. In Flick, Uwe (Hrsg.): Qualitative Evaluationsforschung. Konzepte, Methoden, Umsetzungen. Reinbek bei Hamburg: Rowohlt, S. 339–362.
50. Schmidt, Uwe (2005): Zwischen Messen und Verstehen. Anmerkungen zum Theo- riedefizit in der deutschen Hochschulevaluation. In evaNet-Positionen 06/2005.
51. Labaf-Wiltzsch, Behjat (2006): Evaluation der Lehre. Dissertation, Rheinisch- Westfälische Technische Hochschule Aachen.
52. Meyer, Wolfgang/Höhns, Gabriela (2002): Was ist Evaluation? Saar- brücken URL: http://www.bibb.de/dokumente/pdf/a11_transform_ was-ist-evaluation.pdf – Zugriff am 09.06.2009.
53. Kuper, Harm (2005): Evaluation im Bildungssystem. Eine Einführung. Stuttgart: Kohlhammer.
54. Kromrey, Helmut (2006c): Studierendenbefragungen in Lehrveranstaltungen: Instrument der Evaluation oder " nur " der Qualitätsentwicklung? In Hoch- schulrektorenkonferenz (Hrsg.) (2006): Qualitätsentwicklung an Hoch- schulen. Erfahrungen und Lehren aus 10 Jahren Evaluation. Band 8/2006, Bonn: Hochschulrektorenkonferenz URL: http://www.hrk.de/de/ download/dateien/2006-08_Qualitaetsentwicklung_an_Hochschulen.pdf, S. 72 – 71 URL: http://www.hrk.de/de/download/dateien/2006-08_ Qualitaetsentwicklung_an_Hochschulen.pdf.
55. Schmidt, Uwe (2006b): Hochschulentwicklung und Evaluation: Perspektiven, Beteiligung und Verantwortung Studierender. In Hochschulrektorenkon- ferenz (Hrsg.) (2006): Qualitätsentwicklung an Hochschulen. Erfahrungen und Lehren aus 10 Jahren Evaluation. Band 8/2006, Bonn: Hochschulrek- torenkonferenz URL: http://www.hrk.de/de/download/dateien/2006-08_ Qualitaetsentwicklung_an_Hochschulen.pdf, S. 39 – 46 URL: http: //www.hrk.de/de/download/dateien/2006-08_Qualitaetsentwicklung_an_ Hochschulen.pdf.
56. Kromrey, Helmut (2006a): Empirische Sozialforschung. 11. Auflage. Stuttgart: Lu- cius & Lucius.
57. Kuckartz, Udo (2012): Qualitative Inhaltsanalyse. Methoden, Praxis, Computerun- terstützung. Weinheim und Basel: Beltz Juventa.
58. Widmer, Thomas (2006): Qualität der Evaluation – Wenn Wissenschaft zur prakti- schen Kunst wird. In Stockmann, Reinhard (2006b): Evaluation und Quali- tätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Münster: Waxmann, S. 85 – 112.

Das Dokument ist im Internet frei zugänglich - Hinweise zu den Nutzungsrechten