Enriching program evaluation through insiders’ opinions: An American university graduate program

RumeliDE Dil ve Edebiyat Araştırmaları Dergisi 2021.23 (Haziran)/ 861 Programın parçası kişilerin görüşleriyle zenginleştirilmiş program değerlendirmesi: Bir Amerikan Üniversitesi yüksek lisans programı / K. V. Tezel (861-874. s.) 54. Enriching program evaluation through insiders’ opinions: An American university graduate program1 Kadir Vefa TEZEL2 APA: Tezel, K. V. (2021). Enriching program evaluation through insiders’ opinions: An American University graduate program. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (23), 861-874. DOI: 10.29000/rumelide.949718. Abstract Assessing the quality of education is a vital stipulation for all graduate programs that aim to secure and bolster their current rank among similar programs. Program evaluation is usually carried out by parties not directly related to a program. In other words, outsiders evaluate programs. Insiders who have first-hand experiences and impressions formed on those experiences are typically excluded from the evaluation process. Inclusion of the perspectives of insiders into the gathered data in program evaluation, however, would certainly add depth and enrich reports produced at the end of program evaluation studies. Another important point is the limitation of traditional curriculum evaluation studies due to the fact that they do only one of the four types of evaluations that exist in the literature. Including the views of insiders in the evaluation process and choosing a data collection tool that will enable multiple types of evaluation to be done in a single effort will also contribute to a more comprehensive assessment of graduate programs. In order to carry out such a program evaluation, this study conducted an evaluation based on the impressions of insiders about the aspects related to the quality of education provided in an American university graduate program. The participants were all faculty members and students in the program. The results showed that both groups expressed positive opinions about the majority of the dimensions directly related to the quality of the education provided in the program. It was also determined that there were areas that were not primarily related to the quality of education which needed improvement, but that most of those areas would become areas of high satisfaction with little effort. Keywords: Program evaluation, graduate education program, survey research, questionnaire Programın parçası kişilerin görüşleriyle zenginleştirilmiş program değerlendirmesi: Bir Amerikan üniversitesi yüksek lisans programı* Öz Eğitimin kalitesini değerlendirmek, benzer programlar arasında mevcut sıralarını korumayı ve güçlendirmeyi amaçlayan tüm lisansüstü programlar için hayati bir koşuldur. Program değerlendirmesi genellikle bir programla doğrudan ilişkili olmayan taraflarca yapılır. Bir başka deyişle, program değerlendirmesini dışarıdan gelen kişiler yapar. Programın parçası olan ve onunla ilgili ilk elden deneyimlere ve bunlara ilişkin izlenimlere sahip olan insanlar ise genellikle değerlendirme sürecinin dışında tutulurlar. Oysa program değerlendirmesinde toplanan verilere programın parçası olan kişilerin bakış açılarının dâhil edilmesi, program değerlendirme çalışmalarının sonunda üretilen raporlara kesinlikle derinlik katacak ve onları zenginleştirecektir. 1 2 Bu çalışma yazarının doktora tezinden üretilmiştir. Dr. Öğr. Üyesi, Bolu Abant İzzet Baysal Universitesi, Eğitim Fakültesi, Yabancı Diller Eğitimi Bölümü (Bolu, Türkiye), , ORCID ID: 0000-0002-2636-1221 [Araştırma makalesi, Makale kayıt tarihi: 16.04.2021-kabul tarihi: 20.06.2021; DOI: 10.29000/rumelide.949718] Adres RumeliDE Dil ve Edebiyat Araştırmaları Dergisi Osmanağa Mahallesi, Mürver Çiçeği Sokak, No:14/8 Kadıköy - İSTANBUL / TÜRKİYE 34714 e-posta: tel: +90 505 7958124, +90 216 773 0 616 Address RumeliDE Journal of Language and Literature Studies Osmanağa Mahallesi, Mürver Çiçeği Sokak, No:14/8 Kadıköy - ISTANBUL / TURKEY 34714 e-mail: , phone: +90 505 7958124, +90 216 773 0 616 862 / RumeliDE Journal of Language and Literature Studies 2021.23 (June) Enriching program evaluation through insiders’ opinions: An American University graduate program / K. V. Tezel (pp. 861-874) Bir başka önemli konu da geleneksel program değerlendirme çalışmalarının alan yazında var olan dört tür değerlendirmeden sadece bir türünü yapmasından kaynaklanan sınırlılıklarıdır. Bir programın parçası olan insanların görüşlerini de içeren ve birden çok değerlendirmenin tek seferde yapılmasını mümkün kılacak bir veri toplama aracı seçmek, lisansüstü programların daha kapsamlı bir değerlendirilmesine önemli katkılarda bulunacaktır. Bu tür bir program değerlendirmesini gerçekleştirmek amacıyla, bu çalışmada bir Amerikan üniversitesinin yüksek lisans programında verilen eğitimin kalitesi ile ilgili yönleri hakkında programın parçası olan insanların izlenimlerine dayalı bir değerlendirme çalışması gerçekleştirilmiştir. Katılımcılar programdaki tüm öğretim üyeleri ve öğrencilerdir. Sonuçlar, her iki grubun da programda verilen eğitimin kalitesiyle doğrudan ilgili boyutların çoğu hakkında olumlu görüş bildirdiklerini göstermiştir. Eğitim kalitesiyle öncelikli olarak ilgili olmayan ancak iyileştirilmesi gereken alanların da olduğu, ancak bu alanların çoğunun çok az bir çabayla yüksek memnuniyet duyulan alanlara dönüşeceği de belirlenmiştir. Anahtar kelimeler: Program değerlendirme, lisansüstü eğitim programı, tarama araştırması, anket 1. Introduction Educational institutions strive to enhance the quality of education they give because they gain recognition and establish a good reputation for themselves in return. Quality is not a dimension that offers itself readily to assessment in education. It is assessed through a process of collecting and assessing relevant data to make evaluative judgments about a program referred to as program evaluation in which data are collected, analyzed, and interpreted to make judgments as to whether to continue a program as it is, modify it, or terminate it (Craven, 1980). Programs are evaluated to determine the quality of education given in them (Herman et al., 1987) and necessary improvements are subsequently made to improve educational quality. Program evaluation is generally carried out by external parties such as accreditation agencies who are not parts of the program. These people or groups focus on aspects of programs like the number of students, the amount of research conducted by faculty members, and the program’s regional and national ratings in their reports. Evaluation reports prepared by those parties are limited in terms of comprehensiveness for three main reasons: first, people who prepare them are outsiders who are invited and sometimes financially compensated to conduct the evaluation. These people do not possess first-hand experiences or opinions about the program. Using their expertise, they make use of the available data and a set of criteria or standards to judge how well the program fare (...truncated)