ساخت پرسشنامه‌ای میزان‌شده برای انداز‌ه‌‌گیری فرهنگ ارزشیابی در آموزش عالی: یک پژوهش آمیخته، مدل توسعة ابزار (ابزاری میزان‌شده برای سنجش فرهنگ ارزشیابی در سیستم آموزش عالی)

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه سنجش و اندازه‌گیری، گروه روش‌ها و برنامه‌های درسی و آموزشی، دانشکدة روان‌شناسی و علوم تربیتی، دانشگاه تهران، تهران، ایران

2 گروه برنامه‌ریزی درسی، گروه روش‌ها و برنامه‌های درسی و آموزشی، دانشکدة روان‌شناسی و علوم تربیتی، دانشگاه تهران، تهران، ایران

چکیده

هدف: این پژوهش با هدف مفهوم‌پردازی و ساخت ابزاری میزان‌شده برای اندازه‌گیری فرهنگ ارزشیابی شکل گرفت.

روش پژوهش: این پژوهش مبتنی بر روش آمیخته اکتشافی مدل توسعه ابزار بود. در مرحله پدیدارشناسی با هدف تحلیل تجارب زیسته یاران آموزشی، ادراک چهار طبقه شامل اعضای هیات علمی، کارکنان، مدیران و دانشجویان دانشکده‌های مختلف دانشگاه پس از مصاحبه با 61 شرکت‌کننده، اشباع داده حاصل‌شد. در بخش کمّی مبتنی بر روش همبستگی انجام‌شد و 510 نفر از کُنشگران دانشگاهی شامل اعضای هیات علمی، کادر آموزش و اجرایی و دانشجویان دانشگاه به شیوه در دسترس در مطالعه شرکت کردند. در ساخت ابزار، ویژگی‌های روان‌سنجی بر اساس نظریه کلاسیک آزمون(CTT) و نظریه ‌سئوال‌پاسخ (IRT)مورد بررسی قرار گرفت.

یافته‌ها: در ابتدا روایی محتوایی و سازه با استفاده از تحلیل عاملی مورد بررسی و تایید قرار گرفت؛ در ادامه اعتبار با استفاده از روش اُمگا مک دونالد در فرهنگ ارزشیابی بصورت کلی 869/0 و در همه خرده‌مقیاس‌ها بالای 7/0 بدست آمد. در تحلیل گویه‌ها مبتنی بر نظریه سوال پاسخ، یافته‌ها نشان داد که مدل امتیاز پاره‌ای (PCM) با داده‎های پرسشنامه فرهنگ‌ارزشیابی برازش مناسب‌تری دارد.

نتیجه‌گیری: بر اساس نتایج بدست‌آمده و ویژگی‌های مطلوب روان‌سنجی از ابزار ساخته‌شده، از این پرسشنامه می‌توان برای سنجش سطوح فرهنگ ارزشیابی در محیط دانشگاهی استفاده کرد.

کلیدواژه‌ها

موضوعات


بنی‌سی، پریناز؛ دلفان آذری، قنبرعلی و رشاد، فائقه (1396). نگاهی نو به برنامه‌ریزی آموزشی و درسی در هزارة سوم. تهران: آوای نور.
بنی‌اسدی، علی و صالحی، کیوان (1398). مقدمه‌ای بر اصول و فرایند ساخت و رواسازی پروتکل مصاحبه. نامة آموزش عالی، 12(46)، 11 ـ 203. https://journal.sanjesh.org/article_36128.html
خادم‌محترم، خلیل و سلیمی، مهتاب (1398). ارزشیابی و تضمین کیفیت در نظام آموزش عالی. مطالعات کاربردی در علوم مدیریت و توسعه، 4(15)، 34 ـ 47.
سیدکلان، سید محمد؛ زاهد‌بابلان، عادل؛ ‌معینی‌کیا، مهدی و رضایی‌شریف، علی (1397). فرهنگ کیفیت در دانشگاه ‌فرهنگیان؛ ارائة مدلی بر ‌پایة نظریة داده‌بنیاد. راهبرد فرهنگ، 11(44)، 144 ـ 170.
فراست‌خواه، مقصود (1387). آینده‌اندیشی دربارة کیفیت آموزش عالی ایران؛ مدلی برآمده از نظریة مبنایی (GT). پژوهش و برنامه‌ریزی در آموزش عالی، 50، 67 ـ 97.
فراست‌خواه، مقصود؛ بازرگان، عباس و لوکس، کارو (1386). بررسی رابطة نظام‌های تضمین کیفیت آموزش عالی با زمینه‌های فرهنگی و اجتماعی (نقشة شناختی با تأکید بر مورد ایران). علوم اجتماعی، 31، 1 ـ 20.
مالمیر، مرتضی؛ صالحی، کیوان؛ مقدم‌زاده، علی و دهقانی، مرضیه (1400). ابعاد و سطوح فرهنگ کیفیت در نظام آموزش عالی: مروری منظم. مطالعات اندازه‌گیری و ارزشیابی آموزشی، 11(36)، 29 ـ 53. Doi: 10.22034/emes.2021.251556
مالمیر، مرتضی؛ صالحی، کیوان؛ مقدم‌زاده، علی و دهقانی، مرضیه (1402). معنا و مفهوم فرهنگ کیفیت از منظر ذی‌نفعان در دانشگاه تهران. مدیریت فرهنگ سازمانی، 21. Doi: 10.22059/jomc.2023.364285.1008585
ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ (1402). اشتراک و افتراق مفهوم فرهنگ ارزشیابی در نظام‌های دانشگاهی به منظور توسعة سرمایة انسانی‌ـ  اجتماعی. مدیریت سرمایة اجتماعی. Doi: 10.22059/jscm.2023.364330.2441
Aburizaizah, S.J. (2022). The role of quality assurance in Saudi higher education institutions. International Journal of Educational Research Open, 3. https://doi.org/10.1016/j.ijedro.2022.100127.
Angiel, J. & Pokojski, W. (2019). Education for sustainable development – from students and geography teachers knowledge to educational activities. Miscellanea Geographica, 23(1), 47-52. Doi: https://doi.org/10.2478/mgrsd-2018-0026 .
Astin, A.W. & Antonio, A.L. (2012). Assessment for Excellence: The Philosophy and Practice of Assessment and Evaluation in Higher Education. Rowman & Littlefield Publishers: Lanham, MD, USA.
Balesh, O., Popov, M., Rizhov, N., Ryaskov, Y., Shaposhnikov, S., & Shestopalov, M. (2015). Research on University Education Quality Assurance: Methodology and Results of Stakeholders’ Satisfaction Monitoring. Social and Behavioral Sciences, 214, 344-358.
Banisi, P., Delfan azari, Q.A., & Rashad, F. (2019). A new approach to instructional pedagogical planning in the 3rd millennium. Tehran: Avay Noor. (in Persian).
Bamber, C.J. & Elezi, E. (2020). What culture is your university? Have universities any right to teach entrepreneurialism?. Higher Education Evaluation and Development, 14, 19-32. https://doi.org/10.1108/HEED-09-2018-0021.
Baniasadi, A. & Salehi, K. (2019). Introduction on the Principles and Process of Construction and Validation of the Interview Protocol. Higher Education Letter, 12(46), 177-203. (in Persian)
Bognar, B. & Bungić, M. (2014). Evaluation in Higher Education. Život i škola, 31(60), 139-159.
Braga, M., Paccagnella, M., & Pellizari, M. (2014). Evaluating students’ evaluations of professors. Economics of Education Review, 41, 77-88.
Brown, GTL (2019). Is Assessment for Learning Really Assessment?. Front. Educ. 4, 64. Doi: 10.3389/feduc.2019.00064.
Chaytor, K. (2023). Building Evaluation Culture—The Missing Link.
Chen, H. (2023). Evaluation of Schools of University and Analysis of Obstacle Factors under the Background of High-Quality Development. Sustainability, 15, 3754. https://doi.org/10.3390/su15043754.
Cao, C., Wei, T., Xu, S., et al. (2023). Comprehensive evaluation of higher education systems using indicators: PCA and EWM methods. Humanit Soc Sci Commun, 10, 432. https://doi.org/10.1057/s41599-023-01938-x
Farastkhah, M. (2008). Future thinking about the quality of higher education in Iran; A model derived from grounded theory (GT). Journal of Research and Planning in Higher Education, 50, 67-97. (in Persian)
Farstakhah, M., Bazargan, A., & Lux, K. (2006). Investigating the relationship between higher education quality assurance systems and cultural and social contexts, a cognitive map with an emphasis on the case of Iran. Social Sciences, 31, 1-20. (in Persian)
Gandini, A. (2016). The reputation economy: Understanding knowledge work in digital society. London: Springer.
Han, H.B. (2011). Application research on universities effificiency assessment based on the combination model of AHP and DEA. Technol. Innov. Manag, 32, 399–402.
Huang, S.M., Wang, Y.H., & Chen, T.Q. (2022). A fuzzy comprehensive evaluation method on the construction of high-level universities based on data from Jiangsu Province. Sci. Program., 9343954.
Huber, S.G. & Skedsmo, G. (2017). Standardization and assessment practices. Educ Asse Eval Acc 29, 1–3. https://doi.org/10.1007/s11092-017-9257-1
Jalaliyoon, N. & Taherdoost, H. (2012). Performance Evaluation of Higher Education; A Necessity. Procedia-Social and Behavioral Sciences, 46, 5682-5686.
José Matus Gómez, O. (2024). Culture of evaluation: A proposal from the role of university teaching. National Autonomous University of Nicaragua, Managua, 13(36). https://doi.org/10.5377/rtu.v13i36.17634
Kalinowska, A., Szkop, Z., & Wiśniewski, R. (2016). ‘A comparative study of environmental awareness among st udents pursuing Bachelor’s studies in selected academic fields at the University of Warsaw Poland’. Environmental & Socioeconomic Studies, 4(2), 17–25.
Kalinowska, A. (2010). ‘Rola studiów ochrony środowiska w upowszechnianiu międzynarodowych inicjatyw edukacyjnych ONZ [The role of environmental protection studies in dissemination of international UN educational initiatives] in Ochrona środowiska w programach studiów przyrodniczych [Environmental protection in natural science programs] eds B Gabryś & G Gabryś Uniwersytet Zielonogórski, 7–17.
Kim, S. (2015). An Analysis Of Teacher Question Types In Inquiry-Based Classroom and Traditional Classroom Settings. Thesis for the Doctor of Philosophy degree in Teaching and Learning (Science Education) in the Graduate College of The University of Iowa.
Khadam Mohtaram, K. & Salimi, M. (2018). Evaluation and quality assurance in the higher education system. Bimonthly Scientific-Specialist Journal of Applied Studies in Management and Development Sciences, 4(15), 34-47. (in Persian)
Kline, R. B. (2005). Principles and Practice of Structural Equation Modeling. (2ndedition). New York, NY: Guilford Press.
Malmir, M., Salehi, K., Moghadam Zadeh, A., & Dehghani, M. (2023). Meaning and Concept of Quality Culture Based on The View of Stakeholders at Tehran University. Organizational Culture Management, 4. Doi: 10.22059/jomc.2023.364285.1008585. (in Persian).
Malmir, M., Salehi, K., Moghadamzadeh, A., & Dehghani, M. (2021). Dimensions and Levels Of Quality Culture in the Higher Education System: A Systematic Review. Educational Measurement and Evaluation Studies, 11(36), 29-53. Doi: 10.22034/emes.2021.251556. (in Persian)
Malmir, M., Salehi, K., Moghadam Zadeh, A., & Dehghani, M. (2023). Commonality and differentiation of the concept of evaluation culture in university systems in order to develop human-social capital. Social Capital Management. Doi: 10.22059/jscm.2023.364330.2441. (in Persian)
Mayne, J. (2008). Building an Evaluative Culture for Effective Evaluationand Results Management. Rome, Italy. Institutional Learning and Change (ILAC).
Mayne, J. (2010). Building an evaluative culture: The key to effective evaluation and result management. Canadian Journal of Program Evaluation, 24(2), 1–30.
Mayne, J. (2020). Building evaluative culture in community services: caring for evidence. Evaluation and Program Planning, 80, 101450. https://doi.org/10.1016/j.evalprogplan.2017.05.011
Prudente, J. & Yunaningsih, A. (2023). Improving university competitiveness and quality education through Human Resource Development in the digital era. Bedan Research Journal, 8(1), 173–201. https://doi.org/10.58870/berj.v8i1.51
Rahnuma, N. (2020). Evolution of quality culture in an HEI: critical insights from university staff in Bangladesh. Educ Asse Eval Acc, 32, 53–81.
Rospigliosi, P.A. (2019). The role of social media as a learning environment in the fully functioning university: preparing for Generation Z. Journal Interactive Learning Environments, 27(4), 429-431.
Salehi, K. & Golafshani, N. (2010). COMMENTARY: Using mixed methods in research studies: An opportunity with its challenges. International journal of multiple research approaches, 4(3), 186-191.‏ https://doi.org/10.5172/mra.2010.4.3.186
Scheerens, J. (2004). The Evaluation Culture. Studies in Educational Evaluation, 30, 105-124.
Seyedkalan, S., Zahed-babolan, A., Moeinikia, M., & Rezaeisharif, A. (2019). Quality Culture in Farhangian University: Presenting a Model Based on Grounded Theory. Et, 11(44), 147-170. Doi: 10.22034/jsfc.2019.92147. (in Persian)
Simper, N., Martensson, S., Berry, A., & Maynard, N. (2021). Assessment cultures in higher education: reducing barriers and enabling change. Assessment & Evaluation in Higher Education, 4. https://doi.org/10.1080/02602938.2021.1983770
Sun, J. (2020). Research on faculty and staff for constructing the “double first-class" universities based on Grey-AHP comprehensive evaluation model. Grey Syst. Theory Appl, 10, 467–478.
Zhang, F. & Guo, S. (2014). The Role of Higher Education Evaluation System in the Senior Human Resources Development. International Conference on Education, Language, Art and Intercultural Communication (ICELAIC 2014).