DEVELOPMENT OF A LEARNER CORE COMPETENCY ASSESSMENT INSTRUMENT FOR SCIENCE PROJECT ACTIVITIES OF VOCATIONAL CERTIFICATE STUDENTS

Abstract

The objectives of this research were (i) to develop assessment tools for measuring students’ core competencies related to science project activities among vocational certificate students, and (ii) to examine the psychometric properties of the developed tools. The sample consisted of 340 first-year vocational certificate students in the 2021 academic year, selected through multi-stage random sampling from five public vocational colleges in Rayong Province. The properties of the developed tools were evaluated using the Index of Item - Objective Congruence (IOC), item difficulty (p), and item discrimination (r) through the B - Index and item-total correlation, as well as measures of reliability. Reliability was assessed using Livingston’s coefficient, Cronbach’s Alpha coefficient, and inter-rater reliability via the Intraclass Correlation Coefficient (ICC).

The results of the instrument development showed that the assessment tools for measuring students’ core competencies related to science project activities were developed based on the core competency framework for vocational certificate students, as specified by the Office of the Vocational Education Commission, Ministry of Education. The framework consists of three domains with a total of 11 sub-competencies. These were used to develop three assessment tools. The first tool measured the knowledge domain and comprised two parts: (i) a multiple-choice test and (ii) a peer assessment. The second tool measured the skills domain and consisted of one part, which was a teacher observation checklist. The last tool measured the domain of application and responsibility and consisted of two parts: (i) a multiple - choice test and (ii) a self-assessment. The properties of the first tool revealed that the multiple-choice test demonstrated acceptable psychometric properties, with item difficulty ranging from .40 to .75, item discrimination between .26 and .47, reliability coefficients from .970 to .978, and content validity (IOC) values ranging from 0.60 to 1.00. For the peer assessment, item discrimination ranged from .604 to .751, and reliability coefficients ranged from .856 to .859. The properties of the second tool revealed that inter - rater reliability measured by the Intraclass Correlation Coefficient (ICC) ranged from .936 to .974. The third instrument demonstrated acceptable measurement properties. In the multiple - choice test, item difficulty ranged from .20 to .75, item discrimination from .26 to .44, reliability coefficients from .97 to .98, and content validity (IOC) values from .60 to 1.00. For theself - assessment, item discrimination ranged from .518 to .740, with reliability coefficients ranging from .762 to .855

วัตถุประสงค์ของการวิจัยครั้งนี้ คือ 1) เพื่อพัฒนาเครื่องมือประเมินสมรรถนะแกนกลางของผู้เรียนในเรื่องกิจกรรมโครงงานวิทยาศาสตร์ของนักเรียนระดับประกาศนียบัตรวิชาชีพ และ 2) เพื่อหาคุณภาพของเครื่องมือวัดสมรรถนะแกนกลางผู้เรียน เรื่อง กิจกรรมโครงงานวิทยาศาสตร์ของนักเรียนระดับประกาศนียบัตรวิชาชีพ ตัวอย่างที่ใช้ในการศึกษา ได้แก่ นักเรียนระดับประกาศนียบัตรวิชาชีพ ชั้นปีที่ 1 ในปีการศึกษา 2564 จากวิทยาลัยอาชีวศึกษาของรัฐ 5 วิทยาลัยในจังหวัดระยอง รวมจำนวนทั้งสิ้น 340 คน โดยใช้การสุ่มตัวอย่างแบบหลายขั้นตอน การหาคุณภาพของเครื่องมือวัดที่พัฒนาขึ้นใช้ดัชนีความสอดคล้องระหว่างข้อคำถามกับวัตถุประสงค์ (IOC) ค่าความยาก (p) ค่าอำนาจจำแนก (r) โดยใช้ดัชนี B - Index และค่าสหสัมพันธ์ระหว่างคะแนนรายข้อกับคะแนนรวม (Item - Total Correlation) รวมถึงการวัดค่าความเชื่อมั่น ซึ่งประเมินโดยใช้สูตรของลิฟวิงสตัน (Livingston’s Coefficient) ค่าสัมประสิทธิ์แอลฟาของครอนบาค (Cronbach’s Alpha) และความเชื่อมั่นระหว่างผู้ประเมินโดยใช้ค่าสหสัมพันธ์ระหว่างกลุ่ม (Intraclass Correlation Coefficient: ICC)

ผลการพัฒนาเครื่องมือ พบว่า เครื่องมือวัดสมรรถนะแกนกลางผู้เรียนเรื่องกิจกรรมโครงงานวิทยาศาสตร์พัฒนาตามกรอบสมรรถนะแกนกลางของนักเรียนระดับชั้นประกาศนียบัตรวิชาชีพวิชาชีพ สำนักงาน คณะกรรมการการอาชีวศึกษา กระทรวงศึกษาธิการ ประกอบด้วย 3 ด้าน รวมทั้งสิ้น 11 สมรรถนะย่อย โดยนำมาสร้างเครื่องมือวัดสมรรถนะจำนวน 3 ฉบับ ดังนี้ เครื่องมือฉบับที่ 1 ใช้วัดสมรรถนะด้านความรู้ ประกอบด้วย 2 ตอน ได้แก่ 1) แบบทดสอบแบบเลือกตอบ และ 2) แบบประเมินโดยเพื่อน เครื่องมือฉบับที่ 2 ใช้วัดสมรรถนะด้านทักษะ มี 1 ตอน ซึ่งเป็นแบบสังเกตโดยครูผู้สอน และเครื่องมือฉบับที่ 3 ใช้วัดสมรรถนะด้านความสามารถในการประยุกต์ใช้และความรับผิดชอบ มี 2 ตอน ได้แก่ 1) แบบทดสอบแบบเลือกตอบ และ 2) แบบประเมินตนเอง สำหรับผลการตรวจสอบคุณภาพเครื่องมือของเครื่องมือฉบับที่ 1 พบว่า แบบทดสอบแบบเลือกตอบมีมีค่าความยากของข้อสอบอยู่ระหว่าง .40 ถึง .75 ค่าอำนาจจำแนกระหว่าง .26 ถึง .47 ค่าความเชื่อมั่นอยู่ระหว่าง 0.970 ถึง 0.978 และค่าความตรงตามเนื้อหา (IOC) อยู่ระหว่าง .60 ถึง 1.00 สำหรับแบบประเมินโดยเพื่อนมีค่าอำนาจจำแนกระหว่าง .604 ถึง .751 และค่าความเชื่อมั่นอยู่ระหว่าง .856 ถึง .859 ผลการตรวจสอบเครื่องมือฉบับที่ 2 พบว่า ค่าความเชื่อมั่นระหว่างผู้ประเมิน ซึ่งวัดโดยค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างกลุ่ม (ICC) อยู่ระหว่าง .936 ถึง .974 และผลการตรวจสอบเครื่องมือฉบับที่ 3 พบว่า มีคุณสมบัติในการวัดที่เหมาะสม โดยในแบบทดสอบแบบเลือกตอบ มีค่าความยากของข้อสอบอยู่ระหว่าง .20 ถึง .75 ค่าอำนาจจำแนกระหว่าง .26 ถึง .44 ค่าความเชื่อมั่นอยู่ระหว่าง .97 ถึง .98