DEVELOPMENT OF MEASUREMENT MODELS AND MEASUREMENT TOOLS OF TEACHER’S DIGITAL COMPETENCY IN DISRUPTION ERA : MULTIGROUP ANALYSIS

Abstract

The purposes of this research are 1) to develop a model for measuring the digital competencies of teachers in the era of disruption and to test the invariance of the model across gender, 2) to create and validate a tools for assessing the digital competencies of teachers in the disruption era, and 3) to establish criteria and guidelines for using the tools to assess teachers' digital competencies. The research is divided into two phases. The first phase involves the development of the measurement model and testing the invariance of the model across gender. The sample consists of 437 secondary school teachers from the eastern region, selected through a multi-stage random sampling method. The tool used is a 5-point Likert scale questionnaire on teachers' digital competencies in the era of disruption, comprising 54 items. The tool met the quality criteria (r =0.53–0.84, CVI = 1.0, and Omega = 0.90 – 0.97). Data analysis included descriptive statistics, multivariate analysis of variance, and second-order confirmatory factor analysis. The second phase focuses on the development of two assessment tools for evaluating the digital competencies of teachers in the disruption era: a self-assessment version and a supervisor assessment version, both being checklist-based. The items for these assessment tools were derived from the first phase of the research. Initially, the self-assessment version was developed with evaluation criteria established, followed by adjustments to create the supervisor assessment version. The sample used to test the quality and criteria of the assessment tools included 400 secondary school teachers, selected through multi-stage random sampling. The tool's quality was validated by examining content validity, discriminant power, and reliability using Cronbach’s alpha, along with inter-rater reliability.

The research findings revealed that the digital competency measurement model consistent with empirical data (χ² = 144.87, df = 121, p = 0.068, NFI = 0.99, CFI = 0.99, RMSEA = 0.021, RMR = 0.023). All factor loadings of latent and observed variables were statistically significant at the 0.01 level, with latent variable loadings ranging from 0.85 to 0.95, and observed variable loadings ranging from 0.68 to 0.97. The test for the invariance of the digital competency measurement model across gender showed that the model's figure was invariant across gender (Chi-square = 307.39, df = 270, p = 0.058, RMSEA = 0.025, RMR = 0.023). When examining the factor loadings in the full model and the multi-group latent and observed variables, most showed differences so the measurement model addressed partial invariant. The development of the digital competency assessment tools for teachers in the disruption era produced two versions: the first version is the self-assessment tool, which is a checklist with criteria for each aspect and an overall summary. It measures five components with 20 indicators and 66 items, having good content validity (CVI) = 0.88, discriminant power ranging from 0.50 to 0.83, and reliability ranging from 0.90 to 0.97. The second version is the supervisor assessment tool, which follows the same structure as the self-assessment version but adapt the items for supervisor evaluation. The reliability test for inter-rater reliability, conducted with five teachers and two evaluators, showed an inter-rater reliability coefficient of 0.82. The assessment criteria for digital competencies were divided into three levels: beginner, intermediate, and advanced.

การวิจัยครั้งนี้มีวัตถุประสงค์ 1) เพื่อพัฒนาโมเดลการวัดสมรรถนะทางดิจิทัลของครูในยุคดิสรัปชัน และทดสอบความไม่แปรเปลี่ยนของโมเดลการวัดสมรรถนะทางดิจิทัลของครู 2) เพื่อสร้างและตรวจสอบคุณภาพของแบบวัดสมรรถนะทางดิจิทัลของครู ในยุคดิสรัปชัน และ 3) เพื่อสร้างเกณฑ์และคู่มือการใช้แบบวัดสมรรถนะทางดิจิทัลของครู การวิจัยแบ่งเป็น 2 ระยะ ระยะแรกเป็นการพัฒนาโมเดลการวัดและการทดสอบความไม่แปรเปลี่ยนของโมเดลการวัดตามตัวแปรเพศ ตัวอย่างเป็นครูผู้สอนระดับมัธยมศึกษาในภาคตะวันออก จำนวน 437 คน ได้มาด้วยการสุ่มแบบหลายขั้นตอน เครื่องมือเป็นแบบสอบถามสมรรถนะทางดิจิทัลของครูในยุคดิสรัปชัน แบบประมาณค่า 5 ระดับจำนวน 54 ข้อมีคุณภาพผ่านเกณฑ์ (r= .528- .841, CVI = 1.0 และ omega = 0.904- 0.968) การวิเคราะห์ข้อมูลใช้การวิเคราะห์สถิติบรรยาย ความแปรปรวนพหุ การวิเคราะห์องค์ประกอบเชิงยืนยันอันดับที่สอง ระยะที่สอง เป็นการพัฒนาเครื่องมือประเมินสมรรถนะทางดิจิทัลในยุคดิสรัปชันของครู จำนวน 2 ฉบับ คือแบบประเมินตนเอง และแบบประเมินโดยหัวหน้างาน เป็นแบบตรวจสอบรายการทั้งสองฉบับ ข้อรายการของแบบประเมินได้มาจากการวิจัยระยะแรก โดยพัฒนาแบบประเมินตนเองพร้อมสร้างเกณฑ์การประเมิน จากนั้นปรับข้อรายการเพื่อจัดทำแบบประเมินโดยหัวหน้างาน ตัวอย่างที่ใช้ตรวจสอบคุณภาพและสร้างเกณฑ์ของแบบประเมินใช้ครูผู้สอนระดับมัธยมศึกษา จำนวน 400 คน ได้มาจากการสุ่มแบบหลายขั้นตอน การตรวจสอบคุณภาพเครื่องมือใช้ความตรงเชิงเนื้อหา อำนาจจำแนก และความเที่ยงด้วยวิธีของครอนบาคและความเที่ยงระหว่างผู้ประเมิน

ผลการวิจัยพบว่า โมเดลการวัดสมรรถนะทางดิจิทัลมีความสอดคล้องกับข้อมูลเชิงประจักษ์ (χ² = 144.87, p= 0.068, df = 121, NF I= 0.99, CFI = 0.99 , RMSEA = 0.021, RMR = 0.023) ค่าน้ำหนักองค์ประกอบของตัวแปรแฝงและตัวแปรสังเกตได้ทุกตัวมีนัยสำคัญทางสถิติที่ระดับ .01 มีน้ำหนักองค์ประกอบตัวแปรแฝงมีค่าระหว่าง 0.85 – 0.95 และน้ำหนักองค์ประกอบของตัวแปรสังเกตได้มีค่าระหว่าง 0.68 – 0.97 ผลการทดสอบความไม่แปรเปลี่ยนของโมเดลการวัดสมรรถนะทางดิจิทัลของครู ในยุคดิสรัปชัน พบว่า รูปแบบของโมเดลไม่มีความแปรเปลี่ยนระหว่างเพศของครู (χ² = 307.39, df = 270, p = 0.058, RMSEA=0.025, RMR=0.023) เมื่อพิจารณาค่าน้ำหนักองค์ประกอบในโมเดลแบบเต็มกับโมเดลกลุ่มพหุของตัวแปรแฝงและตัวแปรสังเกตได้ส่วนใหญ่มีความแตกต่างกัน ผลการพัฒนาเครื่องมือประเมินสมรรถนะทางดิจิทัลผลการพัฒนาแบบประเมินสมรรถนะทางดิจิทัลของครูในยุคดิสรัปชั่น ได้แบบประเมินจำนวน 2 ฉบับคือ ฉบับแรก แบบประเมินสมรรถนะทางดิจิทัลสำหรับครูประเมินตนเอง เป็นแบบตรวจสอบรายการพร้อมเกณฑ์ในแต่ละด้านและสรุปรวม วัด 5 องค์ประกอบ 20 ตัวบ่งชี้ จำนวน 66 ข้อ โดยมีความตรงเชิงเนื้อหา (CVI) = 0.88 อำนาจจำแนก 0.50 - 0.83 และความเที่ยง 0.97 ฉบับที่สอง แบบประเมินสมรรถนะทางดิจิทัลสำหรับหัวหน้าประเมิน เป็นแบบตรวจสอบรายการที่ใช้โครงสร้างเดียวกับแบบประเมินตนเอง มีการปรับเปลี่ยนข้อรายการจากการประเมินตนเองเป็นหัวหน้าประเมิน เมื่อนำไปทดลองใช้ประเมินกับครูจำนวน 5 คน โดยใช้ผู้ประเมิน 2 คน ได้ค่าความเที่ยงระหว่างผู้ประเมิน เท่ากับ 0.82 เกณฑ์การประเมินสมรรถนะทางดิจิทัลแบ่งเป็น 3 ระดับคือ ระดับต้น ระดับกลาง และระดับสูง