Designing and validating a clinical competency logbook for workplace-based assessment in undergraduate medical education: A foundational psychometric analysis
- 1Department of Medical Education, Faculty of Medicine, Suez Canal University, Ismailia, Egypt; Department of Family, Community Medicine and Medical Education, College of Medicine, Taibah University, Al Madinah Almunawarah, Saudi Arabia; Corresponding address: Medical Education Department, Suez Canal University, Ismailia, Egypt.
- 2Department of Family, Community Medicine and Medical Education, College of Medicine, Taibah University, Al Madinah Almunawarah, Saudi Arabia; Department of Community, Occupational and Environmental Medicine, Faculty of Medicine, Zagazig University, Zagazig, Egypt
- 3Department of Family, Community Medicine and Medical Education, College of Medicine, Taibah University, Al Madinah Almunawarah, Saudi Arabia; Department of Epidemiology and Preventive Medicine, National Liver Institute, Menoufia University, Egypt
Abstract
الملخص: أهداف البحث: هدفت هذه الدراسة إلى تطوير سجل الكفاءات السريرية وإجراء تحقق أولي من صلاحيته بوصفه أداة منظمة لتقييم الكفاءات السريرية الملحوظة لدى طلاب الطب الجامعي في بيئات الممارسة السريرية الفعلية. طرق البحث: أُجريت دراسة تحقق مستقبلية خلال العام الأكاديمي 2024/2025، وشملت 129 طالبًا وطالبة من طلاب السنة الرابعة بكلية الطب. وطُوّر سجل الكفاءات السريرية بصورة منهجية من خلال مراجعة الأدبيات والتوصل إلى توافق بين الخبراء باستخدام أسلوب دلفي على جولتين لإثبات صدق المحتوى. وتم تقييم الطلاب باستخدام السجل خلال دورتين سريريتين متتاليتين، مدة كل منهما أربعة أسابيع. كما جرى تقييم ثبات الاختبار وإعادة الاختبار باستخدام معامل الارتباط داخل الفئة وفق نموذج التأثيرات العشوائية ثنائي الاتجاه. وأُجري كذلك تحليل استكشافي للإنصاف من خلال مقارنة النتائج بين الطلاب والطالبات. النتائج: أظهر سجل الكفاءات السريرية مستوى قويًا من صدق المحتوى بفضل عملية تطويره القائمة على مراجعة الخبراء. وبلغ ثبات الاختبار وإعادة الاختبار للعينة الكلية مستوى متوسطًا إلى جيد، إذ بلغ معامل الارتباط داخل الفئة 0.711، بفاصل ثقة 95% تراوح بين 0.591 و0.796. ومع ذلك، اختلف مستوى الثبات بين المجموعتين؛ إذ بلغ 0.507 لدى الطلاب و0.346 لدى الطالبات. ويُعزى انخفاض الثبات لدى الطالبات إلى تأثير السقف وضيق التباين في الدرجات. كما لوحظ فرق ذو دلالة إحصائية في متوسط الدرجات بين الجنسين، مما يشير إلى الحاجة إلى مزيد من البحث في احتمال وجود تحيز لدى المقيمين أو تأثير متغيرات أخرى غير مقاسة، مع التأكيد أن هذه النتائج استكشافية. الاستنتاج: أظهر سجل الكفاءات السريرية خصائص سيكومترية مقبولة للاستخدام في التقييم التكويني لطلاب الطب الجامعي. ويدعم صدق المحتوى القوي والثبات الكلي المتوسط استخدامه في متابعة تقدم الطلاب وتقديم تغذية راجعة منظمة. كما تؤكد النتائج أهمية تفسير معاملات الثبات في ضوء سياق توزيع الدرجات، وتدعو إلى الحذر عند استخدام الأداة في القرارات التقويمية عالية المخاطر. وتوفر هذه الدراسة أداة قائمة على الأدلة وإطارًا منهجيًا لتطوير أدوات التقييم القائم على مكان العمل في برامج التعليم الطبي القائم على الكفاءات. Abstract: Background: The implementation of competency-based medical education (CBME) demands robust, validated workplace-based assessment (WBA) tools. In this study, we aimed to develop and conduct an initial validation of the clinical competency logbook (CCL) as a structured instrument designed to assess the observed clinical competencies of undergraduate medical students in authentic practice settings. Methods: A prospective validation study was conducted during the 2024–2025 academic year with 129 fourth-year medical students. The CCL was systematically constructed through literature review and expert consensus using a two-round Delphi process to establish content validity. Students were assessed using the CCL during two consecutive 4-week clinical rotations. Test–retest reliability was evaluated using the intraclass correlation coefficient (ICC) with a two-way random-effects model. Exploratory fairness analysis was conducted based on subgroup comparisons between male and female students. Results: The CCL exhibited strong content validity throughout its expert-driven development process. Overall test–retest reliability was moderate to good (ICC = 0.711, 95% confidence interval [0.591, 0.796]). However, the reliability varied significantly by gender subgroups: ICC = 0.507 for males and ICC = 0.346 for females, which was attributed to ceiling effects and restricted score variance in the female subgroup. The mean scores differed significantly between genders, highlighting the need for further investigations of potential rater bias or other unmeasured variables, although these findings remain strictly exploratory. Conclusion: The CCL exhibited acceptable psychometric properties for formative assessment in undergraduate medical education. The strong content validity and moderate overall reliability (though highly dependent on score distribution and varying by subgroup) support its use for tracking student progress and providing structured feedback. These findings highlight the importance of contextual interpretation of reliability coefficients and suggest that caution is required for high-stakes summative decisions. In this study, we produced an evidence-informed instrument and methodological framework for developing WBA instruments in CBME programs.
Related
- A competency-based assessment system for undergraduate oral and maxillofacial surgery internship: development and pilot validation.
- Development and psychometric validation of a health literacy competency scale for nurses, and its application in a cross-sectional survey: a methodological study
- Assessing cultural awareness and competency in nursing education: A cross-sectional study of undergraduate nursing students in Ireland
- Defining competency frameworks for undergraduate and graduate pharmacology education in Canada
- Assessment in competency-based medical education for anesthesiology: validity evidence, equity, and faculty readiness
BibTeX
@article{tayseermansour2026designing,
title = {{Designing and validating a clinical competency logbook for workplace-based assessment in undergraduate medical education: A foundational psychometric analysis}},
author = {Tayseer Mansour, MD and Marwa Zalat, MD and Ayat R. Abdallah, MD},
journal = {Journal of Taibah University Medical Sciences},
year = {2026},
month = oct,
doi = {10.1016/j.jtumed.2026.07.009},
url = {https://doi.org/10.1016/j.jtumed.2026.07.009},
note = {CC BY},
}
RIS
TY - JOUR
TI - Designing and validating a clinical competency logbook for workplace-based assessment in undergraduate medical education: A foundational psychometric analysis
AU - Tayseer Mansour, MD
AU - Marwa Zalat, MD
AU - Ayat R. Abdallah, MD
PY - 2026
DA - 2026/10/24
JO - Journal of Taibah University Medical Sciences
DO - 10.1016/j.jtumed.2026.07.009
UR - https://doi.org/10.1016/j.jtumed.2026.07.009
AB - الملخص: أهداف البحث: هدفت هذه الدراسة إلى تطوير سجل الكفاءات السريرية وإجراء تحقق أولي من صلاحيته بوصفه أداة منظمة لتقييم الكفاءات السريرية الملحوظة لدى طلاب الطب الجامعي في بيئات الممارسة السريرية الفعلية. طرق البحث: أُجريت دراسة تحقق مستقبلية خلال العام الأكاديمي 2024/2025، وشملت 129 طالبًا وطالبة من طلاب السنة الرابعة بكلية الطب. وطُوّر سجل الكفاءات السريرية بصورة منهجية من خلال مراجعة الأدبيات والتوصل إلى توافق بين الخبراء باستخدام أسلوب دلفي على جولتين لإثبات صدق المحتوى. وتم تقييم الطلاب باستخدام السجل خلال دورتين سريريتين متتاليتين، مدة كل منهما أربعة أسابيع. كما جرى تقييم ثبات الاختبار وإعادة الاختبار باستخدام معامل الارتباط داخل الفئة وفق نموذج التأثيرات العشوائية ثنائي الاتجاه. وأُجري كذلك تحليل استكشافي للإنصاف من خلال مقارنة النتائج بين الطلاب والطالبات. النتائج: أظهر سجل الكفاءات السريرية مستوى قويًا من صدق المحتوى بفضل عملية تطويره القائمة على مراجعة الخبراء. وبلغ ثبات الاختبار وإعادة الاختبار للعينة الكلية مستوى متوسطًا إلى جيد، إذ بلغ معامل الارتباط داخل الفئة 0.711، بفاصل ثقة 95% تراوح بين 0.591 و0.796. ومع ذلك، اختلف مستوى الثبات بين المجموعتين؛ إذ بلغ 0.507 لدى الطلاب و0.346 لدى الطالبات. ويُعزى انخفاض الثبات لدى الطالبات إلى تأثير السقف وضيق التباين في الدرجات. كما لوحظ فرق ذو دلالة إحصائية في متوسط الدرجات بين الجنسين، مما يشير إلى الحاجة إلى مزيد من البحث في احتمال وجود تحيز لدى المقيمين أو تأثير متغيرات أخرى غير مقاسة، مع التأكيد أن هذه النتائج استكشافية. الاستنتاج: أظهر سجل الكفاءات السريرية خصائص سيكومترية مقبولة للاستخدام في التقييم التكويني لطلاب الطب الجامعي. ويدعم صدق المحتوى القوي والثبات الكلي المتوسط استخدامه في متابعة تقدم الطلاب وتقديم تغذية راجعة منظمة. كما تؤكد النتائج أهمية تفسير معاملات الثبات في ضوء سياق توزيع الدرجات، وتدعو إلى الحذر عند استخدام الأداة في القرارات التقويمية عالية المخاطر. وتوفر هذه الدراسة أداة قائمة على الأدلة وإطارًا منهجيًا لتطوير أدوات التقييم القائم على مكان العمل في برامج التعليم الطبي القائم على الكفاءات. Abstract: Background: The implementation of competency-based medical education (CBME) demands robust, validated workplace-based assessment (WBA) tools. In this study, we aimed to develop and conduct an initial validation of the clinical competency logbook (CCL) as a structured instrument designed to assess the observed clinical competencies of undergraduate medical students in authentic practice settings. Methods: A prospective validation study was conducted during the 2024–2025 academic year with 129 fourth-year medical students. The CCL was systematically constructed through literature review and expert consensus using a two-round Delphi process to establish content validity. Students were assessed using the CCL during two consecutive 4-week clinical rotations. Test–retest reliability was evaluated using the intraclass correlation coefficient (ICC) with a two-way random-effects model. Exploratory fairness analysis was conducted based on subgroup comparisons between male and female students. Results: The CCL exhibited strong content validity throughout its expert-driven development process. Overall test–retest reliability was moderate to good (ICC = 0.711, 95% confidence interval [0.591, 0.796]). However, the reliability varied significantly by gender subgroups: ICC = 0.507 for males and ICC = 0.346 for females, which was attributed to ceiling effects and restricted score variance in the female subgroup. The mean scores differed significantly between genders, highlighting the need for further investigations of potential rater bias or other unmeasured variables, although these findings remain strictly exploratory. Conclusion: The CCL exhibited acceptable psychometric properties for formative assessment in undergraduate medical education. The strong content validity and moderate overall reliability (though highly dependent on score distribution and varying by subgroup) support its use for tracking student progress and providing structured feedback. These findings highlight the importance of contextual interpretation of reliability coefficients and suggest that caution is required for high-stakes summative decisions. In this study, we produced an evidence-informed instrument and methodological framework for developing WBA instruments in CBME programs.
SN - 1658-3612
ER -