The validity and reliability of self-interviewing skills evaluation protocol for residents in family medcine. |
Hye Seuk Kwon, Jae Whoon Kim, Eal Whan Park, Yoo Seock Cheng, Sun Mi Yoon |
Department of Family Medicine, Medical College of Dankook University, Korea. |
가정의학과 전공의를 위한 상담기술 자가평가서의 신뢰도 및 정확도 평가 |
박일환, 유선미, 정유석, 권혜석, 김재훈 |
|
|
|
Abstract |
Background : Medical interviewing skills are now recognized as the most important skill to be acquired for the purpose of accurate diagnosis and treatment. Among the several evaluation methods of interviewing skills, audiovisual method has the merit of allowing the fellow residents to have discussion about the interview and of receiving feedback from the teaching faculty by replaying the real interview. In addition, it allows the resident to evaluate his or her interviewing skills. The purpose of this study is to evaluate the reliability and the validity of family residents' self-interviewing skill evaluation protocol.
Methods : A modified Arizona interview rating scale which is an interviewing skill evaluating protocol has been used after Korean version became available. Six interviews with outpatients were recorded and evaluated respectively by 10 residents. The results were compared with that of Golden Standard to assess its validity. Finally, 10 residents were divided into two groups and the results among the groups were compared to evaluate the reliability of the scale.
Results : The evaluation of interviewing skills conducted by the residents showed significant rate of correspondence with the Golden Standard(kappa=0.22), and in the comparison of 17 evaluation items, there appeared significant correspondence in 7 items. The analysis of the rate of correspondence between the two group of residents revealed significant rate of correspondence (kappa=0.43). Lastly, the comparisons between the items showed significant rate of correspondence in 11 items.
Conclusion : The residents' self interviewing skill evaluation protocol showed significant validity and reliability from which it may be concluded that the protocol can be used as an effective evaluating method. |
초록 |
연구배경 : 의학적 상담기술은 가정의학과 전공의 수련중 외래 진료 시 정확한 환자의 진단과 치료를 위해 습득해야 할 중요한 기술로 이해되어지고 있다. 상담기술 평가의 여러 방법 중 시청각기재를 이용한 면담술의 평가는 면담의 실제를 녹화하여 재현할 수 있으므로 동료간 토론과 교수로부터의 되먹임이 가능하게 하고, 특히 전고의 스스로가 자신의 면담술을 평가하여 스스로의 향상을 꾀할 수 있는 장점이 있다. 본 연구의 목적은 가정의학과 전공의가 스스로의 면담장면을 평가하는 면담기술자가 평가서의 타당도 및 신뢰도를 평가하여 평가서의 유용성을 알아보고자 하는 것이다.
방법 : 대표적 면담기술 평가서인 Modified Arizona Interview Rating Scale을 우리말로 번역하여 평가에 사용하였다. 6명의 전공의가 외래에서 환자와의 면담 내용을 녹화한 것을 전고의 10명이 각각 평가하였으며 이 결과를 가정의학과 교수의 평가(Golden standard)결과와 비교하여 평가의 정확도를 구하였고, 10명의 전공의를 두 군으로 나누어 전공의간의 평가 결과를 비교하여 평가의 신뢰도를 구하였다.
결과 : 전공의에 의한 상담기술의 평가는 가정의학과 교수의 평과와 비교 시 유의한 일치도를 보였고(kappa=0.22) 항목별 비교에서도 17개의 평가 항목 중 7개 항목이 높은 일치도를 보였다. 두 그룹으로 나눈 전공의간의 일치도 분석에서도 유의한 일치도를 보였고(kappa=0.43), 항목별 비교에서도 11개 항목에서 높은 일치도를 보였다.
결론 : 전공의 상담기술 자가평가는 정확도 및 신뢰도 평가에서 유의한 일치도를 보여 가정의학과 전고의 스스로의 상담기술 평가 시 유용하게 활용할 수 있을 것으로 생각된다. |
|