의료기관 및 기업, 논문에서 활용되는 #일치도분석 에 대해서 알아보자!!!!
■ 일치도분석(Bland-Altman plot)이란?
● 두 가지 이상의 측정 방법이나 평가자 간의 결과가 얼마나 일치하는지 평가
● 의학, 생명과학, 심리학, 교육학, 기업 등 다양한 분야에서 활용
● 동일한 변수를 두 방법으로 측정한 자료의 일치도를 평가하는 수단으로 널리 사용
● 관찰치 간 불일치(bias)정도, 이상값 유무, 자료의 추세 등을 파악하는데 매우 유용
● bias의 신뢰구간을 계산할 수 있음
□ 주요목적
● 새로운 검사법의 신뢰성 평가, 서로 다른 평가자 간의 일관성 확인, 기존 검사법과 새로운 검사법의 비교
□ 대응표본 t 검정과 다른점
● 동일한 개체에 2회 측정한 자료는 짝을 지어서 대응표본 t 검정을 사용하는 것인데 이 방법은 “평균 차이가 0 이다”는 귀무가설을 검정
● 검정 결과는 두 측정 방법 간에 차이가 없다는 것이지 두 측정 결과가 일치한다는 것을 의미하는 것이 아님
□ 일치도분석 방법
● 카파 검정: 범주로 구분되는 명목형 변수에 대한 평가자 간 일치도 측정, 우연에 의한 일치 가능성을 보정한 일치도 측정(-1~1 사이의 값, 1에 가까울수록 높은 일치도)
● 켄달 일치도: 순위형 데이터에서 다수의 평가자 간 일치도 평가(3명 이상의 평가자가 있을 때 사용, (0~1사이의 값, 1에 가까울수록 높은 일치도)
● 급내상관: 연속형 변수에 대한 평가자 간 일치도 측정, 전체 분산 중 평가자 간 분산이 차지하는 비율(0~1사이의 값, 1에 가까울수록 높은 일치도)
● Bland-Altman Plot: 두 측정방법 간의 일치도를 시각화, 체계적 비체계적 오차 시각적 확인 가능, 측정값의 크기에 따른 일치도 변화 패턴 파악 용이
□ 일치도분석 적용분야
⊙ 의료 및 생명과학 분야
● 의료 분야에서의 일치도 평가는 진단 도구나 평가 방법이 얼마나 일관되게 동일한 결과를 도출하는지 측정하는 중요한 과정
● 특히, 진단 검사나 치료 평가에서 일치도는 환자의 정확한 진단과 적절한 치료에 매우 중요한 영향을 미침
▶ Bland-Altman 활용
● 의료 및 임상 연구(진단기기 비교, 실험실 검사 결과 비교, 임상적 유효성 평가)
- 진단기기 비교 : 새로운 의료 장비의 측정값이 기존 장비와 얼마나 일치하는지를 확인하는 데 사용할 수 있다. 혈압계, 심전도 모니터, 혈당 측정기 등 다양한 기기 간의 정확성 비교에 유용하다.
- 실험실 검사 결과 비교 : 새로운 혈액 검사 방법이 기존 방법과 얼마나 일치하는지 또는 임상 시험에서 두 가지 실험법이 동일한 결과를 산출하는지 평가할 때 사용할 수 있다.
- 임상적 유효성 평가 : 약물의 농도를 측정하는 방법이나 환자의 건강 상태를 평가하는 두 가지 방법 간의 일관성을 확인하는 데 사용할 수 있다.
● 생체 계측학(생체 신호 분석, 심리 및 행동 연구)
- 생체 신호 분석 : 심박수, 혈압, 산소 포화도 등 생체 신호를 측정하는 장비 또는 방법 간의 일치도를 확인할 때 사용할 수 있다.
- 심리 및 행동 연구 : 두 가지 심리학적 측정 방법이 동일한 개념을 얼마나 일관되게 측정하는지 검증할 때도 사용할 수 있다.
● 영양 및 운동 과학 (신체 계측기 비교, 운동 테스트 평가)
- 신체 계측기 비교 : 체성분 분석기 간의 비교나, 체지방률, 근육량 등과 관련된 측정값들이 일치하는지 평가하는 데 사용할 수 있다.
- 운동 테스트 평가 : 두 가지 심폐 기능 테스트나 체력 평가 방법 간의 일치성을 확인할 때 사용할 수 있다.
● 공학 및 장비 개발(기계 및 장비 측정 비교)
- 기계 및 장비 측정 비교 : 두 가지 센서 또는 측정 장비의 측정값이 얼마나 일치하는지 확인하기 위해 사용될 수 있다. 특히 새로운 기술 개발 단계에서 두 가지 측정 방법의 차이를 검증하는 데 사용할 수 있다.
● 심리학 및 교육학 연구
- 심리학 및 교육학 연구: 두 가지 심리 검사도구나 교육 평가 도구 간의 일관성을 분석하는 데 사용할 수 있다. 동일한 개념을 측정하는 여러 평가 도구가 있을 때 그 결과가 일치하는지 평가하는 데 유용하다.
⊙ 기업 활용 분야
● 주로 두 가지 측정 방법 간의 일치도를 평가하는 데 사용되며, 기업 환경에서도 다양한 방식으로 활용될 수 있고, 의사결정 개선에 유용
● 새로운 시스템 도입, 품질 검사 장비 비교, 고객 만족도 조사 방식 비교 등 여러 상황에서 사용될 수 있으며, 두 가지 방법 간 차이가 실질적으로 중요한지 여부를 평가
▶ Bland-Altman 활용
- 품질 관리 및 제품 테스트 : 한 제조 회사가 두 개의 서로 다른 검사 장비를 사용해 같은 제품을 검사한다고 가정할 때 두 장비가 동일한 결과를 내는지, 혹은 측정값 간에 일정한 차이가 있는지 평가할 수 있다.장비 간 일치도를 확인하여, 두 장비를 모두 사용할 수 있을지 혹은 한 장비가 더 정확한지 평가하는 것이다.
- 고객 만족도 조사 방식 비교 : 회사가 고객 만족도를 온라인 설문조사와 전화 인터뷰를 통해 수집했다고 가정할 때 두 방법에서 수집된 고객 만족도 점수가 일치하는지 평가할 때 사용할 수 있다.
- 새로운 측정 도구 또는 시스템 도입 : 기업이 기존 회계 시스템을 새로운 소프트웨어로 대체하려고 한다면, 두 시스템에서 생성된 데이터의 정확성과 일치도를 평가해야 한다. 이때 Bland-Altman 분석을 통해 새로운 시스템이 기존 시스템과 얼마나 일치하는지 분석할 수 있다.
- 제품 수명 주기 평가 : 기업이 제품의 수명을 평가할 때, 두 가지 방법(예: 실험실 테스트와 현장 테스트)을 사용하여 수명을 측정할 수 있다. 두 테스트가 동일한 결과를 제공하는지 확인하여 신뢰할 수 있는 수명 측정 방법 선택한다.
- 가격모델 검증 : 기업이 새로운 가격 모델을 개발하여 기존의 가격 모델과 비교하고자 할 때 두 모델이 얼마나 일치하는지 평가할 수 있다.
- 서비스 성과 측정 도구 비교 : 기업에서 기존 성과 평가 도구와 새로운 도구를 비교하고, 두 도구가 얼마나 일치하는지 평가할 때 사용할 수 있다.
□ Balnd-Altman 분석 방법
□ 사례1 분석방법 확인하기
1. 두 측정 방법 차이 계산
2. 두 측정 방법 평균 계산
3. 차이 평균(bias)계산
4. 차이 표준편차 계산
5. 95% 일치한계 계산
● 평균차이(Bias)
- 0.013으로 0에 매우 가까워, 두 측정 방법 간에 체계적인 차이가 거의 없음을 의미함
- 표준진단기기가 새로운 진단기기 보다 평균적으로 0.013 단위 더 높게 측정하는 경향 있음
● 표준편차
- 두 측정 방법 간 차이의 변동성으로 값이 작을수록 두 방법의 일치도가 높고, 측정 단위와 임상적 중요성에 따라 변동성 허용 가능 여부 결정
● 95% 일치한계(LoA)
- 두 측정 방법 간 차이의 95%가 상한 0.317과 하한 -0.291 범위 내에 있을 것으로 예상
- 대부분의 경우(95%), 표준 진단기기 방법은 새로운 진단기기 방법보다 0.291단위 낮게, 0.317단위 높게 측정할 수 있음
- 두 기기 간의 측정값이 일관된 경향을 나타냄
이 분석 결과는 새로운 기기가 기존 표준 기기와 일치된 결과를 제공하는지 검토할 때 중요한 정보를 제공한다. 평균 차이가 거의 없고 일치한계도 ±0.3 단위 내에서 비교적 좁은 범위에 안정적이므로, 새로운 진단 기기는 실질적으로 기존 기기와 유사한 정확도를 제공한다고 볼 수 있다.
새로운 진단 기기는 기존 기기와 일관된 결과를 내므로, 임상 현장에서 기존 기기의 대안으로 사용할 가능성이 크다. 특히, 기기가 더 저렴하거나, 편리하게 사용할 수 있다면, 표준 기기 대신 새로운 기기를 사용하는 것이 적절할 수 있다.
결론적으로, 이 분석을 통해 새로운 진단 기기가 기존 표준 기기와 거의 일치하는 성능을 보인다는 것을 알 수 있었으며, 이를 바탕으로 새로운 기기의 임상 적용 가능성을 충분히 고려할 수 있다.
□ 사례2 분석방법 확인하기
1. 두 측정 방법 차이 계산
2. 두 측정 방법 평균 계산
3. 차이 평균(bias)계산
4. 차이 표준편차 계산
5. 95% 일치한계 계산
● 평균차이(Bias)
- 두 평가 간 평균차이는 4.82로 전반적으로 상사평가가 동료평가보다 4.82점 더 높음
● 표준편차
- 두 평가자 간 차이의 변동성으로 값이 작을수록 두 평가의 일치도가 높음
● 일치한계(LOA)
- 95%신뢰 구간에서 상사평가가 동료평가에 비해 최대 7.78점 높거나 최소 1.86점 높을수 있다는 것을 의미
● 95% 일치한계(LoA)
- 대부분 데이터가 일치한계 내에 분포하여 두 평가 간 차이가 대부분 일관되게 유지됨을 의미
- 몇몇 데이터가 약간의 편차를 보이지만 큰 이상치 없음
● 상사 평가와 동료 평가 간에 어느 정도 일관성이 있음
● 두 평가 방식이 전반적으로 비슷한 경향을 보이며 이는 조직 내에서 다층적인 평가가 비교적 신뢰할 수 있음을 시사함
● 상사 평가가 동료 평가보다 평균 차이가 더 높게 나오는 경향은 상사들이 동료들보다 더 관대하게 평가할 수 있다는 편향 가능성을 시사함
● 이러한 편향은 평가 결과에 영향을 미칠 수 있으므로, 상사 평가의 신뢰성을 높이기 위한 평가 교육이나 가이드라인이 필요할 수 있음
- 이 차이가 평가의 목적에 부적합할 정도로 크다면 평가 시스템을 조정하거나, 상사와 동료 평가 사이의 기준을 통일시킬 필요가 있음
- 차이가 수용 가능한 범위라면 현재 평가 체계가 효과적으로 작동하고 있다는 의미로 받아들일 수 있음
이 분석을 통해 조직 내 평가 제도의 개선 방향을 도출할 수 있다. 예를 들어, 평가자의 기준을 더욱 명확히 하거나, 평가 교육을 강화함으로써 일관성을 더욱 높일 수 있다.
상사와 동료 평가의 차이가 조직 내 문화나 평가 대상의 직무 특성과 관련이 있을 수 있다. 예를 들어, 상사가 동료보다 더 많은 정보를 가지고 있으므로 더 높은 평가했을 가능성도 있다. 따라서 이 결과를 평가 제도의 개선으로 직접 연결하기 전에, 조직 내 상황을 종합적으로 고려하는 것이 중요하다.
이상 의료기관 및 기업, 논문에서 사용하는 일치도분석에 대해서 살펴보았습니다.
위 내용을 동영상 강의로 확인해보세요▼▼▼
퀵데이터는 데이터 분석 전문기업입니다. 경험, 노하우, 전문성을 바탕으로 다양한 통계분석과 데이터 시각화 디자인을 제공하여 분석보고서의 가치를 높여드립니다.
※ 다차원적 분석방법을 이용한 체계적 보고서작성
※ 효율적 의사결정을 위한 다양한 통계검증
차별화된 데이터 분석보고서 기획과 작성! 퀵데이터가 도와드립니다 ☎1600-7473