"논문에 사용되는 타당도 설명"
▣ 타당도
· 최종 확정된 측정도구의 양호도 분석은 신뢰도와 타당도 분석으로 구분
· 신뢰도: 검사가 측정하고자 하는 것을 일관되고 정확하게 측정하는가?
- 측정하려고 의도하는 것을 얼마나 정확히 오차없이 측정하고 있는지 의미(How_어떻게 측정)
· 타당도: 검사가 측정하고자 하는 것을 제대로 측정하고, 측정한 결과가 검사의 사용목적을 잘 달성하고 있 는가?
- 측정하려고 의도하는 것을 얼마나 충실하게 측정하고 있는지 의미(What_무엇을 측정)
설문에 대한 예비검사가 끝나면 문항 양호도를 평가해서 최종 설문에 포함할 문항을 선정해야 하니까 이에 대한 신뢰도와 타당도를 검토해야 한다. 측정 도구는 표본 특성에 어떤 수치를 부여하고 해석하기 위해서 수행하는 것이다. 측정된 수치가 올바르게 해석될 수 있는지에 대한 과학적인 증거가 필요하고, 이런 과학적 증거는 대표적으로 신뢰도와 타당도를 확인하는 것이다.
타당성이 있는 측정을 예로 들면 키를 측정하기 위해서는 신장계가 필요하고, 몸무게를 측정하기 위해서는 체중계가 필요하다. 타당성 있는 측정이다. 그런데 IQ를 측정하는데 머리둘레를 재거나, 업무성과를 측정하는데 몸무게를 잰다고 하면 완전히 잘못된 측정이고 타당성이 1도 없는 측정인 것이다. 그래서 측정하려는 구성개념을 정확하게 측정할 수 있는 측정 도구와 방법을 이용해야 타당성이 높은 것이라고 할 수 있다.
■ 내적 타당도(Internal validity) VS 외적 타당도(External validity)
- 내적 타당도(Internal validity)
- 실험, 연구가 정확하게 수행됨으로써 결과를 얼마나 믿을 수 있는가를 의미
- 실험이나 연구에서 실제로 측정하고자 하는 것을 얼마나 정확하게 측정하였는가?
- 외적 타당도(External validity)
- 실험, 연구결과를 현실에 얼마나 일반화하여 적용할 수 있는가를 의미
- 측정하여 얻은 실험이나 연구결과를 실제 상황에 어느 정도까지 적용할 수 있는가?
- 내적 타당도와 외적 타당도는 trade off 관계이므로 적합한 수준을 유지하도록 연구 설계
내적 타당성을 높이려면 실험이나 연구에서 영향을 미칠만한 모든 변수를 완벽히 통제해야 실험과 연구가 이루어져야 한다. 그런데 현실적으로 모든 변수를 완벽히 통제한다는 것도 불가능하고 완벽히 통제했다 하더라도 이 결과가 현실에도 똑같이 적용될 것인가인데 그럴 수 없을 것이다. 즉 외적 타당성이 결여되는 결과이다. 외적타당성의 예로 회사에서 브랜드 가치를 조사하기 위해 일정 기간 대학생만을 대상으로 조사한 결과를 일반 소비자 모두에게 확대하여 해석하는 것은 타당하지 않다. 연령별 여러 가지 요인으로 판단기준의 차이가 크기 때문이다. 그래서 가능하면 동일한 설계를 해야 한다. 즉, 회사 기존 소비자, 잠재 소비자를 정확히 파악해서 이들과 동질한 집단을 대상으로 실험을 해야 외적 타당성이 높다.
■ 내용 타당도(content validity)_내적 타당: 측정도구의 대표성
- 측정하고자 하는 목적에 부합하고 적절한 내용을 측정하고 있는지 여부
- 통계와 관련이 없고, 측정도구가 대표성을 갖는지에 대한 전문가의 의견이 기초
- 실증분석 전에 모델에 관한 정성적인 지식을 충분히 갖춰야 하고, 일반적 상식에 기초함
- 전문가를 통해 측정도구가 내용과 관련 있는지 평정하고, 검사에 필수적으로 포함될 내용 확인
@ 응답자가 이해할 수 있는 용어가 사용 되었나?
@ 측정이 다루는 내용 범위가 중요한가?
■ 준거 관련(기준) 타당도(criterion-related validity)_외적 타당: 측정기준의 예측성
- 연구에 사용할 측정도구와 이미 타당도가 검증된 다른 검사 및 결과를 준거로 관계 정도 확인
- 공인 타당도: 현재 시점에서 이뤄지는 타당도
- 예측 타당도: 미래에 이뤄질 행동과의 관계 확인
@ 검사결과가 준거점수와 높은 상관을 보여야 하는가?
공인타당도 예를 들어, 기업이 면접을 위해 새로 만든 영어 능력 검사의 타당도를 검증하기 위해 토익이나 토플 점수를 활용해서 두 점수 간의 상관계수를 확인한다고 하면 이것이 공인타당도이다.
예측타당도 예를 들어, 수능시험은 미래에 대학교에 입학해서 얼마나 학업을 잘 수행할지 예측하는 지표다. 수능점수와 대학교 학업 능력을 비교해서 얼마나 잘 예측했는지를 판단할 수 있다. 다만 예측타당도를 검증하기 위해서는 일정 기간의 시간이 필요하다는 단점이 있다.
■ 개념(구인) 타당도(construct validity): 구성개념의 정당성
- 측정하고자 하는 구성 개념을 제대로 측정하고 있는가로 점수의 해석과 밀접한 관련
- 추상적 개념을 측정할 때 측정하고자 하는 심리적 특성을 제대로 측정하는지 확인
- 요인분석 및 집중(수렴), 판별(변별), 법칙(이해) 타당도
@ 측정 문항으로 해당 구성 개념을 잘 측정하고 있는가?
@ 검사의 개념 타당도 측정을 위한 다양한 시도가 이루어졌나?
■ 타당도가 높은 설문 도구
□ 선행연구의 심도있는 고찰을 통해 해당 연구에 대한 충분한 지식 습득
- 잘못된 연구가설 설정, 부정확한 개념 정의, 설문지 작성과정의 오류 등으로 타당도 떨어짐
- 명확한 개념 정의와 조작적 정의 중요하고 연구목적과 문제에 합당한지 확인
□ 새로운 설문 도구 개발 보다 기존 선행연구의 검증된 측정도구 활용
- 가능한 선행연구를 많이 활용해야 하는 연구의 기본을 지켜야 함
- 단일항목보다 다항목 측정이 유리하고, 예비조사 필요
□ 충분한 사전 조사
- 사전조사를 통해 같은 개념의 문항들을 검토하여 항목 간 상관관계가 낮거나 음의 관계 문항 제거
- 상관관계가 높은 변수들을 하나의 추상적 개념을 측정한 값으로 활용
□ 상쇄균형화
- 문항 수가 많은 설문을 통해 문항 선정을 위한 양호도 분석시 문항 배치를 달리하는 복수 설문 유형 제작
- 질문의 반응에 포함되는 오류가 고루 퍼져 양호도 분석결과가 공정하게 진행되어 타당한 결과 높아짐
충분한 사전 조사 문항 간에 부적 상관, 혹은 지나치게 낮은 상관을 보이는 문항은 삭제를 고려해야 한다. 잠재변수 하나의 하위척도에 포함된 문항 간에는 상관계수가 0.3~0.6 정도 나와야 내적으로 일관된 척도를 만들 수 있다. 그런데 상관이 0.7 이상으로 높게 나온다면 문항 내용을 검토해서 너무 비슷한 내용을 측정하는지를 확인하고 비슷한 문항 하나만 남기고 삭제할 필요가 있다. 다시 말하면 같은 내용을 반복적으로 질문하는 것은 응답자에게 짜증을 유발하므로 성실성을 저해할 수 있다.
상쇄균형화 상쇄균형화는 보통 실험연구에서 많이 하는데 실험자들에게 맛을 평가한다고 가정하자. 맛은 a, b, c가 있는데 모든 집단에 같은 순서로 배정하기보다 1집단은 a, b, c, 2집단은 b, a, c 이런 식으로 평가하여 순서가 결과에 미치는 영향을 상쇄시키는 것이다. 그리고, 문항 수가 많은 척도를 개발할 때 예비검사 시에는 최종 검사 문항 수의 약 1.5배 정도의 많은 문항이 필요하다. 응답자들이 한 번에 많은 응답을 한다면 지치고 집중력이 떨어지기도 하여 불성실한 응답을 할 가능성이 높다. 그래서 뒤로 갈수록 앞에서 한 질문보다 오류가 포함될 가능성도 높아진다.
[논문통계분석] 1편. 논문의 타당도분석 이해하기_퀵데이터 통계 강의 보기▼▼▼
"논문의 품질을 높이는 열쇠!!!
퀵데이터 논문통계분석을 통해 더욱 탄탄한 논문을 완성하세요."
퀵데이터 논문컨설팅은 논문 주제 선정부터, 연구모형, 통계분석, 심사 준비까지 전문 지도 박사님의 1:1 맞춤형 컨설팅 통해 효율적이고 빠른 논문작성을 도와드립니다. 논문 검토, 논문편집, 논문 통계분석까지 직접적인 컨설팅을 원한다면 퀵테이터에 문의하세요 상담문의 1600-7473
