상담학, 교육학, 사회복지학 분야 대학원생이라면 한 번쯤 접하게 되는 논문 유형이 있다. 바로 연구자가 직접 프로그램을 개발하고, 그 효과를 실험을 통해 검증하는 프로그램 효과 검증 연구다. 이러한 연구는 서론 구성부터 이론적 배경, 프로그램 개발 절차, 실험설계, 분석방법에 이르기까지 각 단계마다 학문적 기준과 연구방법론적 원칙을 충실히 따라야 한다.
본 글에서는 각 단계에서 왜 해당 절차가 필요한지, 그리고 연구자들이 실제 논문 작성 과정에서 자주 실수하는 부분은 무엇인지를 중심으로 정리하고자 한다. 특히 실험집단, 비교집단, 통제집단의 세 집단으로 구성된 프로그램 효과 검증 연구를 기준으로 설명한다.
1. 프로그램 효과 검증 연구란
프로그램 효과 검증 연구는 이론적 근거를 바탕으로 개발된 개입 프로그램이 대상 집단에 실제로 효과를 발휘하는지를 실증적으로 확인하는 연구 유형이다. 단순한 교육 활동 보고가 아니라, 표준화된 측정 도구와 통계분석을 통해 변화의 의미와 지속성을 검증해야 한다.
이 유형의 논문은 프로그램 개발과 효과 검증 두 축으로 구성된다. 심사에서 핵심적으로 평가하는 것은 이 두 축의 논리적 연결성이다. 이론적 배경에서 도출한 변인 → 프로그램 목표 → 측정 도구 선정으로 이어지는 흐름이 일관되지 않으면 심사위원의 첫 번째 지적 대상이 된다.
2. 서론 — 역삼각형 구조로 작성한다
서론의 역할은 하나다. "이 연구가 왜 지금, 왜 이 방식으로 수행되어야 하는가"를 심사위원이 납득하게 만드는 것이다. 막연한 문제 제기로 시작하면 연구의 필요성 자체가 흔들린다.
① 사회적 실태와 통계
가장 최신의 공신력 있는 통계 수치로 시작한다. 정부 부처 통계, 국책 연구원 보고서가 적합하다. 수치 없이 "심각하다", "증가하고 있다"만 쓰면 설득력이 떨어진다. 연도별 추이나 학교급별 비교 수치를 함께 제시하면 문제의 실재성이 분명해진다.
② 대상 집단의 특수성
왜 하필 이 집단인가를 설명해야 한다. 단순히 "대상이 부족하다"는 이유만으로는 부족하다. 해당 집단의 발달적 특성, 문제 행동과의 연결고리, 개입 적기로서의 근거를 이론과 선행 연구로 뒷받침해야 심사위원이 수긍한다.
③ 기존 연구의 한계
기존 연구를 전면 부정하면 안 된다. "의미 있는 성과에도 불구하고"라는 전제 이후 한계를 지적하는 것이 원칙이다. 한계 유형은 네 가지로 구분해 제시하면 체계적으로 보인다.
| 한계 유형 | 작성 방식 |
| 대상 제한 | 특정 연령·집단에만 적용된 연구가 대부분임 |
| 방법론적 한계 | 강의식·단발성 운영으로 체험 기반 프로그램 부족 |
| 변인 편중 | 특정 변인만 측정, 다변인 연구 부재 |
| 효과 지속성 | 사후 검사만 실시, 추후 유지 확인 연구 미흡 |
④ 연구 목적과 연구 문제
앞의 한계를 "이에 본 연구는..."으로 연결한다. 연구 문제는 프로그램 개발과 효과 검증을 분리해 제시하고, 각각 측정 가능하고 검증 가능한 형태로 작성한다. 서론 마지막에는 핵심 용어를 개념적 정의(선행 연구자 정의 인용)와 조작적 정의(본 연구 측정 방식)로 구분해 정리한다.
3. 이론적 배경 — 나열이 아니라 논리적 흐름으로
이론적 배경에서 가장 흔한 실수는 관련 문헌을 주제별로 단순 열거하는 것이다. 심사위원은 각 이론과 선행 연구가 프로그램 설계와 어떻게 연결되는지를 본다. 아래 순서로 논리적 흐름을 유지해야 한다.
종속변인 이론 검토 → 개입 방법(프로그램 기법) 검토 → 이론적 틀 통합 → 선행 연구 분석
종속변인 이론 검토는 각 변인마다 4단계 패턴으로 작성한다.
① 개념 정의 인용(2~3개) → ② 하위 요인 구분 → ③ 핵심 변인과의 관련성 실증 → ④ 프로그램으로 개입 가능하다는 근거 제시.
이 흐름이 없으면 "왜 이 변인을 측정하는가"라는 질문에 답을 못 하게 된다.
이론적 틀 통합에서 가장 많이 지적받는 부분이 "두 이론을 단순 나열했다"는 것이다. 각 이론이 프로그램의 어느 부분을 어떻게 뒷받침하는지, 두 이론이 결합했을 때 어떤 효과를 만들어내는지를 명확히 진술해야 한다.
선행 연구 분석은 요약이 목적이 아니라 비판적 분석이 목적이다. 국내·외 프로그램을 시간 순서로 정리하되, 각 연구의 한계가 본 연구의 필요성으로 자연스럽게 이어지도록 마무리 진술을 작성한다.
4. 프로그램 개발 — 4단계 절차와 타당도 확보
프로그램 효과 검증 연구에서 가장 많이 받는 질문 중 하나가 "프로그램을 연구자가 직접 만드나요?"이다.
결론부터 말하면, 선행 연구와 이론을 기반으로 연구자가 직접 설계하는 것이다. 기존 프로그램을 그대로 가져다 적용하면 개발 연구가 아니라 효과 검증 연구가 되고, 반대로 선행 연구 없이 연구자 혼자 만들면 이론적 타당성을 확보하기 어렵다.
실제 개발은 이론에서 프로그램 구조와 변화 원리를, 선행 연구에서 활동 유형과 회기 구성 방식을, 요구 조사에서 대상에 맞는 내용과 운영 방식을 가져와 연구자가 통합·재설계하는 방식으로 이루진다. 논문에서 "본 프로그램은 OO이론과 선행 연구를 토대로 연구자가 개발하였다"는 표현을 쓰는 이유가 여기에 있다.
프로그램 효과 검증 논문에서 개발 절차는 연구의 타당성을 뒷받침하는 핵심 부분입니다. 김창대 외(2011)의 프로그램 개발 모형을 기준으로 4단계 절차를 따르는 것이 학문적으로 가장 안정적이다.
1단계: 기획(Planning)
요구 조사, 선행 연구 분석, 이론적 기초 확립, 목적·목표 설정을 수행한다. 요구 조사는 단일 방법에 의존하면 타당성이 약해진다. 대상자 설문(양적), 유사 경험자 면담, 현장 전문가 심층 면담의 3원 접근이 권장된다. 면담 자료 분석에는 CQR(Consensual Qualitative Research, 합의적 질적 연구)이 주로 쓰인다. 여러 연구자가 독립적으로 코딩한 뒤 합의 과정을 거치는 방식으로, 연구자 1인의 주관적 해석 한계를 극복한다.
2단계: 설계(Design)
회기 구성과 내용을 설계하고, 전문가 내용타당도 검증을 실시한다. 타당도 검증에는 CVR과 CVI 두 지수를 함께 사용한다.
CVR(Content Validity Ratio)— Lawshe(1975). 각 활동의 필수성을 평가한다.
CVR = (Ne - N/2) / (N/2)
Ne: "필수적이다" 응답 전문가 수 / N: 전체 전문가 수
전문가 5명 기준 최솟값: .99 (전원 동의 시 CVR = 1.00)
CVI(Content Validity Index)— Fehring(1987). 각 활동의 적합성을 평가한다. 5점 척도를 0 / .25 / .50 / .75 / 1.00으로 환산해 전문가 평균을 산출하며, 수용 기준은 .80 이상이다.
두 지수가 엇갈릴 때(CVR 탈락, CVI 통과)는 "내용의 질은 인정되나 필수성 합의가 부족한 상태"를 의미한다. 이때 선택지는 세 가지다.
| 대응 방법 | 내용 | 권장 여부 |
| 수정 후 재검증 | 문가 의견 반영 → 2차 타당도 검증 | 가장 권장 |
| 항목 제외 | 프로그램 흐름에 필수적이지 않으면 제외 | 상황에 따라 적용 |
| 유지 + 근거 명시 | CVI 통과·이론적 근거 바탕으로 유지, 논문에 명시 | 심사 리스크 존재 |
전문가 구성은 학문적 타당성과 현장 적합성(기법 자격증 보유자, 현장 경험자)을 균형 있게 포함하는 것이 원칙이다.
3단계: 실행(Implementation)
예비 프로그램을 운영하고 참여자 피드백을 반영해 수정·보완한다. 예비 운영을 생략하면 실제 본 검증에서 예상치 못한 운영상 문제가 발생할 수 있어 심사에서도 절차 누락으로 지적된다.
4단계: 책무성 확보(Accountability)
최종 프로그램을 집단에 적용하고 사전·사후·추후 검사를 실시한다. 양적·질적 효과 검증을 완료한 뒤 운영 지침서를 확정한다. 지침서에는 회기별 목표·내용·시간 배분, 민감 주제 대처 방법, 학생용 활동지가 포함되어야 한다.
5. 연구 설계 — 준실험설계의 원리와 적용
학교나 기관 현장에서 이루어지는 프로그램 연구는 무선 배정(random assignment)이 현실적으로 불가능한 경우가 많다. 이 경우 비동등성 대조집단 사전·사후·추후검사 준실험설계가 가장 적합하다.
무선 배정은 연구 참여자를 실험집단·통제집단에 순전히 무작위로 배정하는 방식이다. 쉽게 말하면, 동전 던지기나 난수표처럼 연구자의 의도나 참여자의 특성이 전혀 개입되지 않게 집단을 나누는 것이다.
왜 중요할까요?
집단을 나눌 때 연구자가 임의로 배정하면, 나도 모르게 "더 똑똑한 학생은 실험집단, 덜 똑똑한 학생은 통제집단"처럼 편향이 생길 수 있다. 무선 배정을 하면 사전에 집단 간 특성 차이(나이, 성별, 학업 수준 등)가 우연에 의해 균등하게 분포되기 때문에, 실험 후 나타난 차이를 프로그램의 효과로 볼 수 있는 근거가 생긴다.
그런데 왜 학교 같은 현장에서는 어려울까요?
학교는 이미 학급 단위로 학생이 편성되어 있다. A반 학생 절반을 실험집단, 나머지 절반을 통제집단으로 나누는 게 현실적으로 불가능하고, 윤리적으로도 문제가 된다. 그래서 학급 전체를 하나의 단위로 배정하는 준실험설계를 쓰는 것이다. 대신 사전검사로 집단 간 동질성을 통계적으로 확인하는 절차가 필요하다.
실험집단(처치 A), 비교집단(처치 B), 통제집단(무처치)의 3집단 구성이 프로그램 설계의 기본 형태이다. 비교집단이 있으면 실험집단의 효과가 단순히 '어떤 개입이든 효과가 있다'는 일반적 현상인지, 개발한 프로그램만의 고유한 효과인지를 구별할 수 있어 논문의 설득력이 높아진다. 그러나 실험집단(처치 A), 통제집단(무처치)로만 연구를 많이 진행하기도 한다.
추후검사는 종료 후 2~4주 뒤에 실시하며 사후에만 검사하면 단기 효과인지 지속 효과인지 판별이 불가능하기 때문에, 추후검사를 포함하는 설계가 논문 심사에서 훨씬 긍정적으로 평가된다.
연구 윤리 측면에서는 통제집단에도 연구 종료 이후 동일 프로그램을 제공하는 지연처치(deferred treatment)원칙을 지켜야 한다.
* 지연처치는 연구 윤리 원칙 중 하나인가?
쉽게 말하면, “통제집단에게도 연구가 끝난 뒤 동일한 프로그램을 제공하겠다”라고 미리 약속하고, 실제로 그 약속을 지키는 것이다.
프로그램 효과 검증 연구에서는 보통 통제집단은 아무런 프로그램 처치를 받지 않는다. 그런데 연구 프로그램이 학교폭력 예방, 정서 발달, 사회성 향상처럼 교육적·심리적으로 도움이 되는 내용이라면 문제가 생긴다. 실험집단은 프로그램의 혜택을 받지만, 통제집단은 연구 기간 동안 그 혜택을 받지 못하기 때문이다. 연구자 입장에서는 통계적 비교를 위해 통제집단이 필요하지만, 참여자 입장에서는 “왜 우리는 프로그램을 받지 못하느냐”라는 불공정함이 발생할 수 있다.
그래서 연구를 시작하기 전, 통제집단 학생이나 학부모에게 동의서를 받을 때 보통 다음과 같이 안내한다.
“연구 기간 중에는 프로그램에 참여하지 않지만, 연구 종료 후 동일한 프로그램을 제공받을 수 있습니다.”
그리고 실제로 연구가 종료된 이후에는 통제집단에게도 동일한 프로그램을 제공한다.
논문에서는 연구방법 부분에 보통 한 줄 정도로 정리한다.
“연구윤리를 고려하여 통제집단에도 연구 종료 후 동일한 프로그램을 제공하였다.”
특히 IRB(연구윤리위원회) 심사를 받는 연구에서는 이러한 내용을 실제로 준수했는지 확인하는 항목이 있을 정도로 중요하게 다룬다. 현재는 사실상 기본적인 연구윤리 기준으로 자리 잡은 내용이라고 볼 수 있다.
가설 작성 시에는 집단 간 차이 가설과 효과 지속성 가설을 모두 포함하는 것이 원칙이다. 집단 간 차이 가설은 “실험집단은 비교집단 및 통제집단에 비해 [변인]이 유의하게 [증가/감소]할 것이다”의 형식으로 작성한다. 효과 지속성 가설은 “사전에 비해 사후에 향상되며, 그 효과가 추후에도 유의하게 유지될 것이다”의 형식을 따른다.
측정도구는 기존의 표준화된 도구를 활용하는 것이 원칙이며, 연구 대상의 발달 수준과 이해 수준에 맞게 일부 문항을 수정하여 사용할 수 있다. 또한 측정도구의 신뢰도를 검증한 결과, 신뢰도가 기준 이하(Cronbach’s α .60 미만)인 하위요인은 분석에서 제외하는 것이 일반적이다. 이 경우 해당 하위요인을 제외한 이유와 근거를 논문에 명확하게 제시해야 한다.
6. 자료 분석 — 조건에 따른 분석 방법 선택
단계별 순서를 지키지 않으면 분석 결과의 해석 근거가 무너진다. 각 단계는 다음 단계의 분석 방법 선택에 직접 영향을 준다. 자료 분석은 순서를 지켜야 하고, 양적 분석의 표준 절차는 다음과 같다.
1단계: 기술통계 + 신뢰도 분석
평균, 표준편차, 왜도, 첨도를 산출하고, Cronbach's α로 측정 도구 신뢰도를 확인한다. 신뢰도 기준은 α .70 이상이다.
2단계: 정규성 검정
많은 프로그램 실험 연구가 소규모의 표본을 사용하는데, 소표본(n<50)에서는 Shapiro-Wilk 검정을 사용한다. 일부 집단에서 정규성이 충족되지 않더라도 왜도·첨도가 ±2 이내면 모수통계 사용이 가능하다.
3단계: 집단 간 사전 동질성 검정
One-way ANOVA로 집단 간 사전 점수 차이가 없음(p>.05)을 확인한다. 차이가 있으면 이후 분석에서 ANCOVA(공분산분석)를 적용해 사전 점수를 공변인으로 통제한다. 즉, 사전 동질성이 확보되지 않은 경우 ANCOVA를 적용하는데, 이는 사전 점수를 공변인(covariate)으로 통제한 상태에서 집단 간 차이를 비교하는 방식이다. 단순히 ANOVA를 그대로 쓰면 사전 차이가 결과에 혼입되어 효과 해석이 왜곡된다.
4단계: 집단 간 사후·추후 차이 검정
사전 동질성이 확보된 경우 One-way ANOVA, 충족되지 않은 경우 ANCOVA를 사용한다. 유의한 결과가 나오면 Scheffé 사후검정으로 어느 집단 간에 차이가 있는지를 확인한다.
5단계: 반복측정 분산분석(RM-ANOVA)
동일 집단의 사전·사후·추후 반복 측정 변화를 검증한다. 시기 주효과, 집단 주효과와 함께 시기×집단 상호작용 효과가 가장 중요하다. 시기 주효과만 유의하다면 모든 집단이 시간이 지나면서 비슷하게 변화했다는 의미일 뿐, 프로그램의 차별적 효과로 볼 수 없다. 상호작용 효과가 유의해야 실험집단만의 변화 패턴이 입증된다.
2집단과 3집단 분석의 주요 차이점은 다음과 같다.
3단계 사전 동질성 검정이 가장 큰 차이입니다. 2집단은 t-test, 3집단은 반드시 ANOVA를 써야 한다. 3집단에 t-test를 반복 사용하면 1종 오류(실제로는 차이 없는데 있다고 결론 내리는 오류)가 증가한다.
4단계 사후검정도 다르다. 2집단은 어디가 다른지 자명하므로 Scheffé가 필요 없지만, 3집단은 유의한 결과가 나왔을 때 어느 집단 쌍 사이에서 차이가 났는지 확인하는 Scheffé 사후검정이 필수이다.
5단계 RM-ANOVA는 3집단에서 집단별 단순 주효과 분석이 추가된다. 상호작용 효과가 유의하게 나왔을 때 실험·비교·통제 각 집단에서 시기에 따른 변화가 어떻게 다른지를 세분화하는 과정이다.
7. 결과 해석과 논의 — 4단계 패턴과 비유의 결과 처리
통계 결과 제시로 논의가 끝나지 않는다. 결과표를 나열하고 "유의하다", "유의하지 않다"만 쓰는 것은 논의가 아니라 결과 요약이다. 아래 4단계 패턴으로 각 변인별 논의를 전개해야 한다.
① 결과 진술— 통계 수치와 함께 결과를 명확히 기술한다.
② 메커니즘 해석— 왜 그러한 결과가 나왔는지 프로그램 내용과 연결해 설명한다. 이 부분이 빠지면 논의가 결과 반복에 그친다.
③ 선행 연구 지지— 유사한 결과를 보고한 선행 연구를 인용해 결과의 학문적 의의를 부여한다.
④ 질적 자료 연결— 혼합연구의 경우 참여자 진술 등 질적 근거를 양적 결과와 연결한다.
비유의 결과가 나왔을 때
"효과 없음"으로 결론 내리면 심사위원이 가설 설정 자체의 문제를 지적한다. 비유의 결과가 나온 변인이라도 논의에서 세 가지 근거를 함께 제시하면 부분 채택으로 이어갈 수 있다.
-발달적 특성: 공감능력처럼 장기간에 걸쳐 누적 형성되는 역량은 단기 개입으로 측정 가능한 변화가 나타나기 어렵다. 이를 뒷받침하는 선행 연구를 반드시 인용해야 한다.
-측정의 한계: 사용한 척도가 미세한 초기 변화를 민감하게 포착하지 못하는 구조적 한계가 있을 수 있다.
-질적 자료의 초기 변화 근거: 양적으로는 유의하지 않더라도 질적 자료에서 참여자의 변화 진술이 확인된다면 이를 근거로 제시한다.
단, 발달적 특성 논리는 공감능력, 자아존중감처럼 장기 형성 역량에만 적용된다. 태도나 지식처럼 단기 변화가 가능한 변인에 이 논리를 적용하면 오히려 역효과가 난다.
연구의 의의와 한계
연구의 의의는 이론적 의의, 현장 실천 가능성, 평가 방법의 엄밀성, 정책적 시사점의 4개 축으로 작성한다. 한계점은 솔직하게 인정하되, 각 한계가 후속 연구 제언으로 자연스럽게 이어지도록 구성한다. 한계를 나열만 하고 제언이 없으면 미완성된 논의로 평가된다.
논문 상담 문의 T: 1600-7473
프로그램 효과 검증 연구는 설계 단계에서 논문의 완성도가 결정된다. 서론의 역삼각형 구조, 이론적 배경의 논리적 흐름, 4단계 프로그램 개발 모형, 준실험설계 적용, 단계별 분석 절차, 논의 4단계 패턴까지 각 단계가 왜 그렇게 구성되어야 하는지를 이해하고 적용하면 심사에서 안정적인 평가를 받을 수 있다.
퀵데이터는 연구자들의 고충과 연구의 지향점을 분석하여, 논문 연구 모형 설계와 계획서 작성부터 통계분석과 결과 해석까지 일대일 맞춤형 종합 컨설팅을 제공하고 있습니다. 연구설계 단계에서 방향을 잡는 것이 논문 완성의 출발점입니다.
#프로그램효과검증 #준실험설계 #논문연구방법 #대학원논문 #석사논문 #박사논문 #SPSS통계 #반복측정분산분석 #RMANOVA #ANCOVA #혼합연구방법 #논문통계분석 #프로그램개발 #내용타당도 #CVR #CVI #연구설계 #논문작성법 #이론적배경 #서론작성 #논문컨설팅 #통계분석 #대학원생 #상담학논문 #교육학논문 #사회복지논문 #논문통계 #논문도움 #퀵데이터
'논문작성법' 카테고리의 다른 글
| 논문 주제 선정 실수 5가지: 연구 시작 전에 반드시 점검해야 할 것들 (0) | 2026.06.04 |
|---|---|
| 논문 주제 선정 방법: 연구 가능한 주제를 찾는 기준 (0) | 2026.06.02 |
| 2학기 논문심사, 직장인 대학원생이 지금 바로 준비를 시작해야 하는 이유와 전략 (0) | 2026.05.21 |
| 설문 설계 오류가 논문 실패로 이어지는 이유 – 실제 사례 3가지와 예방법 (0) | 2026.04.30 |
| 설문 문항 수정 방법 완전 정리 – 논문 설문 설계 전 반드시 확인할 4단계 (0) | 2026.04.27 |
