ODA 평가방법론의 전환: 기여분석(Contribution Analysis)과 이론기반평가의 부상
한국공학대학교 금방섭 교수
왜 지금 평가방법론이 바뀌고 있는가
국제개발협력(ODA) 사업은 대부분 다수의 행위자, 다년도에 걸친 개입, 복잡한 정책 환경 속에서 이루어진다. 전통적인 실험·준실험 설계(무작위대조군실험 RCT, 이중차분법 등)는 "이 사업이 특정 결과를 야기했는가"라는 귀속(attribution) 질문에는 강하지만, 실제로는 "왜, 어떤 경로로, 어떤 맥락에서 그 변화가 일어났는가"라는 질문에 답하기 어려운 경우가 많다. 특히 거버넌스 개혁, 제도 역량강화, 정책대화와 같이 통제집단을 설정할 수 없는 사업유형에서는 이 한계가 두드러진다.
이런 배경에서 2026년 3월 세계은행 독립평가그룹(IEG, Independent Evaluation Group)이 발표한 기여분석(Contribution Analysis) 가이던스는 평가업계에 상당한 반향을 일으키고 있다. 이 문서는 기여분석을 ①이론구축(1~4단계)과 ②이론검증(5~6단계)의 두 국면, 총 6단계로 체계화했다.
기여분석이란 무엇인가
기여분석은 이론기반평가(Theory-Based Evaluation)의 한 갈래로, "사업이 결과변화의 유일한 원인이었는가"를 입증하려 하지 않는다. 대신 "사업이 관찰된 변화에 그럴듯하게(plausibly) 기여했다고 볼 수 있는가"를 다수의 증거를 통해 구성한다. 핵심 절차는 다음과 같다.
- 다루고자 하는 핵심 문제(변화이론, Theory of Change)를 명시한다.
- 그 변화이론이 실제로 어떻게 작동했을 것으로 예상되는지 인과경로(causal pathway)를 구체화한다.
- 대안적 설명(경쟁가설, 다른 행위자·외부충격의 영향)을 목록화한다.
- 증거를 수집해 변화이론의 각 단계가 실제로 성립했는지 검증한다.
- 대안적 설명과 비교해 사업의 기여가 더 설득력 있는 설명인지 판단한다.
- 기여 서사(contribution story)를 구성하고 남아있는 불확실성을 명시한다.
이 접근은 "원인이 복수일 수 있다(multiple causality)"는 점을 전제로 하며, 변화이론을 정교화하고 증거 기반의 그럴듯한 인과서사를 구축하는 데 중점을 둔다. 효과크기(effect size)를 정밀하게 추정하지는 못하지만, 개입이 영향을 미쳤는지, 어떻게·왜 그러했는지, 맥락이 어떻게 작용했는지에 답할 수 있다는 장점이 있다.
종합평가에서 국지화된(localised) 분석으로
2000~2025년 사이 ODA 효과성 연구를 종합적으로 검토한 최근 문헌에 따르면, ODA 효과성 연구의 방법론적 흐름 자체가 거시적·집계적(aggregate) 국가간 비교연구에서 특정 분야·특정 사업유형에 국한된 국지화된(localised) 분석으로 뚜렷하게 이동하고 있다. 이는 "원조가 성장에 기여하는가"라는 거대 질문보다 "이 특정 보건사업이, 이 특정 맥락에서, 어떤 경로로 작동했는가"라는 사업단위 질문으로 평가의 초점이 세분화되고 있음을 보여준다.
이러한 흐름은 일본 외무성이 매년 개최하는 ODA평가 워크숍(2025년 11월 제20회)에서도 공통적으로 다뤄지는 주제이며, 영국 정부의 평가방법론 공식지침인 Magenta Book Annex A(2026년 개정)에도 이론기반 분석방법이 핵심 축으로 포함되어 있다.
RISTI 평가실무에의 함의
이러한 방법론적 전환은 RISTI가 수행하는 ODA 종료평가·중간평가 실무에 직접적인 시사점을 준다.
- 변화이론(ToC)·PDM 설계의 중요성 증대: 사업 착수 단계에서부터 명시적인 변화이론과 성과관리매트릭스(PDM/ePDM)를 정교하게 설계해두어야, 종료 시점에 기여분석을 적용할 수 있는 증거기반이 축적된다.
- 경쟁가설의 사전 식별: 평가설계 단계에서 "이 변화가 사업이 아닌 다른 요인(정책변화, 타 공여기관 개입, 경기변동 등)으로 설명될 가능성"을 미리 목록화해두는 것이 평가의 신뢰도를 크게 높인다.
- 정성·정량 증거의 통합: 기여분석은 통계적 효과추정이 아니라 다원적 증거수렴(triangulation)에 의존하므로, 인터뷰·문헌검토·현장관찰·행정데이터를 체계적으로 결합하는 평가매트릭스 설계가 필수적이다.
국제개발협력 평가가 "증명(prove)"에서 "설득력 있는 서사의 구성(plausible contribution story)"으로 중심을 옮기고 있다는 점은, 평가가 더 엄밀해지는 것이 아니라 더 정직해지는 과정이라고 볼 수 있다. 복잡한 현실에서 단일 원인을 찾으려는 시도보다, 다수의 그럴듯한 기여를 투명하게 드러내는 쪽으로 평가 패러다임이 이동하고 있다.
참고자료 - World Bank IEG — Quality Guidance for Contribution Analysis in Practice - UK Government — Magenta Book Annex A: Analytical methods for use within an evaluation (2026) - Monitoring & Evaluation Studio — Theory-Based Evaluation Quick Reference - 일본 외무성 — 제20회 ODA평가 워크숍 보고서 (2025.11)