'전교조와 수능성적'과 '까마귀 날자 배떨어진다'

놀라지들 마시라. 울아들이 나와 즐겁게 노는 시간과 전세계 스마트폰 시장 발전 사이에는 명백한 상관관계가 존재한다. 노는 시간 데이터와 스마트폰 시장 규모 추이를 데이터로 정리해서 회귀분석을 비롯해 그 어떤 통계기법을 다 동원해도 결론은 똑같다. 사실 그거 안해봐도 알 사람은 다 안다.

대학원 석사과정 지도교수는 수업시간에 더 놀라운 비밀을 알려줬다. 90년대 태어난 그 교수 아들 키가 크는 것과 나스닥 지수가 올라가는 것에는 명명백백한 상관관계가 존재한다. 그 교수는 실제 테이터까지 제시해 보였다. 말 그대로 이거다. “The Truth Is Out There!!!”

오해들 마시라. 울아들이 나와 즐겁게 많이 노는 것과 스마트폰 시장 발전이 상관이 있다는 것과 ‘울아들이 나와 즐겁게 놀수록 스마트폰 시장이 더 커진다.’는 말은 전혀 다른 말이다. 그러니까 ‘국익을 위해’ 나보고 휴가 가라고 말하지는 말아달라. 마찬가지로 지도교수 아들내미 성장판이 닫혔기 때문에 2008년 미국발 금융위기가 일어났다고 생각하지도 말지어다.

비밀은 사회과학 방법론의 핵심개념 가운데 하나인 <상관관계와 인과관계>의 차이에 있다. 그리고 ‘자칭’ 국가 백년대계를 책임진다는 한 정부부처와 어느 경제학과 교수라는 분이 <상관관계와 인과관계>를 갖고 ‘어린 백성’들을 시험에 들게 하셨다.

전교조와 수능성적 상관관계 있다? 그래서 어쩌라고!

19일 교육과학기술부가 비용을 대고 한국노동연구원이 연구한 내용을 발표하는 자리가 열렸다. ‘교원 노사관계 평가와 발전방안 토론회’에서 ‘교원노조의 법률적 특수성 검토’ 등 4개 주제 발표가 있었는데 이 글에서 거론하고자 하는 건 세 번째 주제인 ‘전교조와 학업성취도의 상관관계 분석’이 세간의 이목을 집중시켰다.

20일자 서울신문 14면 <교과부 ‘전교조 연구’ 논란> 기사에 따르면 이인재 인천대 경제학과 교수는 “전교조 가입교사가 10% 증가하면 수능 언어영역 표준점수가 0.5~0.6점, 외국어영역 표준점수가 1.1~1.3점 감소한다.”고 밝혔다.

“이 교수는 학생들의 교육경험과 진로의 상관관계를 파악하기 위해 한국교육고용패널(KEEP)이 일반계 고3학생 2000명에 대해 실시한 2004년 조사에 포함된 ‘학교당 전교조 가입 교사수’를 ‘학생의 수능 성적 성취도’와 비교했다.”

이 연구의 결론은 전교조 가입교사 비율과 수능성적 간에 유의미한 부(-)의 관계가 존재한다는 것으로 요약할 수 있다. 다시 말해 전교조 교사가 많은 학교를 다니는 학생들은 수능성적이 다른 곳보다 적다.

분명히 짚고 넘어가야 할 게 있다. 이 연구는 상관관계 분석이다. 발표문 결론에서도 “‘인과관계를 의미하는 것은 아니다’라고 밝히고 있다.”고 한다. 진보신당 정책브리핑이 지적했듯이 “전교조 교사가 많을수록 수능성적이 떨어진다고 해석할 수 있지만, 그 반대로 수능성적이 낮을수록 전교조 교사가 많은 것으로도 볼 수 있다.”

중요한 건 인과관계다. 전교조 교사와 수능성적이야 당연히 상관이 있겠지. 하지만 교과부는 ‘전교조 교사 땜에 수능 성적 떨어진다’라고 주장할 근거를 찾는 입장이었는데 이번 연구는 그런 결론을 못 이끌어냈다. 인과관계를 입증하지 못했기 때문이다.

바비 교수의 <사회조사방법론>(11판) 128~131쪽을 인용해보자. 인과관계를 판단하려면 1. 변수들이 상호 연관되어 있으며, 2. 원인은 결과에 우선하여 발생하며, 3. 변수들은 허위관계가 아니라는 세가지 기준을 충족해야 한다.

상관이 있다는 건 “두 변수간 경험적 관계가 첫째 한 변수의 변동이 다른 변수의 변동과 관련되어 있거나 둘째, 한 변수의 특정 속성이 다른 변수의 특정 속성과 관련되어 있는 경우”가 바로 상관관계가 성립하는 경우다. “상관은 그 자체로 두 변수간 인관관계를 구성하지 않지만, 인과관계에서 하나의 판단기준이다.”

책에 보면 신발 크기와 수학실력을 예로 든다. ‘신발이 크면 수학 실력도 높으며 그 반대도 성립된다’ 이건 직접적 상관관계다. 이 교수가 했다는 연구가 여기에 해당된다. 그러면 이런 질문이 가능하다. “그래서 어쩌라고?”

허위적 인과관계도 있다. 두 변수간 경험적 상관을 발견하더라도 인과관계가 성립되는 건 아니다는 것. ‘신발 크기도 수학 실력도 상호 원인이 아니다’라고 할 때 허위적 인과관계라고 할 수 있다. 이번 연구 역시 이럴 가능성을 배제할 수 없다. 실제 인과관계란 뭘까. “연령이라는 내재적 변수가 신발 크기와 수학 실력의 원인이며 관찰된 상관(신발크기와 수학실력)을 설명한다.”

“예를 들어 사회연구자가 교육과 인종적 관용 간에 인과관계가 있다고 말하면, 이는 곧 (1) 이 두 변수간 통계적 상관이 존재하며, (2) 교육수준이 현재의 관용수준 또는 편견보다 먼저 발생하고, (3) 관찰된 상관이 허위적인 것이라고 설명할 수 있는 제3의 변수가 존재하지 않는다는 것을 의미한다.”

전교조 교사가 많아서 수능성적이 떨어지는 것일 수도 있고 교육환경이 열악한 곳일수록 전교조 교사가 많다는 얘기일수도 있다. 외국어고 등 특목고에 전교조 교사가 적기 때문일 수도 있고 평준화지역에 전교조 교사가 많기 때문일수도 있다. 이쯤 되면 도대체 경제학과 교수쯤 되는 분이 비싼 국민 세금 받아서 기껏 연구했다는게 이런 건가 하는 생각이 먼저 들게 된다.

경제학과 교수가 한 연구 맞아?

서울신문 기사에 보면 심지어 “전교조 교사가 수업에 참여했는지 여부에 관계없이 교무실에 전교조 교사가 몇 명인지에 따라 개별 학생의 수능 성적이 어떻게 영향을 받는지” 조사했다는 건데, 고3 학생들에게 고1 체육이나 음악 수업을 담당하는 전교조 소속 교사가 도대체 무슨 의미가 있다는건지 알다가도 모를 일이다.

연구 허점은 그것만이 아니다. 진보신당 정책연구원 지적을 인용해보자. “이 연구는 직업능력개발원의 교육고용패널(KEEP) 1차년도 데이터를 활용하였다. 교육고용패널은 종단분석을 목적으로 설계되었고, 2004년부터 시작되어 작년 2008년까지 5차년도 데이터가 있다. 하지만 이 연구는 첫 해의 자료만 가지고 횡단분석을 하였다. 종단분석을 하기 위한 데이터임에도, 한 해의 자료를 바탕으로 횡단분석을 한 점은 아쉬운 대목이다.”

전교조도 성명에서 이 부분을 비판했다. “이 교수는 학생들이 재학한 기간 동안 종단 연구 자료를 변수로 활용하면서, 성적 자료는 2004년 자료만 인용했다... 연구 설계부터 잘못된 것이다.”

고등학교를 다녀본 사람이라면 담임교사가 얼마나 중요한 구실을 하는지 알거다. 하지만 진보신당 정책브리핑에 보면 연구결과는 “담임교사가 전교조인지 여부와 수능성적은 아무런 관계가 없는 것으로 나왔다.”고 한다. 이러면 얘기가 복잡해진다. 진보신당 정책브리핑은 이에 대해 “신중한 해석”이 필요하다고 강조하면서 “전교조 가입교사 비율과 수능성적 사이가 직접적인 관계가 아니라 다른 변수(예컨대, 학내 비리 등)를 매개로 한 간접적인 관계일 수 있기 때문이다.”라고 지적했다. 

상관관계는 말장난 소재로 괜찮다. '김치 먹으면 사스 예방' 기사가 났을 당시 나와 동생은 "김치 때문이 아니라 사실은 김치에 들어있는 고추가루 때문일 것'이라는 술자리 농담을 하곤 했는데 이번도 그 생각이 난다. 정부부처와 경제학과 교수가 20대 젊은이들의 술자리 농담보다도 썰렁한 흰소리를 하는 것 자체야 그렇다 치더라도 농담하는데 들어가는 국민 세금이 참 아깝다.

글을 다 쓰고 관련 이미지를 찾다가 어느 블로그에 있는 비슷한 주제의 글을 하나 보게 됐다. 참고가 될 듯 하여 소개한다. 상단에 있는 이미지 파일도 그 블로그에서 퍼왔다는 점을 밝혀둔다.

http://www.sgsgi.com/sgsg/c/read.jsp?serial=45&seq=1676&item=44&page_no=1