블라인드 테스트, 그리고 주관주의/객관주의

클래식 음악을 듣기 시작하면 꼭 들르게 되는 사이트 중 하나가 고!클래식 아닐까 합니다. 줄여서 고클이라고들 부르죠. 요즘 고클의 오디오파일 게시판에 실용/비실용 논란이 한참입니다. 전세계 어디든 오디오 사용자들 사이에 항상 있어왔던 논쟁이라 또 그러나 싶었지만 이번에는 꽤 오래 가네요. 제가 아는 분야의 논쟁이라면, 숟가락 하나 올려놓고 싶은 충동이 드는 성격인지라 ^^ 저도 그 게시판에 글 하나 올리면서 기록 목적으로 이 블로그에 복사해 둡니다.

==========================

2009년 4월 15일 가입한 이후에도 몇번 이 게시판에서 실용/비실용 논쟁을 봤습니다. 오디오 하시는 분들은 전세계 어디든 같은 논쟁을 하기에 그러려니 했지만 이번에는 좀 오래가네요. 논쟁이 과격해지다보니 사실이 아닌 이야기들도 나오고 상대방 주장과는 상관없는 논지로 반박하는 것도 보입니다. 오디오보다는 음악에 더 중점을 두고, 또 이른바 하이엔드 제품을 많이 접해보지도 않았지만 경험과는 상관없이 사실에 대해서는 이야기할 수 있을 것 같아 이 논쟁에 글 하나 더해봅니다. 

오디오 객관주의/주관주의 

실용오디오 사이트 때문인지 모르겠지만 한국에서 실용주의/비실용주의라 불리우는 이 논쟁을 영어권에서는 객관주의/주관주의라 부릅니다. 두가지 다 논쟁의 초점을 명확히 표현하지는 못하지만 '비실용주의'라는 용어가 현실을 잘 모르는 사람들의 주장이라는 다소 부정적인 느낌을 주기에 저는 객관주의/주관주의라는 용어를 사용하는 걸 선호합니다. 

 

먼저 짚고 넘어갈 거는 객관주의나 주관주의 진영 안에서도 상당한 의견차가 있다는 겁니다. 객관주의가 극단으로 가면 '오디오의 특성은 제품과 상관없이 모두 같다'가 되고 주관주의의 극단으로 가면 '어느 제품이든 모두 현저한 차이를 만들어 낸다'가 됩니다. 이런 양진영의 극단적 주장을 놓고 논쟁을 하면 끝이 없습니다. 그건 마치 극보수의 기독교인이 이슬람 원론주의자와 대화를 시도하는 것과 같기 때문입니다. 

 

그런 극단적 주장을 제하고 나면 객관주의와 주관주의는 보통 하나의 가설에 대해 다른 의견을 가지는 것으로 결론이 납니다. 그 가설은 '일정 수준 이상의 품질을 가진 비슷한 스펙의 오디오 제품간의 차는 사람의 귀로 구별할 수 없다'입니다. 짚고 넘어갈 것은 '일정 수준 이상의 비슷한 스펙'간을 비교하는 것과 '사람의 귀로 구별할 수 있는가'의 여부입니다. 객관주의자가 '모든 오디오가 같다'라는 주장을 하는 것은 아니라는 것이지요. 스펙이 다른 제품간의 차이를 인정하지 않는 것도 아닙니다. 분명히 스펙이 다르면 제품간의 차이는 있거든요.  

 
블라인드 테스트를 왜 하는가?

스테레오파일 같은 잡지를 보면 가끔 제품의 주파수 특성을 보여주는 것이 나옵니다. 최근에는 지터 문제를 놓고 다른 주파수 특성을 보여주면서 어떤 제품이 특성치가 좋은지 보여주더군요. 그렇게 계측기를 가지고 비교를 하면 제품간의 다른 특성은 쉽게 '증명'이 됩니다. 그렇기에 '제품간의 차이가 없다'라는 가설을 놓고 이야기하면 토론이 진행이 안됩니다.

 

블라인드 테스트를 통해 증명 혹은 반증하려는 가설은 '제품간의 소리차이를 사람의 귀로 구별할 수 있나'하는 겁니다. 블라인드 테스트 자체는 중립입니다. 과학이라는게 그렇거든요. 가설을 하나 세우면 실험을 통해 증명하거나 혹은 반증해야합니다. 반증가능성이 없으면 과학이 아니지요.

 

실험 모델링을 하신 분들은 아시겠지만 어떤 것이 독립변수인지 어떤것이 비독립변수인지가 굉장히 중요합니다. 그리고 독립변수의 수를 최소한으로, 이상적으로는 하나로 하는 것이 필수적입니다. 결과에 영향을 줄 수 있는 변수가 서너개 되어버리면 결과를 도저히 분석해낼 수 없습니다. 

 

블라인드 테스트는 독립변수의 수를 하나로 줄이고자 하는 행위입니다. 테스트하고자 하는 시스템 이외의 모든 것을 같게 합니다. 케이블을 테스트한다면 이외 모든 것은 같은 제품을 씁니다. 소리의 크기도 같이하고 스피커의 위치도 동일하게 유지합니다. 제품에 대한 선입견을 없애기 위해 어떤 제품을 사용하는지도 모르는 상태에서 소리만으로 판단하게 하는 겁니다. 일부 글에 눈으로 보지 않고는 (unless through sighted test) 소리의 차이를 구별할 수 없다고 하는데 그건 정당한 테스트가 아니지요. 보지않고 구별할 수 없는 것을 보고서 구별한다는 것은 소리 이외의 다른 변수가 이미 개입된 것이니까요.  

블라인드 테스트의 종류 

오디오 업계에서 사용하는 블테는 두가지입니다. 그냥 블라인드 테스트라 하면 실험자는 모든 상황을 알지만 답변하는 사람은 모르는 경우입니다. 실험자가 알면 혹시나 생길 외부요인마저 없애고자 사용하는 방법이 더블 블라인드 테스트(DBL)입니다. 자동 스위치를 통해 모든 사람이 어떤 시스템을 듣는지 전혀 모르는 상태에서 테스트를 진행하는 겁니다. 

 

제품간 차이를 구별하기 위한 실험의 경우 답변은 두가지 중 하나를 선택하는 AB방식과 '모르겠다'를 추가한 ABX방식이 있습니다. 선호도를 평가하는 경우는 테스트하는 제품만큼 답을 하게 될테구요. 

블라인드 테스트는 가치가 있는가? 

사실 이런 질문 과학이나 의학쪽 종사하는 분에게 하면 무식하다 욕먹습니다 ^^ 블라인드 테스트는 실험의 한가지 방법일 뿐이고 잘만 설계된다면 방법론에 합당한 실험입니다. 블라인드 테스트 자체를 부정한다면 그건 실험을 통한 증명이라는 전제를 모두 부정하는 거지요. 그 주장은 종교가 되어버리는 거구요. 

 

오디오 업계에서는 대체적으로 블라인드 테스트를 폄하하려 합니다. 왜냐하면 밥줄이 달려있으니까요 ^^ 하지만 오디오 업체들이 블테를 사용안하느냐하면 그렇지도 않습니다. 캐나다의 National Research Council (NRC) 에서 스피커 업체들과 같이 블라인드 테스트를 했습니다. 하만사의 블라인트 테스트 결과도 찾아볼 수 있구요. Good Sound지의 Doug Schneider와 같이 블테가 좋은 오디오를 평가하는 효과적인 방법이라 생각하는 평론가도 있습니다. 거듭 말하지만 블라인드 테스트 자체는 중립적입니다. 

 

모든 블테가 효과적으로 설계가 된 것은 아닙니다. 답변자들에게 전혀 생소한 제품들을 사용한다든지, 시스템의 배치가 너무 엉망이라 테스트하고자 하는 제품들의 특성치가 다른 요인으로 인해 무시될 정도로 떨어진다든가 하는 문제가 있을 수 있습니다. 답변자들이 듣는 훈련이 안되어 있는 이른바 '막귀'인 경우 실험의 의미가 없어집니다. 오디오 잡지들이 주로 공격하는 블테가 이런 실험들이지요. 반대로 제품간 차이가 없음에도 다른 요인으로 차이를 구별할 수 있는 경우도 있습니다. 예를 들어 Radio & Television에서 1982년도에 한 프리앰프의 블테에서 고급제품에 한해 채널간 0.06dB의 차이가 있었다고 합니다. 이로 인해 사람들이 두가지 제품을 쉽게 비교할 수 있었지요. 물론 두번째 실험부터는 이 차이를 없앴지만요.  

 

하지만 모든 블테가 다 엉망으로 설계된 것은 아닙니다. 찾아보면 잘 설계된 테스트들이 많습니다. 여기에 가보면 다양한 블라인드 테스트 결과를 볼 수 있습니다.

블라인드 테스트는 무엇을 증명/반증하는가? 

위에서도 말했지만 블테를 통해 증명/반증하고자 하는 가설은 '제품간 차이를 사람의 귀로 구별할 수 있는가?'입니다. 소리의 특성치는 계기 측정만으로 가능합니다. 블테의 결과를 놓고 보면 99% 이상 제품간의 차이를 구별할 수 없다로 나옵니다. 스피커의 경우만 예외입니다. 케이블의 경우는 차이를 밝혔다는 테스트를 보지 못했구요. 50미터(50ft 인지 기억은 확실치 않습니다) 이상의 스피커 케이블은 대부분 쉽게 구별해냈다는 결과를 봤습니다. 블테라고 모두 구별 못하는 것은 아닙니다 ^^

 

하지만 그 결과를 놓고 '제품간 차이가 전혀 없다'라고 확대해석할 수는 없다고 생각합니다. 예를 들어보겠습니다. TV를 사러 전자 매장을 가면 보통 여러제품을 놓고 비교하게 됩니다. 이렇게 눈 앞에 놓고 비교하면 구별이 쉽습니다. 어떤 제품이밝고, 어떤 제품이 더 녹색을 띠고 있고, 어떤 제품이 더 선명한지 쉽게 보입니다. 그래서 맘에 드는 것을 집에 가져다 놓습니다. 그런데 며칠이 지나고 다른 집에 놀러가서 비교했던 다른 TV를 봅니다. 이때 두 제품간의 차이를 판별할 수 있는 사람이 있을까요? 내가 산 제품이 친구의 TV보다 밝은지 선명한지 알 수 있을까요? 백이면 백 자신있게 이야기할 수 있는 사람이 없을 겁니다. 

 

이렇게 극단적인 것은 아니지만, 비교하는 대상을 동시에 들을 수 없는 오디오 블라인드 테스트의 특성상, 같은 한계를 가지고 있습니다. 현재 듣는 제품을 오래 들을 수록 이전에 들었던 것과 객관적으로 비교할 수 있는 기억상의 근거가 서서히 사라지게 되는 겁니다. 차이가 있더라도 구별할 수 없는 경우도 생깁니다. 따라서 블테 결과만을 놓고 제품간 차이가 없다는 것은 지나친 확대 해석입니다. 

그렇다면 블라인드 테스트는 의미가 없는가? 

여기 게시판에 보면 사람의 귀는 오묘해서 블테만 가지고는 진정한 평가를 내릴 수 없다라는 주장을 하시는 분이 있는데, 그렇기에 블테가 의미 없다는 것은 억지입니다. 그 주장은 소리 이외의 다른 요인이 반영된다는 것을 인정하는 것이나 마찬가지니까요. 

 

앞에서 제시한 하만사의 테스트를 보면 흥미로운 결과가 나옵니다. 동일한 사람들이 동일한 조건에서 스피커 선호도 테스트를 했습니다. 블라인드 테스트와 보면서 하는 테스트를 둘다 했습니다. 실험자 모두 하만사에서 근무하는 이른바 듣기에 '훈련된' 사람들이었습니다. 그럼에도 두 테스트의 결과는 현저하게 다릅니다. 또 한가지 흥미로운 게 있습니다. 스피커의 위치를 바꾸어놓고 청취실험을 합니다. 이때 블라인드 테스트의 결과는 스피커 위치에 따라 다른 결과를 보여줍니다. 하지만 보면서 하는 테스트는 스피커 위치와 상관없이 비슷한 결과를 보여줍니다. 결국 어떤 제품인지 알면서 하는 테스트에서는 소리가 아닌 '스피커 자체에 대한 선호도'를 보여준다는 겁니다. 선입견이 그만큼 크게 작용하는 거지요. 또한 스피커 위치가 제품간 차이보다 소리에 더 큰 영향을 준다는 것도 보여주고 있습니다.

결론은? 

마지막으로 제 입장을 밝힌다면 저는 객관주의에 가깝다고 할 수 있습니다. 왜냐하면 실험의 결과가 그렇게 나타나니까요. 일정 시간 넘게 듣고 있으면 구별할 수 없는 소리의 차이를 위해 몇백, 몇천씩 더 투자할 용의는 없거든요. 그보다는 더 크게 영향을 줄 수 있는 공간이나 배치에 더 신경을 쓸 겁니다. 지금 가지고 있는 시스템의 성능을 최대한 끌어올리는게 훨씬 더 효과적이라 믿으니까요.

 

그럼에도 오디오가 꼭 소리가 다는 아니라는 것에 동감합니다. 좋은 오디오 시스템이 디자인도 괜찮고 내구성도 좋습니다. 들여다놓으면 폼도 납니다. 재력만 된다면 굳이 마다할 이유 없습니다. 이에 관해, 제가 음악을 다시 듣게되는데 가장 큰 공을 한, 현카피님의 글을 소개합니다. 저는 인용한 문장처럼 제품간 차이가 전혀 없다고 주장하는 것은 아닙니다. 원글을 읽어보시면 알겠지만 현카피님도 그렇게 주장하지는 않습니다. '구별할 수 있을만큼 차이가 없다'는 것이 실험의 결과입니다.
 

만약 어떤 이가 "실제 맛이 달라지지 않더라도, 내가 청자잔으로 술을 마시는 건 내게 아주 우아하고 고급스런 느낌을 준다" 한다면 그건 심미주의의 관점에서 설명할 수 있는 일이고, 누가 뭐라할 일이 아닙니다. 하지만 그가 "청자잔이 실제로 화학적으로 작용하여 맛을 바꾸어 놓는다, 그래서 나는 값비싼 청자잔을 무리해서라도 구입한다"고 한다면 이때는 누군가 "청자잔이 실제 당신이 마시는 술을 화학적으로(차이를 느낄 수 있을 만큼) 바꾸어놓은 것은 아니다"고 말할 수 있는 것입니다. 이건 상대의 심미주의에 대한 비판이 아니라 '사실'을 지적하는 것입니다.

결국 선택은 개인의 몫입니다. 그래도 많은 경우 제품간 차이를 구별할 수 없다는 사실은 인정해야겠지요. "과학적 사실은 우리의 주관적인 느낌이나 독자성과는 별개의 문제"이니까요. 그렇지 않고 믿는대로 종교적 주장을 되풀이 한다면 논쟁의 끝은 안날 겁니다.