조사 결과 퀄리티를 높이는 '참여자 중심 리서치'

리서치는 고객, 조사 기관, 조사 참여자 이렇게 세 가지 요소로 진행 됩니다. 조사 기관은 고객사의 필요와 목적을 파악하여 참여자들로 부터 인사이트를 발굴 하는 역할을 하죠.

온라인 조사가 증가하면서 더 쉽게 그리고 심지어 상시적으로도 조사 참여자를 모집 하고 있습니다. 조사 참여자가 많아 지고 모집이 쉬워졌지만, 이 모든 것이 조사 결과에 긍정적인 영향을 주고 있진 않아요.

전문가들은 실제로 조사에 참여하는 응답자 비율은 시장 조사 부문과 함께 증가했지만 양질의 인사이트를 제공하는 진정성 있는 참여자의 수는 제한적이기 때문에 최적의 데이터와 인사이트를 얻기는 더 어려워 졌다고 설명합니다.

설문조사 결과의 퀄리티를 높이기 위한 적극적인 고민이 필요한 시점인데요, 입소스 전문가들은 고객과 응답자 중심의 사고를 해법으로 제시합니다.

입소스 리포트 <Respecting Respondents : Why respondent centric research drives quality insights>를 통해 더 자세히 알아보겠습니다.

 

설문조사 참여자와의 계약 이행

참여자 중심 리서치를 위해 설문조사 기관이 가장 먼저 점검해야 하는 것은 바로 ‘설문조사 참여자와의 계약 이행’입니다.

본격적인 설문조사 시작 전, 설문조사와 관련하여 기관은 참여자와 ‘업무 계약’을 체결합니다. 업무 계약에는 설문조사 참여자의 구체적인 업무 범위와 설문조사 목적 등이 명시됩니다.

 

여기서 가장 중요한 부분은 바로 설문조사 참여자의 개인정보입니다. 설문조사라는 업무 특성상 참여자의 개인정보를 반드시 수집해야 하는데요, 이때 ‘개인정보 수집·이용 및 제공에 관한 동의서’에 서명을 받아 참여자의 동의를 얻습니다.

참여자는 자신의 개인정보가 철저하게 보호되고, 계약서에 명시된 설문조사 목적으로만 사용되며, 일정 기간이 지나면 개인정보가 폐기될 것으로 기대합니다. 설문조사 기관은 참여자의 개인정보가 계약서에 명시된 대로 처리되도록 관리·감독할 의무가 있습니다.

또한 계약서 내용 외에 참여자의 설문조사 경험도 신경 써야 합니다. 계약서에 명시되어 있지 않더라도, 참여자는 암묵적으로 자신에게 가장 적합한 설문조사 방법을 선택할 수 있고, 전반적인 설문조사 경험을 통제할 수 있습니다.

설문조사 기관은 참여자의 시간과 니즈를 모두 고려하여, 참여자가 최적의 설문조사 경험을 할 수 있도록 프로세스를 설계해야 합니다.

 

이렇게 설문조사 참여자와의 계약 이행에 주목하는 이유는 설문조사에 적극적으로 참여하는 참여자의 풀(Pool)이 한정되어 있기 때문입니다.

산업 현장에서 온라인 설문조사의 비중은 점차 증가하고 있습니다. 입소스에서 자체적으로 조사한 자료에 따르면, 대부분의 북미와 유럽 국가에서 온라인 설문조사 비율이 증가했습니다.

하지만 한정된 참여자 풀로 인해 참여자 개개인이 짊어질 부담도 덩달아 커졌습니다. 설문자 한 명이 답해야 하는 분량이 많아지거나, 구체적인 조사를 위해 설문조사 설계가 더욱 복잡해졌죠.

이에 따라, 참여자 중심의 리서치를 구성하여 참여자가 자발적으로 설문조사에 참여하고 최선을 다해 정직하게 설문에 응할 수 있게 하는 것이 중요해졌습니다.

참여자 중심 리서치가 구성되면 가장 참여도가 높은 참여자로부터 최고 품질의 데이터와 답변을 확보할 수 있는데요, 이를 위해 설문조사 과정에서 발생할 수 있는 피로와 좌절감을 최소화하는 프로세스 설계가 필요합니다.

그렇지 않으면 조사 참여자가 설문조사를 포기하거나, 질문에서 빗나가는 등 왜곡된 답변을 제공할 수 있고 최악의 상황에는 해당 설문조사에 적합하지 않은 ‘사기성 참여자’가 참여할 수도 있죠.

이는 잘못된 비즈니스 의사 결정으로 이어질 수 있습니다. 따라서 설문조사 기관은 참여자와의 계약을 충실히 이행하고 참여자의 선택권, 통제권, 배려에 대한 니즈를 충족시켜야 합니다.

 

참여자와 설문조사 경험의 관계

다음으로 설문조사 기관이 신경 써야 하는 것은 바로 ‘전반적인 설문조사 경험’입니다.

참여자는 설문조사에 할애할 수 있는 시간과 집중력이 제한되어 있습니다. 설문조사 주제에 대한 선호도도 매우 다양하죠.

참여자는 이러한 점들을 고려하여 현재 자신에게 가장 적합한 설문조사가 무엇인지 생각하고, 각기 다른 시기에 다른 설문조사 주제를 선택합니다.

 

설문조사 경험에서 가장 중요한 요소는 바로 ‘설문조사 소요 시간’입니다. 위 온라인 설문조사 시간이 길어질수록 그에 비례하여 중도 포기율도 높아집니다. 특히 설문조사가 20분을 초과하면 모든 조사에서 최소 참가자 1명은 중도 포기하는 것으로 나타났습니다.

하지만 주제에 따라 어쩔 수 없이 설문조사 시간이 길어지기도 합니다. 이런 경우에는 참여자가 설문조사에 적극적으로 참여하거나 무사히 끝마치도록 유도해야 하는데요, 이를 위해 어떤 전략이 필요할까요?

설문조사 진척도에 관한 세부 정보, 참여자들이 좋아하는 주제, 인센티브가 그 해결책이 될 수 있습니다.

 

최근 북미와 유럽 참여자를 대상으로 어떤 설문조사 경험이 더 좋았는지 순위를 매기는 조사를 진행했습니다.

여기서 북미와 유럽 참여자 모두 ‘더 많은 점수를 주는 긴 설문조사’와 ‘자신이 좋아하는 주제를 다루는 긴 설문조사’를 가장 많이 선택했습니다. 이는 양자택일형 조사에서도 동일하게 나타났습니다.

특히 ‘자신의 설문조사 진척도를 알 수 있을 때 긴 설문조사를 선택하는 경향이 강하다’는 것을 알 수 있었습니다.

반면에 ‘짧은 설문조사'는 모든 유형(기술적 문제, 적은 점수, 좋아하지 않는 주제, 알 수 없는 진척도 등)에서 ‘긴 설문조사'보다 선호도가 낮은 것으로 나타났어요.

따라서 참여자들이 긴 설문조사를 끝마치게 하기 위해서는, 먼저 설문조사 경험 과정에서 발생할 수 있는 잠재적인 어려움(추가 과제, 여러 개의 그리드, 반복 루프, 개방형 질문 등)을 최소화해야 합니다.

그 후, 각 참여자가 좋아하는 주제에 맞는 설문조사를 분배하고, 설문조사 시간에 비례하는 인센티브를 제공해야 합니다. 그리고 설문조사 진척도에 관한 정보가 투명하게 공유되어야 합니다.

 

어떤 사람들을 참여자로 참여시켜야 할까?

‘참여자 중심 설문조사’를 설계하기 위해서는 참여자에 대해 자세하게 알아야겠죠. 입소스는 참여자를 행동 방식과 동기에 기반해서 구분하고 있는데요, 설문조사 참여자의 유형과 특징에 대해 자세히 알아보겠습니다.

 

좋은 참여자

설문조사에서 ‘좋은 참여자’란 실수가 없거나 실수를 거의 하지 않는 참여자입니다. 좋은 참여자에게 올바른 설문조사 경험을 제공하면 ‘완벽한’ 설문조사 데이터를 얻을 수 있습니다.

하지만 좋은 참여자여도 설문의 참여자 경험이 좋지 않다면, 설문 후반부에 피로감을 느끼거나 집중력이 떨어질 수 있습니다.

 

과장이 심한 참여자

참여자 선발 과정에서 참여 자격을 얻기 위해 자신의 관심사와 과거 참여 경력을 과장하지만, 실제 조사에서 답할 때 실수가 없거나 거의 없는 참여자를 말합니다.

 

클릭 수가 적은 참여자

추가 질문을 피하고자 일부러 답을 적게 선택하는 참여자입니다. 예를 들어, 참여자가 본인이 사용하는 브랜드를 선택할 때, 실제로는 4개의 브랜드를 사용하지만, 반복 질문과 후속 질문을 피하려고 2개의 브랜드만 선택하는 경우입니다.

 

부주의한 참여자

특정 유형의 질문에 주의를 기울이지 않는 참여자입니다. 예를 들어, 객관식 그리드 질문이나 설문지 내 유사한 질문에 일관된 답변을 제공하지 않습니다.

 

사기성 참여자

의도적으로 신분을 속이며, 고의로 부정확하고 꾸며낸 답변을 제공하는 참여자입니다. 일반적으로 저조한 참여를 보이며, 금전적 보상만을 목표로 합니다.

 

이렇듯 설문조사 참여자에는 다양한 유형이 있기 때문에, 참여자들이 제공한 데이터의 품질을 더 깊이 이해하기 위해서는 신뢰할 수 있고 공정한 평가 도구를 활용하여 다양한 참여자를 대상의 연구를 정기적으로 실시하는 게 좋습니다.

프로젝트를 시작하기 전, 참여자의 행동을 확인 및 제어할 수 있는 시스템을 마련한 후 수집된 데이터를 활용하면 각 그룹의 상대적 중요도를 대략 추정할 수 있습니다. 이 시스템을 통해 설문조사 설계의 영향을 중화할 수 있습니다.

 

입소스에서 자체적으로 진행한 연구에 따르면, 설문조사 참여자들의 전반적인 답변 퀄리티는 준수하지만, 낮은 답변 퀄리티에 ‘부주의한 참여자’와 ‘클릭 수가 적은 참여자’가 차지하는 비중이 상당했습니다.

그다음으로는 복합 행동(즉, 두 가지 이상의 유형이 함께 나타나는 것)과 ‘과장이 심한 참여자’, ‘노골적인 부정행위’ 등으로 나타났습니다.

 

참여자들을 배려하는 설문조사 경험이 필요

대부분의 참여자는 설문조사에 양질의 답변을 제공하고자 합니다. 하지만 모종의 이유로 최선을 다해 답변할 수 없는 상황에 처했을 때, 즉 참여자 자신이 설문조사 경험을 통제할 수 없거나 자신의 의견이 별다른 가치가 없다는 인상을 받으면 참여자는 좌절감을 느낍니다.

이를 예방하기 위해, 설문조사 기관은 참여자 입장에서 어떻게 하면 편안한 환경에서 답변할 수 있는지 생각해 보고 이를 설계에 반영해야 합니다.

 

북미와 유럽 참여자 대상으로 조사한 결과, 참여자가 설문조사 경험에서 불만족을 느끼는 가장 큰 이유는 바로 ‘기술적 이슈’였습니다.

그러나 기술적 이슈는 그리 자주 발생하지 않기에 다른 문제들을 주목해야 합니다. 기술적 이슈를 제외하면 나머지 주요 문제들(사진 또는 영상 업로드, 웹캠 녹화, 매우 긴 설문지, 이해할 수 없는 질문, 반복되는 질문, 답변하기 불편한 질문, 설문조사와 상관없는 질문, 개방형 질문 등)은 모두 설문조사 설계와 연관되어 있습니다.

예를 들어, 질문 내용을 이해하지 못하거나, 적절한 선택지가 없거나, 혹은 너무 민감한 질문이라고 느끼는 경우에도 참여자들은 내키지 않더라도 답변을 제출해야 합니다.

또한, 이미 잘 모른다고 밝힌 사안에 대해 반복적으로 질문을 받거나, 웹캠 녹화와 같은 민감한 정보를 요구하면 참여자는 배려가 부족하다는 느낌을 받을 수 있습니다.

마지막으로, 계약서에 15분에서 20분 정도 소요될 것으로 명시됐는데, 반복적인 질문으로 소요 시간이 연장되는 경우, 참여자는 속았다는 느낌을 받을 수 있겠죠.

참여자를 고려하지 않고 설문조사를 설계하면, 아무리 좋은 의도로 참여하더라도 참여자의 경험이 침해되는 것이기에 데이터의 품질과 인사이트에 영향을 미칠 수 있습니다.

예를 들어, 자기 경험을 과장하거나, 지나치게 긴 설문조사를 피하고자 일부러 적은 정보를 제공하거나, 합당한지 여부와 관계없이 가장 높은 점수를 매길 수 있고, 여러 번의 설문조사를 진행했으나 각각의 평가에 차이가 있을 수도 있어요.

그리고 ‘좋은 참여자’라도 설문조사가 마음에 들지 않으면 쉽게 부주의해지면서 실수할 수 있습니다.

따라서 설문조사 설계 심사 과정에서 참여자들의 온전한 경험을 위해 필요한 것이 무엇인지 진지하게 고려해야 합니다.

 

참여자의 기대를 만족시키는 설문조사 퀄리티

‘참여자 중심 리서치’를 설계하기 위해서는, 참여자가 중도 포기하지 않고 계속 참여하여 최대한 진실하게 답변하도록 설계해야 합니다. 그러기 위해서는, 당연하게도 참여자가 설문조사의 퀄리티에 만족해야 하겠죠.

참여자의 기대를 만족시키기 위한 설문조사를 설계하는 데는 몇 가지 규칙이 있습니다.

가족이나 친구 등 누구나 기꺼이 시간을 내어 완료할 수 있는 설문조사를 설계하는 것입니다. 소셜 미디어, 모바일 앱 경험, 스낵 콘텐츠 등 현재 보편화된 온라인 환경에 최적화되어야 합니다.

또 대부분의 설문조사가 모바일에서 실시된다는 점을 염두에 두고, 기기와 관계없이 모든 참여자가 완료할 수 있게 설계해야 합니다.

 

설문조사를 설계할 때 아래 가이드라인을 참고해 보세요.

1. 참여자 니즈에 맞춰 설계법 업데이트 : 온라인 디지털 생태계의 발전을 고려할 때 이전보다 더 많은 반복 조사가 필요하며, 기기에 구애받지 않되 모바일을 우선으로 고려하여 설문조사를 설계해야 합니다. 5년 이상 같은 설문조사 방식을 유지했다면, 현재 참여자들의 니즈에 맞게 새롭게 재설계할 필요가 있습니다.
2. 데이터 포인트와 설문 질문 우선순위 설정 및 점검 : 특히 수월한 진행을 위해 스크리닝 단계에서 우선순위를 정해야 하는데요, 꼭 필요한 질문과 스케줄만 우선순위에 두세요. 데이터 포인트나 질문이 분석에 사용되지 않을 경우, 조사에 포함하는 것을 재고하세요.
3. 업계 표준을 채택하여 참여자 경험 극대화 : 업계 또는 기관별 표준 스크리닝 문항을 사용하여 참여자 경험을 극대화하고 참여자가 질문에 답하는 시간을 최소화합니다. 온라인 환경에서 참여자는 위 정보가 저장된다는 사실을 알고 있기에, 비표준 문항이 제시되면 왜 계속 답변해야 하는지에 대해 의문을 제기합니다.
4. 다양한 질문 유형을 통한 참여자 활동 유지 : 다양한 질문 유형을 활용하여 참여자의 적극성과 참여도를 유지합니다.
5. 불필요한 반복과 루프 줄이기 : 반복과 루프를 최소화합니다. 문항 수가 적을수록 참여자는 자발적으로 더 많은 정보를 제공합니다.
6. 참여자 피로를 줄이기 위한 설계 필요 : 참여자의 피로를 줄이기 위해 설문조사 시간은 15분 이하, 문항 수는 50개 이하, 그리드 질문과 개방형 질문은 최소한으로 구성합니다.
7. 연구 주제와 참여 자격 기준 감추기 : 더 나은 데이터 품질을 위해 항상 연구 주제와 자격 기준을 숨기세요.

온라인 설문조사가 지속 가능해지려면 높은 수준의 참여자가 필요하고, 이를 위해 기관은 긍정적인 참여자 경험에 꾸준히 투자해야 합니다. 이는 부적절한 참여자를 배제하는 것보다 더 효과적입니다.

설문조사는 고객 중심적일 수도 있고 참여자 중심적일 수도 있습니다. 두 이해관계자를 모두 고려한다면 최상의 결과를 얻고, 올바른 비즈니스 의사결정을 내릴 수 있을 겁니다.

 

마치며

대부분의 조사 과정은 의뢰 고객을 중심으로 진행되죠. 하지만, 고객이 원하는 인사이트는 응답자들에서 나오고 원하는 퀄리티의 자료들을 확보 하기 위해선 응답자에게 최적화된 조사 환경을 제공해야 한다는 점 꼭 기억해야겠습니다.

우리가 비용과 시간을 들여 설문 조사를 진행 하는 이유는 참여자, 곧 잠재고객의 마음을 살피고 그 마음을 반영하기 위해서 겠죠. 참여자 중심의 설계가 최적의 데이터와 인사이트를 확보하기 위한 시작점임을 잊지 마세요!