问卷的信度和效度

粉时代 2020-12-08

问卷设计的信度和效度

介点洞察张修文

一直想写一遍关于问卷设计的信度和效度的文章，但一直苦于没有通俗的例子解释信度和效度，统计学理论上有大量的解释，最经典的是以射箭为例解释，正中靶心为高信度高效度，打偏为高信度低效度，散射为低信度低效度。但对绝大多数非专业人士而言，看的越多越糊涂。

2018年最后一天看到两则好玩的新闻大喜：一、2018年最尴尬新闻之一：英国马拉松仅一人完成比赛，第二名带着五千人跑错路。二、统计学笑话：没来的同学请举手。大学里有个全校出勤率第一的老师，他的诀窍是每次点名都说：“没来的同学请举手”，结果每次出勤率都是100%。

这正是极好的两个例子！

一、尽管运动员遵守了马拉松的赛事规则，但没有跑向指定的终点，跑偏了，没有达到想要的目标。这就是效度问题－做的事有没有达想要的目标。达到了就是高效度，没达到就是低效度。

二、虽然老师实现了全校第一的目标，但方法谬也。这就是信度问题－做事是不是使用了正确的方法。方法正确就是高信度，方法有问题就是低信度。

效度和信度是什么关系呢？高信度不一定意味高效度，如运动员跑偏的例子，但低信度一定不会带来高效度，如学生不在请举手的例子，所以，虽然表面上实现了全校第一的目标，结果是是假的，最终目标也不可能正真实现。正所谓方法不对，结果不可能对。

从长长的铺垫回到问卷的信度和效度问题。

问卷的信度就是问卷是否可靠，即同一问题同一个人不同时间回答的答案一样，不同的人同一时间回答同一问题的答案一样（好拗口），如1+1=2般可靠。落实到问卷设计上就是设计问题时是否遵循了正确的方法和原则，具体的要求是1、是否针对该问的人提问；2、题干设计是不是通俗易懂不产生歧义；3、选项是否通俗易懂不产生歧义、是否MECE；4、量表使用是否最优

目前各类问卷平台上看到大量非专业人士设计的问卷信度问题非常突出，最普遍的是不对调研对象进行筛选，阿猫阿狗都可以回答。比如，瓷砖使用体验问卷不设定“家庭使用瓷砖”筛选，欧尚生鲜满意度问卷不设定“过去3个月在欧尚购买过生鲜”条件，上海地区蜂蜜用户需求问卷不设定“上海地区”限制等等。类似问题在线下访问中的表现是拦截员给被访者“洗脑”, 定性预约给被访者“洗脑”，让不合格的被访者冒充合格，会虫就是这么产生的。其次是一个人可以多次答题，这是平台的问题，没有设置一个IP只能回答一次的功能，为有心者作弊提供了空间。

这样出来的数据当然就是假－数－据。假数据比没数据更可怕，没数据至多决策失误，50对50的成败概率，假数据是把决策者往坑里带。有些客户很有经验，线上访问自己冒充被访者答题，线下访问经常冒充被访者考验拦截员，不幸的是常常一抓一个准。客户非常恼火“做假”行为，事实上，他们自己可能都没意识到他们是为提高问卷信度做贡献。

问卷的效度是指问卷是否有效，即问卷设计的问题能不能实现研究目的和客户的商业目标。核心(mandatory)的问题不漏，可有可无(nice to have)的问题不留，无关的问题不设。问卷题目如同一道几何题中的已知条件，每个已知条件在解题的过程中都是应该被用到的，不会出现已知条件没有用到或想用却没有提供的情况。

因为研究经验不足、对行业的了解不深、对客户的需求把握不准以及“问卷拿来主义”习惯等都是造成问卷效度低的主要原因。

问卷效度低意味着什么呢？意味着最后的统计数据和你要调查的目的没有任何联系，甚至与你调查的目的相反。

提高问卷效度有各种方法，列表法是最简单最实用也是最有效的方法。从商业目的出发，分解到研究目的，再从研究目的分解到所需问题, 自上而下(top to bottom), 一目了然。

商业目的1

商业目的2

提升市场占有率提高忠诚度

制定产品定位和沟通策略

研究目的1

研究目的2

研究目的3

研究目的4

了解市场容量和增长趋势