买到一个信号，从来没有像现在这么容易。一个锋利的标题、一张清楚的落地页，再加一点分发预算，就能在产品真正存在以前带来访问、点击，甚至注册。这当然有用，也很危险。因为仪表盘很容易先长出一副证据的样子，而实验其实还没有碰到我们真正关心的决定。
我很喜欢便宜的测试。它能阻止构建者花几个月做一个根本没人注意的想法。问题不在于做测试，而在于拿一个注意力实验，去回答产品是否成立。
每一个信号，都只是链条上的一环
曝光能测试信息有没有到达某些人。点击能测试承诺是否激起好奇。注册能测试这种好奇能不能再多走一步。可它们都无法证明一个人真的能用产品、拿到承诺的价值，或者愿意因为这个价值再次回来。
团队很容易把这条链压扁，因为前面的数字来得太快。低点击成本看上去非常精确，转化率也天然适合比较。但精确不等于相关。如果当前决定是要不要继续投入一条工作流，那么证据至少要比广告更靠近那条工作流。
一个便宜的信号可以告诉你去哪里看，却不能替你宣布那里有什么。
让证据匹配眼前的决定
真正该问的，不是这个指标好不好看，而是它能不能改变团队眼前的决定。团队在选择定位时，信息反馈很重要。团队在选择引导流程时，首次完成很重要。团队在判断产品值不值得继续投入时，反复获得价值远比第一次点击重要。
这也是为什么一次只改一个变量很有价值。受众、承诺、页面、价格和行动按钮一起变化，即使结果赢了，也很难知道赢在哪里。干净的实验看起来更慢，因为每一轮探索的东西更少，可它留下的知识能真的进入下一轮。
每一级回答的都是不同问题。探索阶段跳着走没有关系，只要团队承认自己还在探索。真正麻烦的是站在注意力那一级，却告诉自己已经测出了留存、付费意愿，甚至长期需求。
失败的测试，也可以留下可靠知识
便宜实验要变得诚实，一个很有效的方法是在上线以前写下失败解释。如果没人点击，团队要否定的是问题、表达、受众，还是渠道？这是四个完全不同的结论。如果事先不说清楚，结果出来以后就只剩讲故事，任何数字都能被解释成自己想要的样子。
成功也一样。一次很好的点击结果，只应该换来下一次测试，而不是直接换来整张路线图。它说明这个承诺值得继续靠近。下一步可能是人工服务、一个很窄的原型，或者让用户带着真实输入跑完一次流程。决定越难撤销，证据就应该越靠近真实使用，也允许变得更贵。
便宜点击的工作，不是证明产品成立。它是在下一块不确定性上，帮我们避免一开始就付出全部成本。这个价值已经足够大。只有当我们逼一枚点击承担它根本没有被设计来支持的结论时，证据才会变成幻觉。