通过人为因素衡量开发人员生产力

什么是定性指标？

我们将定性指标定义为由人类提供的数据组成的衡量标准。这是一个实用的定义——我们没有在社会科学中找到一个单一的定义，而且我们看到的其他定义都存在缺陷，我们将在本节后面讨论。

图 1：定性指标是源于人类的衡量标准

“指标”一词的定义是明确的。然而，正如 2019 年的期刊论文 定性研究中的定性是什么 中所指出的那样，“定性”一词没有权威的定义

关于定性研究的定义有很多，但如果我们寻找一个能够体现其“定性”独特特征的定义，那么在整个社会科学领域，相关的文献是很少的。这篇文章背后的主要原因在于悖论，坦率地说，就是研究人员表现得好像他们知道它是什么，但他们无法给出一个连贯的定义。

我们听到的另一种定义是，定性指标衡量质量，而定量指标衡量数量。我们发现这个定义有问题，原因有两个：首先，“定性指标”一词包含*指标*一词，这意味着输出是一个*数量*（即一个度量）。其次，质量通常是通过序数尺度来衡量的，这些尺度被转换成数值和分数——这再次与定义相矛盾。

我们听到的另一个论点是，情感分析的输出是*定量的*，因为分析的结果是数字。虽然我们同意情感分析产生的数据是定量的，但根据我们最初的定义，这仍然是一个定性的*指标*（即定性产生的数量），除非有人认为“定性指标”完全是一个矛盾修饰法。

除了定义定性指标是什么的问题之外，我们还遇到了一些有问题的俗语。一个例子是“软指标”一词。我们告诫不要使用这个短语，因为它有害地、错误地暗示了从人类那里收集的数据比从系统收集的“硬指标”*更弱*。我们也不鼓励使用“主观指标”一词，因为它误解了这样一个事实，即从人类那里收集的数据可以是客观的，也可以是主观的——我们将在下一节讨论。

在本文的后面部分，我们将提供有关如何收集和使用这些测量的指南，但首先，我们将提供一个将这种方法付诸实践的真实示例

Peloton 是一家美国科技公司，其开发人员生产力衡量策略以定性指标为中心。为了收集定性指标，他们的组织每半年进行一次开发人员体验调查，该调查由他们的技术支持和开发人员体验团队领导，该团队是他们产品运营组织的一部分。

技术学习和洞察主管 Thansha Sadacharam 解释说：“我非常相信，而且我认为我们的很多工程师也非常赞赏这一点，那就是工程师不是机器人，他们是人。仅仅查看基本数字并不能说明全部问题。因此，对我们来说，进行一项真正全面的调查来帮助我们了解整个开发人员体验非常重要。”

每次调查都会发送给大约一半开发人员的随机样本。通过这种方法，单个开发人员每年只需要参与一次调查，从而最大限度地减少了填写调查的总时间，同时仍然提供了一组具有统计学意义的代表性数据结果。技术支持和开发人员体验团队还负责分析调查结果，并与整个组织的领导者分享。

有关 Peloton 开发人员体验调查的更多信息，请收听对 Thansha Sadacharam 的采访。

倡导定性指标

高管们通常对定性指标的可靠性或有用性持怀疑态度。即使是像谷歌这样高度科学化的组织也不得不克服这些偏见。工程主管倾向于系统指标，因为他们习惯于使用遥测数据来检查系统。然而，我们不能依靠同样的方法来衡量人。

我们已经看到一些组织陷入了内部的“指标之战”，这不是对时间或精力的有效利用。我们对倡导者的建议是，避免将定性和定量指标相互对立，将其视为非此即彼的选择。最好是论证它们是互补的工具——正如我们在本文末尾所述。

我们发现，反对定性数据的根本原因是误解，我们将在下面解决这些误解。在本文的后面部分，我们将概述自我报告数据的独特优势，例如它衡量无形资产和揭示关键背景的能力。

两种类型的定性指标

定性指标主要有两种类型

1. **态度指标**捕捉对特定主题的主观感受、观点或态度。态度衡量的一个例子是针对“您对 IDE 的满意度如何，评分为 1-10 分？”这个问题捕获的数值。
2. 行为指标用于捕捉与个人工作体验相关的客观事实或事件。例如，针对“将变更部署到生产环境需要多长时间？”这一问题，其答案的数量就是一个行为指标。

我们发现，大多数技术从业者在考虑定性指标时，往往会忽略行为指标。尽管在软件研究中，定性行为指标十分普遍，例如前面提到的 Google 的 DORA 项目，但这种情况仍然存在。

DORA 每年都会发布指标基准，例如变更交付周期、部署频率和变更失败率。许多人不知道的是，DORA 的基准是使用定性方法收集的，调查项目如下所示

我们发现，能够同时收集态度和行为数据是定性测量的一大优势。

例如，行为数据可能表明您的发布过程快速高效。但只有态度数据才能告诉您它是否顺利且轻松，这对开发人员的倦怠和留存具有重要意义。

举一个非技术类的比喻：假设您感觉不舒服，去看医生。医生测量了您的血压、体温、心率，然后说：“嗯，看起来您一切都好。您没有任何问题。”您会感到惊讶！您会说：“等等，我是在告诉您我感觉不舒服。”

定性指标的好处

支持定性指标的一个论点是，它们避免了让开发人员感到被管理层“衡量”。虽然我们发现这是真的——尤其是与从开发人员的 Git 或 Jira 数据中得出的指标相比——但这并没有解决定性方法可以提供的主要客观优势。

在衡量开发人员生产力方面，定性指标主要有三大优势

如何获取定性指标

许多技术从业者没有意识到编写好的调查问题和设计好的调查工具有多么困难。事实上，有一些完整的学科与之相关，例如心理测量学和工业心理学。在可能的情况下，引入或建立这方面的专业知识非常重要。

以下是一些编写调查问卷的良好规则，可以避免我们看到组织犯的最常见的错误

• 调查项目的措辞需要仔细斟酌，每个问题都应该只问一件事。
• 如果您想比较不同调查的结果，请注意不要改变问题的措辞，以免您衡量的是不同的东西。
• 如果您更改了任何措辞，则必须进行严格的统计检验。

在调查用语中，“好的调查”是指“有效且可靠”或“表现出良好的心理测量特性”。有效性是指调查项目实际衡量您想要衡量的结构的程度。可靠性是指调查项目在您的总体中以及随着时间的推移产生一致结果的程度。

我们发现有一种思考调查设计的方式对技术从业者很有帮助：将调查响应过程视为在人脑中发生的算法。

当一个人看到一个调查问题时，为了得到答案，会经历一系列的心理步骤。以下模型来自 2012 年出版的开创性著作调查响应心理学

分解调查响应过程并检查每个步骤可以帮助我们改进输入，从而获得更准确的调查结果。开发好的调查项目需要严格的设计、测试和分析——就像设计软件的过程一样！

但良好的调查设计只是成功开展调查的一个方面。其他挑战包括参与率、数据分析以及如何根据数据采取行动。以下是一些我们学到的最佳实践。

同时使用定性和定量指标

定性指标和定量指标是衡量开发者生产力的互补方法。 定性指标源自调查，提供了对生产力的全面看法，包括主观和客观衡量标准。 另一方面，定量指标也具有明显的优势

• 精确性。 人类可以告诉您他们的 CI/CD 构建通常是快还是慢（即，持续时间是接近一分钟还是一小时），但他们无法报告精确到毫秒的构建时间。 当我们的测量需要高度精确时，就需要定量指标。
• 连续性。 通常，组织可以对其开发人员进行调查的频率最多为每季度一次或两次。 为了收集更频繁或连续的指标，组织必须系统地收集数据。

最终，只有通过定性和定量指标的结合（一种混合方法），组织才能最大限度地了解开发者的生产力和体验。 那么，如何将定性和定量指标结合使用呢？

我们已经看到，当组织从定性指标开始建立基线并确定重点关注领域时，他们就会取得成功。 然后，使用定量指标来帮助更深入地研究特定领域。

工程主管发现这种方法很有效，因为定性指标提供了全面的视图和背景，可以广泛了解潜在的机会。 另一方面，定量指标通常仅适用于软件交付过程中较窄的范围。

出于这个原因，Google 同样建议其工程主管在查看日志数据之前先查看调查数据。 Google 工程研究员 Ciera Jaspan 解释说：“我们鼓励主管先查看调查数据，因为如果您只查看日志数据，它并不能真正告诉您某件事是好是坏。 例如，我们有一个指标可以跟踪进行更改所需的时间，但这个数字本身毫无用处。 你不知道，这是好事吗？ 这是坏事吗？ 我们有问题吗？”。

混合方法使我们能够利用定性和定量指标的优势，同时全面了解开发者生产力

1. 从定性数据开始，确定您的最佳机会
2. 一旦您知道要改进什么，请使用定量指标进一步深入研究
3. 使用定性和定量指标跟踪您的进度

只有通过尽可能多地组合数据（包括定性和定量数据），组织才能开始全面了解开发者生产力。

然而，最终重要的是要记住：组织在能够观察和检测基于日志的指标无法检测到的问题的高素质人员身上花费了大量资金。 通过利用开发人员的思想和声音，组织可以解锁以前被认为不可能的见解。