数据网格加速研讨会
如何协调您的数据网格目标和策略
加速意味着更快地移动,获得速度。有效地利用数据是任何希望在现代世界中蓬勃发展的组织的关键,而数据网格正在向组织展示如何实现其数据的价值,并实现规模化。数据网格加速研讨会通过了解当前状态并探索下一步将是什么样子,帮助团队和组织加速其数据网格转型。
2023年1月12日
任何希望在技术全球化世界中生存的组织都必须有效地利用数据。随着 97% 的组织投资于大数据和人工智能,有效管理这些数据的需求比以往任何时候都更加关键。数据网格帮助公司生成有价值的见解,并实现成为数据驱动型组织的承诺。
数据网格范式基于 四个原则:
- 面向领域的,数据所有权和架构的去中心化
- 面向领域的,数据作为产品提供
- 自助数据基础设施作为平台,以支持自治的面向领域的,数据团队
- 联邦治理,以支持生态系统和互操作性
数据网格是一种去中心化的社会技术方法,用于消除分析数据和业务运营之间的二元性。不幸的是,与许多社会技术方法一样,许多组织难以在实现数据网格转型成功的真正需要的目标和策略上达成一致。向数据网格的转型是困难的。它代表了团队组织方式、工作优先级以及如何应用最新数据相关技术进步的范式转变。这是一个影响整个组织中人员的广泛变化。
我们参与了多个数据网格转型,涵盖了各种组织。我们还与来自世界各地的 Thoughtworks 同事进行了交流和学习,他们参与了更多转型。
我们已经看到了数据网格转型面临的两个常见挑战:技术为中心和大型设计先行。
在一种方法中,团队在没有将他们的工作与更高层次的目标协调一致的情况下就开始构建数据产品。这种方法(技术为中心)基于一种真正的想法,即数据网格完全是关于技术人员以及收集、转换和提供数据的新方法。数据网格的主要目标是解锁数据的价值,并实现规模化,虽然技术是其中关键的一部分,但与业务目标保持一致对于成功至关重要。
从技术方面开始,而没有与业务战略目标保持高度一致,就像在不知道要去哪里旅行的情况下打包行李一样。不要这样做。确保在开始旅程之前进行初步协调。
另一种常见的方法是在开始数据网格实施之前进行深入分析。这是大型设计先行,需要长时间进行分析和设计,通常需要几个月。结果:大量的图表和未来路径的计划。
图表和计划很棒,但价值来自将它们变为现实并为用户和业务提供价值。数据网格的一个关键概念是产品思维,我们根据用户需求和实际使用情况逐步改进我们的产品。我们对数据网格转型的整体方法也需要遵循这种演化方法,并具有较短的反馈循环。
数据网格加速研讨会
在 Thoughtworks,我们的回应是一个名为数据网格加速的过程。我们已经制定了一系列良好的活动,以设定初始方向,建立理解并创建战略一致性。它提供了足够的初始分析和设计来开始,并在技术和业务一致性之间取得了良好的平衡。
数据网格加速研讨会提供了一系列活动,重点关注协作、捕获当前状态和映射愿望。主要目标是在利益相关者之间建立初步一致性,了解该组的目标数据网格结果,并探索识别、设计和构建数据产品的流程。
离开研讨会后,利益相关者应该对数据网格概念、未来的旅程以及下一步的行动达成一致。数据网格研讨会代表了组织数据网格转型的第一步,虽然还有许多步骤,但我们发现,花时间使第一步取得成功,对于未来的旅程来说,回报巨大。
加速研讨会的位置
数据网格加速研讨会是 数据网格转型的一部分。要启动数据网格转型,您首先要选择一个合适的领域来进行工作,然后从愿景到用例(加速),然后识别支持该用例所需的数据产品、平台和组织变化(发现和启动),然后实际构建数据产品并将它们添加到数据网格中。
当您拥有领域利益相关者(业务和技术人员)对成功的数据网格转型感兴趣并有时间进行几个小时的启动时,数据网格加速研讨会就派上用场了。它提供了让每个人对初始路径达成一致的方法。
准备工作
促进任何研讨会,更不用说像数据网格加速这样的为期多天的研讨会了,都需要准备才能使其成为成功的体验。以下小节将探讨您在研讨会当天之前需要做些什么。
材料、工具和物流
在最基本的层面上,您需要安排研讨会所需的材料和工具(或其数字等效物)以及物流。
- 收集便利贴和笔
- 准备协作板(见下文)
- 提供对所需工具的访问权限(视频会议、在线板等)
- 在参与者的日历中预订房间和时间
准备受众
除了了解研讨会的内容外,每位参与者都需要了解对他们的期望。您的工作是帮助澄清这一点,并确保邀请了合适的人参加研讨会。
您应该传达研讨会的目标,以及它与正在进行研讨会的团队和组织的背景相符的位置。您必须将它置于之前发生的事情和之后将要发生的事情的背景下。您可以通过多种不同的方式实现这一点
- 发送简短的介绍性电子邮件
- 分享解释性视频
- 安排电话会议
- 分享指向本文和 Zhamak 的文章 的链接
- 安排与参与者一对一交流
除了准备受众之外,您还将深入了解参与者的技术技能和对数据网格的熟悉程度。这也有助于您根据他们的特定需求调整内容。
议程管理
每个研讨会都需要一个议程。提前澄清议程并邀请人们参加,将有助于让您的参与者感到安心,并帮助他们在繁忙的日程中找到时间。
下一节是一个典型的议程,我们一直在使用。我们建议您从那里开始,并根据您的特定背景和需求进行调整。
准备特定活动
每个活动都需要一个工作区域,并附有说明。这些将在下一节中描述。但您的工作是为您的研讨会准备这些区域。在面对面设置中,您可能会准备一些白板,而如果您是远程的,您将在选择的协作工具上安排模板。我们根据活动的结果和逐步步骤来描述活动,让您根据自己的特定背景和设置进行调整。
请在下面找到示例议程和每个活动的解释。
这是一个指向 MURAL 模板 的链接,该模板遵循上述议程。
示例议程将研讨会安排为四个下午。当我们远程运行研讨会时,我们通常会使用这样的议程。它避免了视频会议疲劳,并使参与者更容易将其融入他们繁忙的日程安排中。
无论何时我们在现场运行此研讨会,我们都会在连续两天内完成。我们预订了一个好的会议室,并在进行活动时用许多便利贴填充黑板和墙壁。
数据网格加速研讨会示例议程
启动
本周从启动开始,然后是一系列密集的会议,最后以回顾结束。启动时涵盖了本周的议程和期望。研讨会中获得的结果将在回顾中呈现。
逐步
- 请组织的主要赞助商发表讲话,谈谈此次参与的重要性,以开启研讨会。
- 简要介绍整个研讨会的意图、议程和每个活动。这也是您引起人们注意基本规则(见下文)的机会。
- 请每个人快速介绍自己(提示:除了姓名和角色之外,最好请人们分享其他内容,例如最喜欢的食物或度假地点)。
启动应该以对研讨会目标和即将进行的活动的清晰理解结束。这可能是有些人第一次与他人合作,因此提示很重要,为人们提供一些空间,让他们彼此联系。
设定明确的基本规则,例如关闭手机或期望人们对其他观点持开放态度,将有助于参与者了解对他们的期望,并帮助整个研讨会顺利进行。
数据网格四大原则和未来挑战
数据网格四大原则活动有两个主要目标:(1)建立对数据网格四大原则的共同理解——领域所有权、数据作为产品、自助数据平台和联邦计算治理——,以及(2)促进关于在组织和团队当前背景下实施这些原则的挑战的公开对话。
逐步
- 简要介绍四大原则
- 请参与者分享每个原则的可适用性威胁:“我们实现目标的路上有哪些挑战?”
- 就未来的挑战进行讨论。
让每个人都对数据网格及其原则有相同的理解非常重要。对数据网格有深入了解的人应该向观众做一个简短的介绍,至少涵盖以下内容:
- 数据网格的“为什么”,它旨在解决什么问题。
- 数据网格的四个原则,解释每个原则的理由和细节。
分享完信息后,给观众时间澄清、分享和提问关于这些原则的问题。
请参与者分享他们之前的经验、担忧以及他们认为这四个原则中每个原则的未来挑战。谈论挑战有助于团队对需要重点关注的领域有一个初步的了解,尤其是在数据驱动的转型初期。
“如果我们明天就开始应用这个原则,我们会面临哪些挑战?”
当参与者分享他们的观点时,请小组的其他成员通过三个问题来比较他们的观点:相同点、不同点和令他们惊讶的地方。提出这些问题是比较和对比小组中不同观点的好方法,可以发现相似之处和盲点。
通过探索组织面临的挑战和参与者提出的痛点,您可以了解当前的背景,并相应地构建后续讨论。鉴于数据网格旨在解决数据组织遇到的常见故障模式,了解您的组织面临的具体挑战是一个很好的起点!
数据网格涅槃
此活动的目的是通过创建清晰阐述理想未来状态的涅槃宣言,了解数据网格背景下的理想状态。此活动帮助团队展望未来,并提供反思我们当前一些痛点的机会。
“涅槃是那个特殊的地方,是完美的最终状态(很多时候无法实现,但重要的是要追求)。对于这群人以及在这个组织环境中,明确并理解涅槃是什么非常重要。”
逐步
- 将参与者分成更小的组。
- 让每个小组创建一个涅槃宣言,然后将其展示给更大的小组。
- 合并以创建一个共享的涅槃宣言。
将参与者分成更小的组有助于促进热烈的讨论。人们在较小的组中工作时会增加参与度。我们发现 4-6 人的小组更容易进行积极的讨论。
给每个小组相同的指示:写一份关于数据网格转型的理想未来状态的简短声明。带有“我们的涅槃是……”提示的便利贴可以帮助启动这个讨论。
小组创建完他们的涅槃宣言后,重新集合,让每个小组的志愿者读出他们的宣言并分享背后的思考。
最后一步是将不同的声明合并成一个共享的涅槃宣言。我们建议使用鱼缸方法来刺激讨论和协作。在这个过程结束时,您应该有一个单一的涅槃宣言,小组中的每个人都同意它代表一个理想的目标。
看到这个简单的问题如何让参与者积极参与并达成一致,这很有趣:我们的涅槃是什么?一旦小组就这一点达成一致,就更容易明确实现目标的步骤。
在讨论实现重大目标的选项、行动、举措或任何执行任务之前,必须先就这个高级目标达成一致。
4个关键指标
四个关键指标活动有两个主要目标:(1)促进关于四个关键指标现状的对话,以及(2)使团队的目标可见。
《加速》一书和相关研究证明了四个关键指标对于实现卓越的组织和软件交付绩效的重要性。四个关键指标是前置时间、部署频率、平均恢复时间 (MTTR) 和变更失败率。
告诉我你如何衡量我,我会告诉你我的行为。
-- 伊莱·戈德拉特
逐步
- 分享四个关键指标的详细信息,并讨论它们的重要性。
- 请参与者分享他们认为他们在每个指标上的现状。
- 讨论围绕四个关键指标的未来预期。
首先介绍四个关键指标,以便参与者熟悉它们的用法和背后的研究。
研讨会参与者中应该有来自不同领域和不同角色的代表。需要这个多元化的人群才能全面了解他们对每个指标的现状。
从第一个指标,例如前置时间开始。请参与者分享他们认为他们根据前置时间指标的现状。
- 超过六个月
- 一到六个月
- 一周到一个月
- 一天到一周
- 不到一天
- 不到一小时
当收集到数据点后,请参与者分享数据点背后的故事。特别是异常值可以提供关于团队体验的宝贵见解。
为了结束活动,您应该促进关于参与者如何认为他们可以在未来一年中改进这些指标的对话。即使小组还没有决定如何实现目标,但重要的是要开启对话,并关注他们面前的努力。为了启动这个对话,您可以说:“考虑一年后,您认为我们在这四个指标中的每个指标上都能达到什么水平?”
指标带来了关于理想结果以及如何衡量进展的重要对话。但更重要的是,它引起了每个人对现状和理想未来状态的关注,包括关于理想状态有多远的一个初步对话。此活动将技术和业务结合在一起,不仅通过拥有共同的目标,而且通过类似(可衡量)的视角来观察进展。
目标和关键结果
此活动的目的是就组织的主要目标达成一致,并开始关于衡量成功进展的对话。有很多方法可以进行这种对话。在本文中,我们选择了 OKR——目标和关键结果,但构建精益价值树是另一种将业务愿景与我们的日常工作联系起来行之有效的方法。当然,如果您的组织已经在使用目标/目标框架,您可能可以通过提取您最后的一组目标来节省一些时间!
目标和关键结果 (OKR) 是一种目标设定框架,它帮助一群人定义目标——或目标——然后通过定量指标跟踪结果,即关键结果。OKR 从 1970 年代的英特尔开始就存在,许多知名的组织,如谷歌、甲骨文、推特、领英和 Dropbox 都采用了它们。
目标(我们想去哪里?)和关键结果(我们如何知道我们是否正在实现目标?)
逐步
- 确定组织的高级目标
- 集思广益可以衡量实现这些目标的进展的关键结果
- 作为一个小组迭代 OKR
OKR 可能很难写好。目标真的是有价值的结果还是输出?关键结果是否真正体现了实现目标所需的要素?避免常见的错误,给参与者时间来完善他们的 OKR。
确定目标和关键结果有助于使未来的旅程更加切实可行。当我们继续前进并开始定义我们打算构建的(数据)产品时,牢记这些 OKR 有助于弥合结果和输出之间的差距。
探索用例
在上一步骤中确定了目标后,您现在将注意力转向如何实际实现这些目标。用例是客户或用户期望结果的翻译。在分析数据的背景下,用例通常是
效率提升
例如,预测服务使用情况以优化效率
或
体验改进
例如,根据用户的过去购买推荐服务
此活动是小组集思广益并就数据网格用例达成一致的时刻。为了帮助集中讨论,我们提供以下用例模板
我们相信<这个用例>将有助于实现<这个目标>
逐步
- 将参与者分成小组,并让他们使用上面的模板集思广益用例。
- 让每个小组向更广泛的小组展示他们的用例,然后进行讨论和聚类
- 完善和选择用例
您应该从定义和讨论数据网格用例开始此活动。这将使头脑风暴更有效率。在这个阶段,您希望收集尽可能多的想法,因为您将在以后进行筛选。
当小组回来时,让每个小组的志愿者展示他们确定的用例,并开启更广泛的讨论。这是一个结合(或聚类)类似用例并丢弃非分析用例的好机会。
一旦您有一组分析用例,您需要决定将哪些用例带到下一个活动。如果您只有几个用例,您可能会将所有用例带到下一个活动。但是,如果用例太多,您应该对它们进行优先排序。有很多优先排序技术,选择适合您环境的技术。
“构建它,他们就会来”是许多转型工作都会遇到的一个陷阱,因此,通过将用例与之前通过提供的模板确定的目标联系起来,可以确保工作与高级参与结果保持一致。
发现数据产品
数据网格将产品思维应用于消除摩擦、交付价值并真正取悦我们的数据用户。数据产品是数据网格的架构量子,是“可以独立部署且具有高功能内聚性的最小架构单元,包括其功能所需的所有结构元素。”(来自演化架构的定义)。
这些数据产品代表了数据网格的构建块,在此活动中,我们将确定可以帮助我们满足上面确定的用例的数据产品。一个或多个数据产品的交互满足了一个用例。
在之前的活动中有一组较小的用例,您现在需要开始理解、提出并映射用例和数据产品之间的关系。
逐步
- 为选定的用例确定数据产品
- 为每个数据产品确定来源和使用者
- 映射数据产品之间的连接
“如果您要雇佣一个数据产品来帮助解决这个用例,它的工作是什么?”
要完成的工作 (JTBD) 是克莱顿·克里斯坦森创建的一个框架,用于了解客户以及他们采用新产品或服务的动机。为了定义数据产品,我们建议您遵循相同的方法。上面的简单问题可以帮助参与者开始讨论如何充分利用他们的数据。
一旦您确定了数据产品的工作,您可以通过询问需要哪些数据才能实际执行该工作来更深入地了解。这可能包括现有的主数据或运营系统、手动数据输入,甚至其他数据产品。
确定了数据产品的来源后,您应该询问谁会真正对使用这些数据感兴趣。这可能包括特定的人、角色、其他数据系统或其他数据产品。
数据网格愿景的一部分是构建一个由可重用、可互操作的数据产品组成的网络。在本活动的最后部分,您需要绘制出数据产品之间如何交互的图。在任何数据产品从另一个数据产品中获取数据的地方,在白板上绘制连接线。在本活动结束后,您应该开始看到一个 数据产品交互图。
识别数据产品、其来源、其使用者以及它们之间的连接是数据网格转型成功的重要组成部分。在工作坊的这一阶段,小组将为前几个用例连接起非常重要的拼图碎片。
总结和回顾
总结工作坊对于提供体验的闭合感、回顾取得的进展以及启动关于下一步的讨论至关重要。当您在最后进行简短的总结并提供下一步的背景信息时,加速工作坊会感觉更加完整。
您应该通过总结工作坊的要点和不同活动之间的联系来结束工作坊。在回顾中,您可能需要涵盖的一些主题包括:
逐步
- 在工作坊期间确定的目标、用例和数据产品
- 任何有趣的观察、学习或建议
- 下一步的详细信息
邀请可能对工作坊结果感兴趣的外部利益相关者参加本环节可能也很有帮助。
在回顾之后,我们建议您完成以下几个活动:
未来展望
运行一个简短的未来展望活动,例如 未来 LinkedIn 帖子,可以帮助参与者直观地了解这段旅程将带他们去往何处。
查看
如果时间允许,一个简短的结业活动,例如 离开前说一个词,可以成为在结束工作坊之前分享经验和收集参与者反馈的绝佳方式。
完成最后几个活动后,您就可以结束工作坊,并期待启动您的数据网格转型!
结束语
数据网格加速工作坊是一个密集型工作坊,它将来自您组织各部门的参与者聚集在一起,以建立对数据网格的共同理解,并就下一步达成一致。
技术和商业数据世界正在快速发展。我们在这里介绍的工作坊和活动是将人们聚集在一起、达成一致并规划成功转型的方式。
我们和我们许多同事一直在使用我们在这里分享的内容来取得良好的成果。我们希望这些内容也能对您有所帮助,并希望您使用它、调整它、添加内容,并继续与我们伟大的数据社区分享。
致谢
感谢 Darren Young 和 Emily Gorcenski 参与最初的加速工作坊的创建。
感谢 Ecem Biyik、Ammara Gafoor 和 Chris Ford 在促进、发展工作坊和审查文章方面进行配对。
重大修订
2023 年 1 月 12 日:发布文章剩余部分
2023 年 1 月 10 日:发布示例议程,直至 4 个关键指标
2023 年 1 月 5 日:发布第一部分