支持数据驱动的决策Schüttflix 成立于 2018 年，使命明确，希望将数字流程带入“纸笔行业”，并转变高度本地化的供应链。创始人知道数据很重要，为内部和外部利益相关者提供最佳数据以做出明智的决策。负责构建现代数据堆栈的数据和商业智能主管 Alexander Rupp 首先评估了可以利用关键数据源的连接器。 Fivetran 成为该业务的最佳选择，因为它快速且可靠。 Rupp 在一小时内设置了连接器，否则这需要数周时间。

建立每个客户的准确档案需要利用第三方参与平台（如 Facebook、Google 和 Bing）上的行为数据。 Lendi 很容易获得这些数据，但来自每个平台的洞察力都是孤立的，不能很容易地集成。即使可以将数据引入同一个存储库，数据结构也经常不一致，因此需要在数据投入使用之前对其进行清理。 Lendi 的数据架构师 Daniel Deng 有责任确保整个公司的利益相关者——例如营销人员、会计师、经纪人和客户服务代表——能够分析并从第三方数据中创建可操作的见解。

Paytronix 是一家面向餐馆和小型企业的客户参与平台，在管理数据和从数据中获取见解方面面临着重大挑战。该公司正在处理来自多个来源、在不同数据库上运行且格式不同的数据。他们使用的数据摄取工具不可靠，并且错过了许多交易，导致对基础数据缺乏信任。此外，该公司混合使用 Scala 和 PySpark 作业进行数据转换，这是自定义代码和手写的。该工具集无法满足业务不断增长的需求，并且大量时间花费在维护和故障修复支持上。该公司希望更多地关注实验，但现有系统不利于快速概念验证测试和快速迭代。

Billie.io 是一家总部位于柏林的金融科技初创公司，通过为发票提供即时融资以及外包收款流程和违约风险承保，正在彻底改变企业处理付款的方式。然而，该公司在管理其数据架构方面面临着重大挑战。该公司需要一种解决方案，能够高效且经济高效地处理生产数据库到数据仓库的提取、加载和转换 (ELT) 过程。该公司还需要避免延迟问题或服务级别协议 (SLA) 问题，并防止过早发生转型。此外，该公司希望对事情发生的时间进行细粒度控制，并了解包含管道、其依赖性及其执行的任务。

Canva 是一种在线设计和发布工具，面临着在三个服务级别（免费、专业和企业）扩大客户群的压力。销售、营销和参与团队需要确定目标，了解他们的行为，并在正确的时间在正确的平台上传递正确的信息。这需要跨 Canva 的数字资产和第三方平台（例如 Google、Facebook 以及其他社交媒体和 SaaS 工具）对客户进行 360 度视角。主要挑战是缺乏比较洞察力。无法根据 Google 数据或任何其他平台分析 Facebook 数据。构建点对点架构来将数据拉入竞争平台将是混乱且维护成本高昂的。定制的解决方案按预期运行，但对连接更多数据源的连接器的需求不断增长，并且构建这些连接器所需的时间和资源不可扩展。

Parachute Home 是一家销售家居必需品的美国直接面向消费者的品牌，该品牌在管理其两个核心系统（Shopify 和 NetSuite 云 ERP 软件）的数据方面遇到了困难。 Shopify 为 Parachute 的电子商务平台和交易流程提供支持，而 NetSuite 则触发履行流程。然而，这些系统以孤立的方式运行，使得双方的数据越来越难以管理。 Parachute 使用定制的数据加载器连接到 Shopify 和 NetSuite，但结果不一致。重新同步很少能解决数据质量问题，并且缺乏日志使得很难识别问题。耗时的数据摄取过程阻碍了该品牌的数字化雄心。

Paul Hewitt 是一个珠宝和配饰品牌，由于其现有工具 Supermetrics 的局限性，在管理和分析其广告支出方面面临着挑战。由三名员工组成的分析团队必须手动将数据输入电子表格，以确定最有效的营销渠道，这个过程既耗时又容易出错。为了满足日益复杂的供应链的需求，该公司投资了 ERP 系统 Microsoft Dynamics NAV，并开始使用 Microsoft Power BI 提供数据进行分析。然而，该公司希望通过将整个业务的数据集成到云数据平台上的一个位置，将其数据战略提升到一个新的水平，目标是转型为数据驱动的业务。

Pitney Bowes 是一家简化电子商务、运输和邮寄的全球科技公司，其数据管理面临着重大挑战。该公司缺乏关键业务决策所需的高质量实时数据。其企业信息管理 (EIM) 团队正在努力解决孤立的数据、缺乏可扩展性和低效的技术支出等问题。员工将数据粘贴到 Excel 电子表格中以进行执行报告和分析，这往往会加剧问题。该公司还遇到了下游问题，例如影响服务水平协议 (SLA) 目标的延迟到达的软件包。他们缺乏检测延误并及时通知客户的能力，从而导致声誉风险。当在线购物增加十倍时，新冠疫情加剧了这些数据挑战，导致包裹数量增加十倍。该公司的旧数据基础设施无法处理每天 8 亿个包裹的基于事件和电子邮件的数据操作。捕获的数据至关重要，但将其聚合并整合到中央分析仓库需要数天时间，当到达领导团队时，这些数据就已经过时了。

PopSockets 是一家零售和消费品公司，其数据管理和报告流程面临着重大挑战。该公司在电子商务、营销、商业智能、财务、会计、供应链和运营等各个部门之间的报告效率和见解交流方面遇到了困难。缺乏严格的数据更新时间表以及手动汇总报告的繁琐过程阻碍了公司的发展。随着 PopSockets 开始经历巨大的逐年增长并采用 ERP 系统，数据量呈指数级增长。该公司正在努力解决数据孤岛、在单一事实来源中聚合和存储数据的不可扩展的手动工作以及缺乏对营销数据的可见性以了解各种渠道广告支出的投资回报率的问题。 PopSockets 需要一个可扩展的解决方案，使其数据工程师小团队能够构建自动化数据管道，以实现更快的分析和报告。

PostNL 是一家位于荷兰、英国、德国和意大利的邮件、包裹和电子商务服务提供商，决定将其 IT 运营迁移到云端，以保持竞争优势并降低成本。该公司的目标是停用其本地数据中心，并将其应用程序、基础设施和 IT 管理转移到云端。这些应用程序在 Oracle 和 SQL Server 上运行，在可能的情况下，PostNL 希望用软件即服务 (SaaS) 替换现有的定制软件。如果没有合适的 SaaS 替代品，该公司计划在基于云的基础设施和平台服务（IAAS 和 PAAS）之上实施遗留软件和定制软件。 PostNL 最初选择 Microsoft Azure 平台来提供这些服务，后来添加了 Amazon Web Services，以避免将其整个基础设施运行在单一供应商的解决方案上的风险。迁移过程历时两年多，带来了重大的集成挑战。 PostNL 需要将应用程序和数据迁移到云端，确保迁移的应用程序继续与现有的本地系统通信，并集成各种云环境。

澳大利亚时尚精品店波莉公主 (Princess Polly) 在不确定的时期面临着有效利用数据的挑战。该公司正在准备进军美国市场，需要支持内部部门做出明智的决策。业务分析主管阿南德·巴特 (Anand Bhatt) 的任务是构建能够快速有效地展示价值的分析基础设施。作为团队中的唯一成员，阿南德需要最大限度地利用自己的时间为业务创造价值，并尽量减少耗时的手动任务。重点关注的领域是现金流量分析，目的是了解哪些决策正在影响企业的利润，从而做出更有效的决策。

Red Ventures (RV) 是一家专注于对人们的生活和社区产生积极影响的跨国公司，在有效管理营销数据方面面临着挑战。该公司的 Red Digital 部门提供端到端效果营销服务，帮助企业对消费者 (B2C) 服务提供商吸引新客户。为了给客户带来更大的价值，RV 需要及时利用数据洞察来吸引合适的消费者。然而，事实证明，在单独的云环境中维护每个客户的数据并集成每个客户的数据以进行机器学习预测是一项乏味且耗时的任务。数据工程师必须编写自定义脚本来为每个客户获取数据，这并不能有效利用他们的时间和技能。

Redwood Logistics 是一家第三方物流和运输管理公司，该公司在管理依赖于多个孤立仓库的复杂报告结构方面遇到了困难。快速增长的业务需要一个现代化的数据堆栈来支持其并购战略，为领导层提供近乎实时的业务绩效的准确概览。该公司每小时生成 500,000 个数据点，这对管理和处理来说是一项重大挑战。旧系统每天只能加载一次数据，并且每天容易出现大量故障，成为巨大的维护负担。 Redwood 最初对使用 Fivetran 的大容量数据复制持谨慎态度，因为团队需要了解它如何与现有数据库交互。

Schüttflix 是一家德国物流初创公司，旨在将传统上依赖笔和纸的建筑行业数字化。该公司试图通过数字 B2B 平台连接供应商、承运商和买家，从而颠覆当地供应链。面临的挑战是如何实现数据驱动的决策，以加快交易速度并降低成本。数据和商业智能主管 Alexander Rupp 的任务是构建现代数据堆栈。他需要找到能够快速可靠地利用关键数据源的连接器。目标是为利益相关者提供最佳数据以做出明智的决策。

Sleeping Duck 是一家澳大利亚床垫公司，面临着管理分散在各个来源的数据并从中获取可行见解的挑战。这些数据驻留在软件即服务 (SaaS) 平台、网络应用程序、Facebook 和 Google Ads 等营销平台以及公司自己的产品中。从这些不同来源提取相关信息的过程非常复杂且需要手动操作。该公司的工程师必须编写和维护自定义脚本来提取数据，这种做法既不可扩展也不可持续。该公司需要一种解决方案，能够有效地从这些来源提取数据，对其进行管理，并将其输入到商业智能解决方案中，以进行数据驱动的决策。

Snowflake 是一家领先的数据云公司，希望将其数据集中在该组织的 Snowflake 实例“Snowhouse”中，以支持细分模型、推荐引擎，并最终构建 360 度客户视图。 Snowflake 的营销情报团队有一个大胆的愿景，即预测实时投资回报率，以动态优化所有 Snowflake 营销计划，颠覆传统的 B2B 营销分析实践，并创造巨大的效率。然而，该公司在打破数据孤岛和实现高效分析方面面临挑战。 Snowflake 过去将其数据建模和转换逻辑保存在单独的 BI 工具中，这既耗时又容易出错。每当企业需要从工具中运行模型或进行临时分析时，分析师都需要从头开始重新创建模型。

SpotOn 是一家快速发展的软件和支付公司，在有效地将捕获的客户交易数据转化为为客户提供快速、可靠且信息丰富的报告方面面临着重大挑战。随着公司规模的扩大，将数据转化为客户和内部利益相关者报告的复杂性不断增加，客户数据分散在 30 个未连接的 MySQL 数据库中。工程团队缺乏用于高效生成报告的中央存储库。 Snowflake 中使用存储过程的现有数据转换过程变得越来越复杂且资源密集，单个表背后有超过 2,000 行代码。如果没有版本控制，则不会自动监视或记录更改，这使得质量保证非常耗时，并且需要为每个新用例从头开始编写代码。这导致了高成本、资源密集型流程和次优结果，影响了公司快速扩展以满足不断增长的客户需求的能力。

Super Dispatch 是一个汽车运输在线平台，在吸引新用户和优化活跃用户体验方面面临挑战。该公司的数据是分散的，分散在各种数字资产、业务系统和营销工具中。员工依赖公司内部共享的电子表格来实现不同目的，例如营销、计费和销售。数据是从业务系统或软件即服务 (SaaS) 平台单独下载并在 Excel 中进行分析。这对营销、销售和运营分析行业的资深人士阿曼·马尔霍特拉（Aman Malhotra）提出了重大挑战，他被聘用是为了通过使用数据来提高用户激活、保留和货币化。

Swapfiets 是世界上第一家“自行车即服务”公司，在理解新兴市场的行为方面面临着挑战。该公司的增长战略依赖于确定新城市、以经济高效的方式赢得新用户以及建立高效的本地支持网络。然而，该公司在数据管理方面遇到了困难。数据工程团队构建了自定义 Python 脚本来将数据提取到其中央 Redshift 实例中，当仅从几个数据源提取数据时，该实例是易于管理的。然而，随着业务开始扩展，这种方法被证明是不切实际的。 Swapfiets 需要一种更简化的数据摄取方法，以理解关键的订阅和使用数据。对于 Swapfiets 来说，了解其目标人群以及如何最好地提供本地支持、仔细定位其营销并避免过度供应库存至关重要。

总部位于英国的非营利组织“Testing for All”成立，旨在以低成本提供大规模 Covid-19 检测。该组织的目标是每天以其他服务一半的价格提供 5,000 次高质量的 Covid-19 测试。然而，他们在管理个人数据、医学测试结果和生物样本，同时保持大规模的及时和用户友好的服务方面面临着重大挑战。该过程涉及六个步骤，从注册和发送测试套件开始，到接收实验室结果结束。该组织需要一个以隐私为中心的技术堆栈，可以处理流程的复杂性，并确保电子商务部分（注册和订购套件）和科学部分（提供一系列拭子技术的实验室）的速度和效率。

Untitled 是一家正在构建平台来帮助客户跨部门利用数据的公司。该公司的数据产品使非技术人员能够获得关键见解，从而增加收入、降低运营成本并开发复杂的人工智能和机器学习功能。然而，构建数据管道的传统过程对于将数据从一个点传输到另一个点至关重要，事实证明这是一项重大挑战。这个过程非常耗时，占用了数据工程师44%的时间，阻碍了平台的快速开发。

Vida Health 是一家数字健康公司，其数据基础设施面临着挑战。该公司收集客户的病史、过去的保险索赔、实验室测试结果以及来自健康技术设备的日志数据的数据，以提供个性化的虚拟护理。然而，他们使用 Python 脚本和 cron 作业在 BigQuery 中加载和转换数据的定制解决方案不可扩展，并且在数据量激增时经常失败。该管道的记录很少，只有数据团队中的少数人了解，导致出现问题时报告停机时间为 2-3 天。该公司最近将其数据工程、数据科学和数据分析职能整合到一个团队中，旨在改善协作。然而，现有的数据基础设施不够可靠或易于访问，无法为客户提供最佳服务，也无法实现在不到六个月内吸引十多个新客户的目标。

Wallbox 是一家电动汽车充电和能源管理公司，在管理数据方面面临着重大挑战。自2015年成立以来，公司经历了快速发展，员工人数在短时间内从50人扩展至1000多人。这种增长导致不同部门使用的工具和应用程序数量增加，从而形成阻碍洞察力和质量控制的数据孤岛。公司数据分散在各个平台，质量问题难以追溯和解决。此外，仪表板中嵌入的业务逻辑的发展也很复杂。另一个挑战是定期更新定制集成所需的工具，事实证明这是一个成本高昂且耗时的过程。 Wallbox 需要一种解决方案来打破这些孤岛并将其所有数据整合到一个易于访问的位置。

Westwing 是欧洲领先的电子商务公司，其面临着过时的技术堆栈和低效的数据架构的挑战。该公司认识到在集中位置集成数据的重要性，但其本地架构上的手动工作变得越来越耗时。为了与每个不同的数据源集成，每一行代码都必须使用 Python 进行编程。这减缓了公司的增长速度，并阻碍其实现业务的整体视角。 Westwing 决定将其架构迁移到云端，以 Snowflake 作为数据仓库，并外包商品服务，以专注于扩展电子商务平台的战略目标。然而，随着雄心勃勃的云迁移最后期限的临近，Westwing 需要找到一种能够快速高效地自动访问数据的 ELT 解决方案。

WeWork 是一家全球灵活办公空间提供商，面临着安全管理和利用其庞大数据资源来推动业务决策的挑战。作为一家上市公司，WeWork 必须满足严格的监管合规要求，确保跨不同来源和孤岛的数据治理。该公司需要随着时间的推移跟踪数据移动和用户访问，向审计人员和监管机构证明客户信息不会受到内部和外部威胁。挑战不仅在于提取数据和提供访问，还在于维护数据摄取、数据库更改和访问的历史记录。该公司还旨在创建一种数据素养和创新文化，通过数据的使用增强业务敏捷性。

World Fuel Services (WFS) 是一家财富 150 强公司，在有效管理和利用其数据方面面临着重大挑战。该公司通过多次收购而发展壮大，每次收购都有自己的客户名单和数据源，因此很难全面了解整个组织的客户。此外，该公司现有的 ETL 管道每天一次将数据批量提取到本地 Oracle 数据库中，该数据库很快就变得太大而无法有效运行实时查询。该公司还面临着管理来自其子公司的数十个 ERP 和计费信息服务的数据的挑战，这在全球大流行期间尤其重要，因为该公司需要加大应收账款力度以维持收入。

Yardzen 是一家在线景观设计公司，在管理其数据管道方面面临着重大挑战。该公司的数据工程主管 Andrea Kyrala 的任务是将来自众多 SaaS 工具和产品数据库的数据集成到 BigQuery 中，并建立灵活且安全的数据架构。然而，在内部构建 BigQuery 的自定义管道是一个耗时的过程，通常需要花费数周的时间来挖掘 API 文档。此外，ETL 管道很脆弱，经常需要密集维护。分析师和营销人员手动从每个营销平台导出单独的报告，以了解广告和营销绩效，这个过程不仅艰苦且耗时，而且使领导层难以获得跨平台广告支出和绩效的统一视图。通常，Andrea 没有时间进行复杂的转换和清理，而这最终会节省业务分析师在后端的时间。

YipitData 是使用另类数据的值得信赖的洞察来源，在开始快速增长时面临着重大挑战。该公司的分析活动在数十个 Amazon Redshift 集群上运行，公司内的每个团队都维护自己的集群。这种安排变得很麻烦，尤其是当 YipitData 需要跨团队共享公共数据集时。该公司的产品团队每天分析数十亿个数据点，提供精细的见解，推动数百家投资基金和高度创新的公司做出成功的决策。然而，现有系统正在减慢分析速度，使公司难以保持市场领先地位。

BizCover 是澳大利亚最大的在线商业保险提供商，在连接不同来源的数据方面面临着重大挑战。该公司的工程师团队必须使用自己的代码构建独特的连接器，每个连接器需要 40 到 80 小时的工程时间。这种方法最初在连接和同步数据库和 Google Analytics 中的数据时起作用。然而，随着数据源数量的增加，这项任务变得不堪重负。 BizCover 需要将数据从 20 多个数据源提取到其集中式 Snowflake 数据仓库中，每个数据源都需要自己的连接器。该公司的数据工程师正在管理这个主要是手动的流程，BizCover 需要更有效地传播他们从整个核心业务的数据中获得的见解。

Blend 是一家金融科技初创公司，其数据摄取流程面临着重大挑战。尽管采用了以 Redshift 为核心的现代数据堆栈方法，但事实证明，将数据移入和移出数据仓库是一项复杂且耗时的任务。从 Salesforce 中提取单个列或更改字段的过程可能需要数周时间，从而限制了对时间关键型数据的访问。该团队无法制作原型并快速迭代，必须直接发布到生产环境来测试他们的解决方案，这给运营团队带来了进一步的复杂性。随着公司的扩张，引入了 Asana、Marketo 和 Lever 等新工具来管理工作流程和流程，每个工具都需要在内部同步数据才能有效。由于数据工程团队的带宽有限，他们没有能力维护快速扩展的 SaaS 平台列表。这导致了一个决策点：致力于内部工具，还是寻找外部提供商。