如何配置DAP数据分析平台数据服务
在企业中，由于开发时间或开发部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了“信息孤岛”。而随着信息化应用的不断深入，企业内部、企业与外部信息交互的需求日益强烈，急切需要对已有的信息进行整合，连通“信息孤岛”，共享信息。许多行业提出将企业内外部数据进行统一治理及高效利用辅助决策分析的需求，在这种背景下以互联网、云计算等为代表的新一代信息技术被广泛应用，数据分析相关产品成为解决此类问题的重要工具。
整体说明DAP数据分析平台是一款专门用于企业大数据平台构建的产品，它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现，能够有效地帮助企业清晰地分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力。
1.产品方案
DAP数据分析平台主要是处理企业的数据分析以及数据治理的去修，像刚刚说到的可以结合MDM基础数据平台，ESB数据服务总线和Portal统一门户平台构建成数据中台方案，方案的主要内容为基础数据治理、数据仓库建设、数据分析展现等，通过平台建设实现企业数据的整合汇聚，构建数据中心，基于数据进行分析展现、透视业务、价值挖掘，有效支撑企业的业务发展。整体架构图如下：
2.功能架构
DAP数据分析平台中预置了丰富的组件，饼状图、条形图、散点图、折线图等满足企业的真实所需。它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现，能够有效地帮助企业清晰地分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力。
1.数仓建设：包括ODS建设、数仓建设等内容，通过数据采集、加工、转换、汇总的过程实现从源头系统到数仓的建设；
2.数据分析：基于数仓构建数据集、立方体、指标集等分析模型，通过DAP预置的可视化组件实现可视化分析与联动穿透，从而支持企业数据的查看以及业务管理；
3.数据挖掘：通过平台预置的各类算法对数据进行训练与模拟，构建算法模型对象，从而实现数据的预测与价值挖掘，支持业务层面的数据应用；
4.数据服务：根据配置的各类分析模型自动构建数据服务接口，实现对外进行数据提供和应用；
5.数据资产：基于数仓数据构建数据资产体系，将企业数据构建成数据资产，用于企业数据的管理、价值分析以及数据共享；
6.质量安全：通过数据加密、脱敏策略实现对关键数据、敏感数据的加密、脱敏处理，保证数据使用过程中的数据安全性。
3.功能说明
DAP是数据中台重要组成部分，而数据服务是DAP中最重要的一环，作为数据中台来说，对外可以数据合作价值释放，成为企业数据资产管理中枢，而基于数据服务可以将将经过治理的、模型化的数据，以API的形式发布出去，实现数据与应用的“解耦”，这样业务系统只需简单调用API即可获取所需数据，而数据服务功能分别有：接收服务、查询服务、统计服务、指标服务、业务服务。
痛点分析在数字化转型的浪潮中，企业普遍认识到数据的价值，但在实现数据驱动的道路上，从业务侧到数据侧都面临着诸多棘手的挑战。DAP数据服务的设计，正是为了系统性地解决这些痛点。以下从业务、数据和技术三个角度对传统痛点进行剖析，并对比新架构的解决思路。
1.业务痛点
业务团队是数据的最终消费者，但他们获取和使用数据的过程却常常步履维艰。通常会有以下痛点：
1.取数效率低：业务人员需数据时，需向开发人员提出需求，影响业务的敏捷性；
2.数据门槛高：业务人员与开发人员技术栈不同，业务人员对于开发的流程需要进行往复沟通；
3.口径不一致：缺乏标准，统一的业务指标定义，使得不同部门在同一时间点对同一业务事实的认知截然不同，数据无法成为协同工作的共同语言，反而成了进一步堵塞了数据通路。
2.数据痛点
数据团队作为数据的生产者和管理者，在支撑业务的过程中，自身也背负着沉重的负担与风险，通常会有以下痛点：
1.数据安全：为了满足业务频繁的取数需求，数据可能会会直接授予业务人员数据库只读账号，或频繁地导出原始数据发送。这极大地增加了敏感数据泄露的风险，且操作无法追溯；
2.性能限制：不同部门的开发人员可能直接编写复杂、未优化的查询语句，在业务高峰时段跑在核心业务数据库上，可能导致数据库CPU飙升、锁表现象；
3.重复开发： 不同部门的人员师可能会写出多个高度相似的SQL代码，并且命名规范等也需要进行控制，避免问题排查时无从下手。
3.技术痛点
其实业务侧对于数据的获取痛点并不是在于数据本身，需要的是一种开箱即用、安全可靠的数据服务能力，而DAP平台的数据服务就很好的做到了这一点：
1.标准化与一致性：DAP平台可以提供清洗治理后的数据，以确保数据的标准化和一致性，避免不同数据源无法统一数据口径的问题。
2.自助化与敏捷性：DAP平台的数据服务是基于配置生成的，业务人员可以通过生成的API接口获取DAP中数据。
3.实时化与动态化：DAP平台数据服务的数据是经过清洗治理后的数仓数据，并且数据实时更新，调整也更加方便。
4.安全性与易用性：通过DAP平台的权限管理，让不同角色的人只能看到自己该看的数据。同时通过参数配置就可以实现数据服务配置，无需深厚的专业技术背景。
数据服务数据服务是DAP平台将数据能力产品化、价值化的关键输出点，通过标准化的数据模型与处理逻辑 ，配置出对应的API服务交由业务系统调用获取。下面我们详细解读五种核心的数据服务类型。
1.接收服务
ODS有几种同步数据方式，分别是源库读取、接口同步、流程同步、手工录入，其中接口同步就是同步外部接口进行同步数据的，如果ODS选择接口同步就会在接收接口处生成一条服务，通过接收接口能够查看到接口地址和入参格式，通过样例就可以进行调用。
同理，有些数据是直接可以到数仓的，不用ODS这层，所以直接调用数仓提供的介绍接口把数据同步到数仓中维度表或者基础事实表。
2.查询服务
查询服务是对数据集数据对外发布一个服务，通过条件进行查询数据集中数据，并且其数据来源于数据集，通过查询服务创建不同条件的服务实例带对外提供数据，其他系统就可以通过查询服务来进行业务联动处理，也可以通过查询数据集构建业务表格来进行查看业务数据。
3.统计服务
统计服务是来源立方体数据，通过实例配置条件进行查询立方体数据。其本质是对立方体的数据对外发布成服务，与查询服务一样通过不同的条件配置成服务实例，其他业务系统调用这些服务实例进行获取立方体模型数据，可以用于分析展现或者业务联动。
4.指标服务
指标服务是来源于指标数据，通过指标服务配置不同条件服务实例来对外布。指标集基于数据集、立方体以及数仓模型进行创建的，创建好之后可以创建指标实例，在指标实例中可以选择对于字段配置阈值表达式以及报警通知策略，最后将指标实例点击发布后会生成对于的指标实例，指标服务创建不同条件的服务实例。
5.业务服务
业务服务是来源数据集，立方体，指标集，多种数据的组合生产的一个服务实例。当创建一个服务基本信息后，选择数据集、立方体、指标集来构建服务实例，相当于一个展现页面提供成一个服务，根据页面参数作为整体的条件参数，业务人员调用业务服务时候就可以得到多个数据集合，其他系统就可以根据这些数据集合构建展现页面。
配置流程下面结合DAP数据分析平台产品进行数据服务配置的说明，从参数的配置开始，到具体页面的配置，以及穿透页面的效果展现。
1.接收配置
当在配置ODS表时，如果选择了接口同步方式就会在接收接口处生成一条服务，通过接收接口能够查看到接口地址和入参格式，通过样例就可以进行调用。本次主要对DOS服务进行说明，具体配置过程如下：
1.标准化与一致性：DAP平台可以提供清洗治理后的数据，以确保数据的标准化和一致性，避免不同数据源无法统一数据口径的问题。
2.创建表之后我们可以在接收服务中找到刚刚创建的服务：
3.双击数据之后可以看到入参样例：
2.查询配置
查询服务，统计服务，指标服务和业务服务的配置如上图所示，均为通过分析模型的配置，然后基于分析模型进行数据服务的配置，而业务服务不同的点在于，当创建一个业务服务基本信息后，选择数据集、立方体、指标集来构建服务实例，相当于一个展现页面提供成一个服务，根据页面参数作为整体的条件参数，业务人员调用业务服务时候就可以得到多个数据集合，其他系统就可以根据这些数据集合构建展现页面，配置过程如下：
1.先创建业务服务基本信息，配置页面参数。
2.选择数据源：
3.对每个数据选择要提供的字段：
4.对每个数据源进行配置条件：
5.点击服务调用可以看到配置好的条件：
3.效果演示
接收服务配置效果如下：
查询服务配置效果如下：
4.注意事项
DAP数据分析平台数据服务的价值主要体现在将清洗后数据快速发布为服务，由下游系统进行调用获取数据，基于此实现数据分析，数据共享，以及数据清洗等功能，在进行配置和应用数据服务时，应该注意以下几点：
1.数据安全：数据服务支持安全token机制，也可以通过服务资产配置脱敏或者加密处理；
2.性能控制：数据服务查询数据也支持排序和限制条件来查询数据，如果数据量大就可以分页查询。
3.实例查询：一个数据服务支持多个实例，查询服务支持不同条件不同字段查询。
4.服务应用：业务服务可以结合AI模型生成分析报告页面，且不同数据集支持单条或者多条数据。
总结归纳在实际项目中，会基于不同的业务需求配置不同的可视化样式，而通过DAP数据分析平台进行数据的采集，治理以及可视化的展现，可以提高数据的可用性，进一步挖掘数据价值。
1.归纳总结
DAP 数据服务是从数据中台获取治理后标准数据的方式，由于数据中台集成的业务系统展现层数据并非系统原生数据，直接抽取会导致性能下降，因此无法直接从业务系统抽取，而 DAP 数据服务恰好弥补了这一短板。
而不同类型的数据服务正好对应了不同的需求，从数据的角度来看：接收服务负责将源头系统的数据引入 DAP， 查询、统计、指标和业务服务直接为外部系统提供数据支持。还可以通过数据服务生成对应的报告页面。
2.重点难点
由于业务系统中数据表的冗余与混乱，以及数据孤岛的清空，在进行数据采集时，需要专注于那些具有明确业务价值的数据表进行捕获。以此确保数据的质量与效用，为后续分析奠定坚实基础。
而当数据从ODS流向数据仓库进行清洗与转换时，需要结合业务设定的唯一性字段与质量校验规则，确保数据的准确无误与高度一致性，从而提升数据仓库的整体质量与可信度。
3.说在最后
DAP数据分析平台的数据服务在实际应用中，主要是将平台已配置的内容以服务API的形式对外发布，供业务系统调用以实现数据的推送或获取。所以数据服务的配置是相对来说比较轻量化的，业务人员仅需要手动选择数据类型和参数，这一过程相对简便。这使得数据服务功能的使用门槛相对较低。
在未来，随着企业数据规模的持续增长与分析需求的不断深化，DAP平台将进一步推动企业数字化转型，实现数据驱动的智能决策与业务创新。我们相信，通过持续的数据治理与技术迭代，企业将能更高效地挖掘数据价值，提升核心竞争力，迎接数字经济时代的挑战与机遇。
本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~
页:
[1]