ICS 01.040.03 CCS A 12 DB52 贵 州 省 地 方 标 准 DB52/T 1541.6—2021 政务数据平台 第 6 部分：面向全网搜索 应用的数据处理规范 Government data platform—Part 6：Data preprocessing specifications for searching application based on the platform 2021 - 05 - 17 发布 贵州省市场监督管理局 2021 - 09 - 01 实施 发 布 DB52/T 1541.6—2021 目 次 前言 ................................................................................ II  1 范围 .............................................................................. 1  2 规范性引用文件 .................................................................... 1  3 术语和定义 ........................................................................ 1  4 缩略语 ............................................................................ 5  5 总体框架 .......................................................................... 5  6 数据接入 .......................................................................... 6  7 数据处理 .......................................................................... 7  8 搜索应用 .......................................................................... 8  9 数据安全 .......................................................................... 8  I DB52/T 1541.6—2021 前 本文件按照GB/T 1.1-2020《标准化工作导则 言 第1部分：标准化文件的结构和起草规则》的规定起 草。 本文件是DB52/T 1541《政务数据平台》的第6部分。DB52/T 1541已经发布了以下部分： ——第2部分：数据归集规范； ——第3部分：数据存储规范； ——第4部分：接口规范； ——第6部分：面向全网搜索 应用的数据处理规范。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由贵州省大数据发展管理局提出并归口。 本文件起草单位：贵州省机械电子产品质量检验检测院、贵州中软云上数据技术服务有限公司、云 上贵州大数据产业发展有限公司、同方知网数字出版技术股份有限公司。 本文件主要起草人：张洋、常丹丹、张榉尹、曾宪平、关艳梅、郑如顺、杨建雄、罗森、秦晓东、 杨建国、潘伟杰、邵建平、黄明峰、刘军、田野、段飞虎、宿睿智、刘彦嘉、唐昶、姚茂峰、陆莹、 孙瑾。 II DB52/T 1541.6—2021 政务数据平台 第 6 部分：面向全网搜索 应用的数据处理规范 1 范围 本文件规定了面向政务数据平台全网搜索应用的数据处理的总体框架、数据接入、数据处理、搜索 应用和数据安全相关要求。 本文件适用于政务数据平台全网搜索应用的数据处理活动。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 2260 中华人民共和国行政区划代码 GB/T 2261.1 个人基本信息分类与代码 第1部分：人的性别代码 GB/T 7408 数据元和交换格式 信息交换 日期和时间表示法 GB 11643 公民身份号码 GB 32100 法人和其他组织统一社会信用代码编码规则 GB/T 37973-2019 信息安全技术 大数据安全管理指南 DB52/T 1540.2 政务数据 第2部分：元数据管理规范 DB52/T 1541.3 政务数据平台 第3部分：数据存储规范 3 术语和定义 下列术语和定义适用于本文件。 3.1 政务数据平台 government data platform 依托政务云计算平台搭建，承载政务数据并支撑数据统筹存储、统筹治理、统筹应用和统筹安全的 基础信息技术平台。 [来源：DB52/T 1541.3-2020，3.1] 3.2 全网搜索 data searching applications based on government data platform 基于政务数据平台围绕特定应用场景进行数据处理，通过搜索引擎和机器学习技术实现数据的组织 呈现、融合重构、关联分析和衍生应用。 1 DB52/T 1541.6—2021 3.3 数据处理 data preprocessing 对拟进入搜索数据库的数据进行前期处理加工以达到特定的规范性要求，支撑后续搜索应用的实 现。 3.4 数据元 data element 用一组属性描述其定义、标识、表示和允许值的数据单元。数据元由三部分组成：对象、特性、表 示。 [来源：GB/T 18391.1-2009，3.3.8] 3.5 元数据 metadata 关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权和 数据易变性的数据。 [来源：GB/T 35295-2017，2.2.7] 3.6 统计指标 statistical indicators 说明总体数量特征的概念及其数值的综合。 3.7 基础数据库 basic information database 国家信息化和电子政务建设基础数据资源库，包括人口基础数据库、法人数据库、宏观经济数据库、 自然资源与空间地理数据库、电子证照库等。 3.8 主题数据库 thematic information database 针对特定应用主题将存在内在逻辑关联关系的各类数据有序汇聚形成的指定数据库。 3.9 搜索数据库 searching data database 基于政务数据平台数据，结合特定搜索应用业务需求进行管理规划并有序存放经数据前置处理后的 有效数据的专题数据库。 2 DB52/T 1541.6—2021 3.10 结构化数据 structured data 一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用 关系模型予以有效描述。 [来源：GB/T 35295-2017，2.2.13] 3.11 非结构化数据 unstructured data 不具有预定模型或未以预定方式组织的数据。 [来源：GB/T 35295-2017，2.1.25] 3.12 半结构化数据 Semi structured data 具有结构性，但结构变化大，且难以用结构化数据的处理方法将其放进二维表的数据。 示例：XML 文档内容，每项都被一对标记封起来，如<title></title>，表面上看是结构化数据，但<title></title> 之间的数据却是千变万化，这是典型的半结构化数据。 [来源：DA/T 82-2019，2.8] 3.13 数据类型 data type 规定数据结构的数据对象的经定义的集合和一组许可的运算，在这些运算中任何一个执行时，其中 数据对象都当作运算数。 示例：整数型的结构非常简单，整数型的值是在某一规定范围内的整数的一个成员的表示，许可的运算包括对这些 整数的常见算术运算。 [来源：GB/T 5271.17-2010,17.5.8] 3.14 全量更新 full update 使用新的数据对历史数据进行完全覆盖。 [来源：DB52/T 1541.2—2020，3.14] 3.15 增量更新 incremental update 将两次更新间隔发生变更的数据同步到存储区域。 [来源：DB52/T 1541.2—2020，3.15] 3 DB52/T 1541.6—2021 3.16 数据脱敏 data mask 从原始环境向目标环境进行敏感数据交换的过程中，通过一定方法消除原始环境数据中的敏感信 息，并保留目标环境业务所需的数据特征或内容的数据处理过程。 [来源：DB52/T 1126—2016，2.1] 3.17 数据加密 data encryption 对数据进行密码变换以产生密文的过程。一般包含一个变换集合，该变换使用一套算法和一套输入 参量。输入参量通常被称为密钥。 [来源：GB/T 25069—2010，2.2.2.60] 3.18 数据完整性 data integrity 数据没有遭受以未授权方式所作的更改或破坏的特性。 [来源：GB/T 25069—2010，2.1.36] 3.19 数据模型 data model 按照信息系统中的形式描述和所应用的数据库管理系统的要求构造的数据库中数据的一种原型。 [来源：GB/T 5271.17-2010,17.1.7] 3.20 主键 primary key 一种用于标识一个记录的键。 [来源：GB/T 5271.17-2010,17.3.11] 3.21 外键 foreign key 在某一关系中，与另一类关系中的主键对应的一个或一组属性。 [来源：GB/T 5271.17-2010,17.4.15] 3.22 关系 relation 具有相同属性的各实体值的集合以及这些属性。 注：在关系数据库中，一个关系能通过一个表来表示，表中各行对应于各实体值，各列对应于各属性。 [来源：GB/T 5271.17-2010,17.4.1] 4 DB52/T 1541.6—2021 3.23 数据描述 data description 对某一数据元素与其中出现该元素的名称和字的数据结构的形式化描述。 [来源：GB T 5