大数据信息标准与规范.pdf
《大数据信息标准与规范.pdf》由会员分享,可在线阅读,更多相关《大数据信息标准与规范.pdf(143页珍藏版)》请在文库网上搜索。
1、 大数据 信息 标准与规范 Big dataInformationStandards and Specification 2 2/143143 目 录 信息技术大数据数据分类指南.9 前 言.10 1 范围.11 2 规范性引用文件.11 3 术语和定义.11 4 缩略语.13 5 分类过程.14 5.1 概述.14 5.2 分类规划.14 5.3 分类准备.15 5.5 结果评估.17 5.6 维护改进.19 6 分类视角.19 6.1 概述.19 6.2 技术选型视角.20 6.3 业务应用视角.20 6.4 安全隐私保护视角.21 7 分类维度.21 7.1 概述.21 7.2 技术选型
2、维度.21 7.3 业务应用维度.26 7.4 安全保护维度.30 3 3/143143 8 分类方法.31 8.1 线分类法.31 8.2 面分类法.32 8.3 混合分类法.33 附录 A(资料性附录)大数据分类示例.34 A.1 业务场景分类视角.34 A.2 分类范围、分类维度和分类方法.34 A.3 分类实施和分类结果.35 信息资源核心元数据.38 前 言.39 引 言.40 1 范围.41 2 规范性引用文件.41 3 术语和定义.42 4 元数据的属性.43 4.1 中文名称.43 4.2 定义.43 4.3 英文名称.43 4.4 数据类型.43 4.5 值域.43 4.6
3、缩写名.44 4.7 约束条件.44 4.8 最大出现次数.45 4.9 备注.45 5 核心元数据.45 4 4/1 14343 5.1 概述.45 5.2 核心元数据模型.47 5.3 核心元数据描述.48 6 核心元数据扩展原则和方法.55 6.1 概述.55 6.2 核心元数据扩展原则.56 6.3 核心元数据扩展实施.57 信息技术大数据存储与处理系统功能要求.58 前 言.59 1 范围.60 2 规范性引用文件.60 3 术语和定义.60 4 缩略语.62 5 概述.62 6 大数据存储子系统功能要求.63 6.1 基本要求.63 6.2 分布式文件存储.64 6.3 分布式结构
4、化数据存储.65 6.4 分布式列式数据存储.65 6.5 分布式图数据存储.66 7 大数据处理子系统功能要求.66 7.1 基本要求.66 7.2 批处理框架.67 7.3 流处理框架.67 7.4 图计算框架.68 5 5/143143 7.5 内存计算框架.69 7.6 批流融合计算框架.69 信息安全技术 个人信息安全规范.70 前 言.71 引 言.73 1 范围.74 2 规范性引用文件.74 3 术语和定义.74 4 个人信息安全基本原则.79 5 个人信息的收集.80 5.1 收集个人信息的合法性.80 5.2 收集个人信息的最小必要.80 5.3 多项业务功能的自主选择.8
5、0 5.4 收集个人信息时的授权同意.81 5.5 个人信息保护政策.83 5.6 征得授权同意的例外.84 6 个人信息的存储.86 6.1 个人信息存储时间最小化.86 6.2 去标识化处理.86 6.3 个人敏感信息的传输和存储.86 6.4 个人信息控制者停止运营.87 7 个人信息的使用.87 7.1 个人信息访问控制措施.87 7.2 个人信息的展示限制.88 7.3 个人信息使用的目的限制.88 6 6/143143 7.4 用户画像的使用限制.89 7.5 个性化展示的使用.90 7.6 基于不同业务目的所收集个人信息的汇聚融合.91 7.7 信息系统自动决策机制的使用.91
6、8 个人信息主体的权利.92 8.1 个人信息查询.92 8.2 个人信息更正.92 8.3 个人信息删除.92 8.4 个人信息主体撤回授权同意.93 8.5 个人信息主体注销账户.93 8.6 个人信息主体获取个人信息副本.94 8.7 响应个人信息主体的请求.95 8.8 投诉管理.96 9 个人信息的委托处理、共享、转让、公开披露.96 9.1 委托处理.96 9.2 个人信息共享、转让.98 9.3 收购、兼并、重组、破产时的个人信息转让.99 9.4 个人信息公开披露.100 9.5 共享、转让、公开披露个人信息时事先征得授权同意的例外.100 9.6 共同个人信息控制者.101
7、9.7 第三方接入管理.102 9.8 个人信息跨境传输.103 10 个人信息安全事件处置.103 10.1 个人信息安全事件应急处置和报告.103 7 7/143143 10.2 安全事件告知.104 11 组织的个人信息安全管理要求.105 11.1 明确责任部门与人员.105 11.2 个人信息安全工程.106 11.3 个人信息处理活动记录.106 11.4 开展个人信息安全影响评估.107 11.5 数据安全能力.108 11.6 人员管理与培训.108 11.7 全审计.109 附录 A(资料性附录)个人信息示例.110 附录 B(资料性附录)个人敏感信息判定.112 附录 C(
8、资料性附)实现个人信息主体自主意愿的方法.114 C.1 概述.114 C.2 区分基本业务功能和扩展业务功能.114 C.3 基本业务功能的告知和明示同意.115 C.4 扩展业务功能的告知和明示同意.116 C.5 交互式功能界面设计.117 附录 D(资料性附录)个人信息保护政策模板.121 参考文献.128 信息技术数据资源规划大数据.131 前 言.132 1 范围.133 2 规范性引用文件.133 3 术语和定义.133 4 概述.135 8 8/143143 5 数据资源规划流程.135 6 数据资源预配置相关活动.137 6.1 数据资源现状盘点.137 6.2 数据资源规划
9、目标确定.137 6.3 数据资源规划文件编制.137 7 数据资源规划相关数据活动.138 7.1 数据处理相关活动.138 7.2 数据管理相关活动.139 参考文献.143 9 9/143143 ICS 35.240.70 L 70 GB/T38667-2020 信息技术大数据数据分类指南 Information technologyBig dataGuide for data classification 2020-04-28 发布 2020-11-01 实施 国家市场监督管理总局 国家标准化管理委员会 发布 1010/143143 前 言 本标准按照 GB/T1.1-2009 给出的
10、规则起。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。本标准起草单位:中国科学院信息工程研究所(信息安全国家重点实验室)、国家信息中心、浪潮软件集团有限公司、智神州(北京)科技有限公司、方正国际软件(北京)有限公司、国网安徽省电力有限公司(电力科学研究院)、中国铁道科学研究院集团有限公司、中国电子技术标准化研究院、上海三零士信息安全有限公司、联通大数据有限公司、中国保险信息技术管理有限责任公司、九次方大数据信息集团有限公司、中电长城网际系统应用有限公司、广东电网有限责任公司、信息中心中电科大数据
11、研究院有限公司、北京大学山东省计算中心(国家超级计算济南中心)。本标准主要起草人:陈驰、马红霞、马书南、田雪、高亚楠、黄先芝、单震、张慧敏、张煜、顾广宇、吴艳华、郑金子、尹卓、叶林、干露、关泰璐、李燕超、郎佩佩、闵京华、魏理豪、禄凯、张吉才、冯念慈、赵俊峰、史丛丛、孙嘉阳。1111/143143 1 范围 本标准提供了大数据分类过程及其分类视角、分类维度和分类方法等方面的建议和指导。本标准适用于指导大数据分类。2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于文件。GB/T47
12、54-2017 国民经济行业分类 GB/T35295-2017 信息技术 大数据 术语 3 术语和定义 GB/T35295-2017 界定的以及下列术语和定义适用于本文件。为了便于使用,以下重复列出了 GB/T35295-2017 中的某些术语和定义。3.1 大数据大数据 big databig data 具有体量巨大、来源多样、生成极快、且多变等特征,并且难以用传统数据体系结构有效处理的包含大量数据集的 1212/143143 数据。注:国际上大数据的 4 个特征普遍不加修地直接用 Volume、variety,velocity 和 variability 予以表并分别了它们在大数据语境下的
13、定义:a)体量 volume:成大数的数据的规模 b)多样性 variety:多个领多 c)速度 velocity:单位时间的数据流。d)多变性 variaility:大数据其他特即体多等特都处于多态。GB/T35295-2017,定义 2.1.1 3.2 数据集数据集 data setdata set 数据记录汇聚的数据形式。注:它可以具有大数据的体量、速度、多样性和易变性的特征。数据集的特征表征的是数据集本身或静态数据,而数据的特征,当其在网络上传输时或暂时驻留于计算机存储器中以备读出或更新时,表征的是动态数据。GB/T35295-2017,定义 2.1.46 3.3 大数据分类大数据分类
14、 big data classificationbig data classification 根据大数据的属性或特征将其按一定的原则和方法进行区分和归类,并建立起一定的分类体系和排列顺序的过程。3.4 分类主体分类主体 classification subjectclassification subject 大数据收集、存储、使用、分发、删除等过程中对大数据进行梳理归类的组织或个人。3.5 1313/143143 分类视角分类视角 classification angleclassification angle 分类主体观察和开展大数据分类活动的角度 3.6 分类维度分类维度 classif
15、ication dimensionclassification dimension 用于实现分类的数据所具有的某个或某些共同特征。注:常见数据分类维度包括产生来源、结构化特征、业务归属、处理时效性要求等 3.7 分类方法分类方法 classification methodclassification method 根据选定的分类维度,将数据类别以某种形式进行排列组织的逻辑方法。3.8 数据分发数据分发 data distributedata distribute 将原始数据、处理数据、分析结果等形式的数据传递给内部或外部实体的过程。注:数据分发包括线上或线下等多种方式,如数据交换、数据交易、数
16、据共享、数据公开等。3.9 类别类别 categorycategory 具有共同属性(或特征)数据的集合。4 缩略语 下列略语适用本文件 ETL:提取转换和加载(Extract-Transform-Load)1414/143143 FTP:文件传输协议(File Transfer Protocol)SQL:结构化查询语言(Structured Query Language)5 分类过程 5.1 概述 大数据分类过程划分为分类规划、分类准备、分类实施、结果评估、维护改进 5 个阶段,如图 1 所示。本章规范了大数据的分类过程,并根据大数据实际应用场景,在第 6 章、第 7 章、第 8 章分别对分
17、类视角、分类维度、分类方法 3 个关键步骤进行规范,具体分类示例参见附录 A 5.2 分类规划 5.2.1 选择分类视角 1515/143143 选择分类视角过程包括:a)明确分类业务场景;b)根据业务场景选取分类视觉。注:分类视角见第 6 章 5.2.2 制定工作计划 制定工作计划过程包括:a)明确规划拟开展分类的数据范围;b)明确拟采用的分类维度和方法;c)明确预期分类结果;d)明确分类工作实施方案及进度安排;e)明确对分类结果的评估方法;f)明确对分类结果体系的维护方案。5.3 分类准备 5.3.1 调研数据现状 调研数据现状过程包括:a)调研数据产生情况,包括但不限于数据产生的场景、主
18、体、方式、频率、稀疏稠密、合法合规性等;b)调研数据存储现状,包括但不限于数据内容的格式、存储方式、存储位置、储量等;c)调研数据质量情况,包括但不限于数据的规范性、完整性、准确性、一致性、时效性、可访问性等;d)调研数据业务类型,如组织人事管理数据、经营数据、财务数据等;e)调研数据敏感程度,包括但不限于数据的涉密程度、1616/143143 安全性、保护需求等;f)调研数据应用情况,包括但不限于数据的使用目的、应用领域、使用方式等;g)调研数据时效性情况,包括但不限于数据处理的时效性要求、数据价值时效性等;h)调研数据权属情况,包括不限于数据的所有权、管理权、使用权等。5.3.2 确定分类
19、对象 a)确定数据分类的业务场景;b)确定数据产生的起止时间;c)确定数据量大小;d)确定数据产生频率;e)确定数据结构化特征;f)确定数据存储方式;g)确定数据处理时效性;h)确定数据交换方式;i)确定数据产生来源;j)确定数据流通类型;k)确定数据质量;l)确定数据敏感程度 5.3.3 选择分类维度 选择分类维度过程包括:a)梳理分类视角的数据特征;b)根据数据特征选取分类维度。注:分类维度见第 7 章 1717/143143 5.3.4 选择分类方法 选择分类方法过程宜明确分类维度的排列顺序和组合方式。注 1:分类方法见第 8 章。注 2:若选择混合分类法,还需考虑以哪种分类维度为主,哪
20、种分类维度作为补充。5.4 分类实施 5.4.1 拟定实施流程 拟定实施流程宜结合大数据的生命周期,拟定具体的分类实施流程,包括但不限于明确实施步骤、启动实施工作、开展实施工作、总结实施过程等。5.4.2 开发工具脚本 开发工具/脚本宜根据实施流程、分类维度和分类方法编写分类算法,遵循软件开发或者脚本编制的规范开发分类工具/脚本。5.4.3 记录实施过程 记录实施过程宜记录分类实施过程的各个步骤及其分类结果,输出文档。5.4.4 输出分类结果 输出分类结果宜梳理各个步骤的分类结果,形成数据分类表。5.5 结果评估 5.5.1 核实过程 核查实施过程包括 1818/143143 a)核查数据分类
21、表,明确类别划分是否合理;b)核查分类过程记录,明确分类结果与预期目标的偏离程度;c)核查分类维度,确保分类维度符合业务需求、分类目标;d)核查分类方法的合理性;e)根据核查结果调整大数据分类过程。5.5.2 访谈相关人员 访谈相关人员包括:a)访谈数据分类执行者,问分类视角范围维度、方法与业务场景的关联性等;b)访谈数据所有者,询问数据分类结果中的数据权属类别划分、产生频率类别划分等是否符合实际情况;c)访谈数据管理者,询问数据分类结果中的数据结构化类别划分、数据存储方式类别划分、稀疏程度划分、敏感程度划分等是否符合实际情况;d)访谈数据使用者,询问数据分类结果中的数据处理实时性划分、交换方
22、式类别划分、业务归属类别划分、流通类型类别划分等是否符合实际应用情况;e)核查意见和问题,调整大数据分类过程。5.5.3 测试分类结果 测试分类结果包括:a)对分类后的数据执行分类脚本或程序,查看是否有不符合分类策略的分类结果;b)核查意见和问题,调整大数据分类过程。1919/143143 5.6 维护改进 5.6.1 变更控制 变更控制包括:a)分析变更的必要性和合理性,确定是否实施变更;b)制定变更计划,评估变更对大数据分类工作的影响,包括分类维度、分类方法的改变等;c)执行变更,对分类结果进行更改,记录变更过程;d)对新的大数据分类结果进行评估;e)发布新的大数据分类结果。5.6.2 定
23、期评估 定期评估包括:a)定期评估大数据分类维度和方法的合理性,检查其是否符合业务场景变化和分类视角变化;b)定期评估大数据分类结果的有效性和应用情况,检查其是否满足业务应用需求的更新;c)核查意见和问题,调整大数据分类过程。6 分类视角 6.1 概述 大数据分类视角分为技术选型视角、业务应用视角和安全隐私保护视角。2020/143143 6.2 技术选型视角 技术选型视角包括但不限于:a)理清数据产生频率,明确数据产生规律,确定数据更新周期和存策略,确定数据存储平台配型等存储资源分配方案;b)理清数据产生方式,分析数据的来源和质,确定在整个数据处理流程中数据所处的位置及数据处理及存储技术;c
24、)分析数据的结构化特征,确定数据存储与处理方案;d)明确数据的存储方式,确定数据建模模型与数据的访问方式,支撑各类数据应用场景;e)理清数据稀疏稠密程度,明确数据稀疏稠密规律,确定数据存储策略和分析方法,选择数据存储方案和分析方案;f)明确数据处理时效性要求,明确数据处理时机,确定数据处理策略,选择包括计算平台和资源匹配等的数据处理方案;g)理清数据交换方式,确定数据共享方式及策略,支撑构建信息交换体系。6.3 业务应用视角 业务应用视角包括不限于 g)理清数据产生来源,明确数据权属和访问权限,便于数据追踪溯源;g)明确数据应用场景,确定数据业务主题,判断数据应用 2121/143143 价值
25、,选择数据分析方案;g)明确数据分发场景确定数据应用行业明确可用数据的范围;g)理清数据质量情况,明确数据应用需求,确定数据质量管理方案。6.4 安全隐私保护视角 安全隐私保护视角括不限于:a)明确不同敏感程度的大数据在存储、传输、访问、分发时的安全要求;b)明确不同敏感程度的大数据的隐私保护要求;c)指导分类主体制定隐私保护方案;d)指导分类主体制定安全管理方案。7 分类维度 7.1 概述 本章从技术选型、业务应用和安全隐私保护三种视角给出不同的分类维度,以及用于描述每种分类维度的分类要素、数据类别和适用场景。7.2 技术选型维度 7.2.1 按生产频率分类 7.2.1.1 概述 按产生频率
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 信息 标准 规范