《海洋环境数据处理与质量控制规范 第1部分:海洋水文》(报批稿).pdf
《《海洋环境数据处理与质量控制规范 第1部分:海洋水文》(报批稿).pdf》由会员分享,可在线阅读,更多相关《《海洋环境数据处理与质量控制规范 第1部分:海洋水文》(报批稿).pdf(28页珍藏版)》请在文库网上搜索。
1、ICS 07.060 A 45 HY 中 华 人 民 共 和 国 海 洋 行 业 标 准 HY/T XXXXXXXXX 海洋环境数据处理与质量控制规范 第 1 部分:海洋水文 Specification for marine environmental data processing and quality control Part 1:Marine hydrology 点击此处添加与国际标准一致性程度的标识(报批稿)(本稿完成日期:20220708)XXXX-XX-XX 发布 XXXX-XX-XX 实施 中华人民共和国自然资源部 发 布 XX/T XXXXXXXXX I 目 次 前言.II
2、引言.1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 一般规定.2 4.1 处理流程.2 4.2 处理原则.2 5 预处理和标准化处理.2 5.1 预处理.2 5.2 标准化处理.2 6 质量控制.3 6.1 质量控制目的.3 6.2 质量控制对象.3 6.3 质量控制方法.3 7 质量评估.3 7.1 质量评估的形式.3 7.2 质量评估指标.3 7.3 质量评估报告内容.4 8 清单制作.4 9 元数据制作.4 附录 A(规范性)质量控制方法.5 附录 B(规范性)温盐质量控制方法.9 附录 C(规范性)海流质量控制方法.14 附录 D(规范性)海浪质量控制方法.16 附录
3、E(规范性)水位质量控制方法.18 附录 F(规范性)水色、透明度、海发光质量控制方法.21 参考文献.22 XX/T XXXXXXXXX II 前 言 本文件按照GB/T 1.1-2020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定起草。本文件是HY/T XXXX-XXXX海洋环境数据处理与质量控制规范的第1部分。HY/T XXXX-XXXX 已发布以下部分:海洋环境数据处理与质量控制规范 第1部分:海洋水文;海洋环境数据处理与质量控制规范第2部分:海洋气象。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中华人民共和国自然资源部提出。本文件由
4、全国海洋标准化技术委员会(SAC/TC 283)归口。本文件起草单位:国家海洋信息中心。本文件主要起草人:刘玉龙、徐珊珊、杨锦坤、董明媚、李程、苗庆生、岳心阳、杨扬、张增健、骆敬新、纪风颖、刘首华。XX/T XXXXXXXXX III 引 言 当前,我国对海洋环境的关注度不断上升,各类近海调查与远洋科考工作蓬勃发展,同时技术发展引发大数据时代到来,海洋环境调查形式将越来越多样,内容越来越丰富,数据的观测频率大大提升,对海洋环境观测数据处理和质量控制能力提出更高的要求,为满足提高海洋环境观测数据处理和质量控制的能力的需要,制定海洋环境数据处理与质量控制规范系列标准。海洋环境数据处理与质量控制规范
5、拟由以下11个部分组成:第1部分:海洋水文。目的是为海洋环境水文调查数据的收集、处理和质量控制,提供规范性的内容、流程和方法。第2部分:海洋气象。目的是为海洋环境气象调查数据的收集、处理和质量控制,提供规范性的内容、流程和方法。第3部分:海洋化学。第4部分:海洋生物。第5部分:海洋底质。第6部分:海洋地质、地球物理。第7部分:海洋地形、地貌。第8部分:海洋工程地质。第9部分:海洋遥感。第10部分:海洋声学。第11部分:海洋光学。HY/T XXXX.1包括海洋环境水文数据处理与质量控制的处理流程、处理原则、数据预处理和标准化、质量控制处理、质量评估、数据清单制作和元数据制作等内容,可提供规范的海
6、洋水文数据处理与质量控制内容、流程和方法,清晰工作思路,提高工作效率,为最终获得及时、完整和质量可靠的海洋调查数据打下基础 XX/T XXXXXXXXX 1 海洋环境数据处理与质量控制规范 第 1 部分:海洋水文 1 范围 本文件规定了海洋水文数据处理的一般规定、预处理、标准化处理、质量控制、质量评估、清单制作和元数据制作等内容。本文件适用于水温、盐度、海流、海浪、水位、水色、透明度和海发光海洋水文数据的处理和质量控制。2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括
7、所有的修改单)适用于本文件。GB/T 12460-2006 海洋数据应用记录格式 GB/T 15920 海洋学术语 物理海洋学 GB/T 14914-2006 海滨观测规范 3 术语和定义 GB/T 15920和GB/T 14914-2006界定的以及下列术语和定义适用于本文件。3.1 数据处理 data processing 对数据(包括数值的和非数值的)进行分析、整理、计算和编辑等加工的技术过程。3.2 预处理 pre-processing 在标准化处理前对资料进行的载体转换、信息补充、数据文件类型转换、文件合并与拆分、代码添加和要素名称统一等处理过程。3.3 标准化处理 standard
8、ized processing 按照资料类别,采用规范流程,对不同来源的资料进行格式、编码、计量单位和文件名称等规范统一的数据处理过程。3.4 质量控制 quality control XX/T XXXXXXXXX 2 采用多种数据处理方法、模型和参数,综合判断数据质量可靠性,并进行质量标识的处理过程。3.5 海洋水文数据 marine hydrological data 反映海面及海面以下的海洋水文状况及其变化过程的观测数据。注:本标准涉及的海洋水文数据包括:水温、盐度、海流、海浪、水位、水色、透明度和海发光。3.6 检验 inspection 采用规定的方法和参数,判断海洋水文要素数据是否
9、符合特定规律的检查。4 一般规定 4.1 处理流程 海洋水文数据处理流程包括:预处理、标准化处理、质量控制、质量评估、清单制作和元数据制作等过程。4.2 处理原则 海洋水文数据处理应遵循以下原则:a)完整性:海洋水文数据处理过程中应保证数据类型和内容观测信息等的完整;b)规范性:对海洋水文数据进行规范化和统一化的处理。同一类型数据采用的存储格式、编码和计量单位应一致;c)真实性:海洋水文数据处理过程中保证数据项和辅助项与原始资料一致,不应在数据处理过程中对原始资料做修改或增减;d)可靠性:数据处理过程中应对数据进行质量控制,对正确数据和错误数据进行标识。5 预处理和标准化处理 5.1 预处理
10、审核海洋水文数据中数据来源、获取方式、仪器设备名称及参数和处理者等能说明资料状况的信息是否齐全;审核数据类型、站次数、观测时间和观测位置等是否与任务规定相符,能否满足数据标准化要求。对于信息收集不完整的数据,应从航次调查报告、资料处理报告、值班日志信息、原始观测记录报表、观测仪器信息等文档中提取所需要的信息;若信息存储在纸介质或图像等模拟信号中,还应对其进行数字化处理。5.2 标准化处理 海洋水文数据标准化由4部分组成:a)代码标准化:指按代码记录的项目,应进行代码统一后再行记录;b)计量单位标准化:指将同一类型要素的不同计量单位统一为相同的计量单位;c)记录格式标准化:指将同一类型要素按照标
11、准格式要求,将数据现有格式转换为标准格式;XX/T XXXXXXXXX 3 d)文件名称标准化:指按照统一的命名规则进行文件的标准命名。6 质量控制 6.1 质量控制目的 为保证海洋水文数据存储的完整性、规范性、真实性和可靠性,对数据异常和缺测等情况进行判断,并对正确、可疑、错误和缺测数据进行质量标识。6.2 质量控制对象 海洋水文数据的质量控制对象包括采用不同观测和调查手段获取的水温、盐度、海流、海浪、水位、水色、透明度和海发光数据。6.3 质量控制方法 6.3.1 一般说明 6.3.1.1 质量控制方法包括自动质量控制和人工审核。6.3.1.2 自动质量控制方法是由计算机软件对数据进行质量
12、检查和质量符标识的过程,自动质量控制方法分为基础信息检验和要素特性检验。基础信息检验是各要素通用的检验方法,包括:格式检验、全等性检验、日期检验、位置检验、着陆检验、深度检验和速度检验,按照 A.1.1 进行检验。要素特性检验是对不同类型要素进行的特有的检验方法,包括:范围检验、递增性检验、连续性检验、尖峰检验、极值检验和相关性检验等,按照 A.1.2 进行检验。6.3.1.3 人工审核方法是由专业技术人员采用人工或人机交互方式对数据进行质量判断的过程,方法包括航次轨迹检验、区域特性检验和时间序列图形检验等,按照 A.2 进行审核。6.3.1.4 海洋水文数据宜采用自动质量控制和人工审核相结合
13、的方法开展质量控制,对有时效要求产出的实时数据可采用自动质量控制方法。6.3.2 分类质量控制方法 针对不同类型的海洋水文数据使用不同的质量控制方法进行数据质量判断。其中,温盐按照附录B进行质量控制;海流按照附录C进行质量控制;波浪按照附录D进行质量控制;水位按照附录E进行质量控制;水色、透明度和海发光数据按照附录F进行质量控制。6.3.3 质量标识 数据质量标识方法采用对数据记录标识质量符的方式。质量符为字符型,应符合A.3的规定。7 质量评估 7.1 质量评估的形式 数据质量评估应编制数据质量评估报告。7.2 质量评估指标 质量评估指标由以下方法确定:XX/T XXXXXXXXX 4 a)
14、有效记录数:数据经过质量控制处理后,质量标识为正确的数据记录总数;b)有效率:有效记录数占全部记录数的百分比;c)缺测记录数:数据经过质量控制处理后,质量标识为缺测的数据记录总数;d)缺测率:缺测记录数占全部记录数的百分比;e)重复率:重复记录数占全部记录数的百分比。7.3 质量评估报告内容 数据质量评估报告宜包括以下内容。a)数据概况:包括数据来源机构、总数据容量、文件数、分类型数据容量、文件数;数据种类、观测方法、观测要素、观测频率、时制;数据存储格式、是否可读、读取方式或软件、数据的空间范围描述(空间分布站位图)、数据的时间范围;观测载体数量(航次数、站数、站次数、船数)等。b)数据质量
15、情况:根据实际需要选择包含数据的总记录数、有效记录数、有效率;各要素的总记录数、有效记录数、缺测率和有效率等(采用数字、表格或图形的方式展示);以船、航次、站、观测仪器等为单位分别说明数据的有效记录数、有效率和缺测率;描述主要存在质量问题,作出原因分析。c)数据分析:为选编内容,一般包括局地气候代表性、对研究解决科学问题的支撑情况等。d)数据应用价值分析和建议:根据社会普遍需求给出数据的应用价值,包括可应用领域、经济价值和社会价值等;根据目前具体的工作需要给出数据具体的应用价值;提出数据存在的问题和使用时的注意事项以及进一步收集数据的需求等。8 清单制作 编制标准数据集的数据清单,数据清单的内
16、容包括:序号、项目名称和编号、数据名称、学科类型、开始时间、结束时间、空间范围、文件数、数据量、处理人、处理单位(部门)、密级和备注等。9 元数据制作 海洋水文数据经过质量控制处理后形成的标准数据集,根据需要编制对应元数据信息。元数据包含的信息如下:a)基本信息:数据名称、摘要、关键词、创建日期、联系办法、数据格式、安全级别、区域和时间等基本信息;b)调查信息:项目、单位、平台、仪器和起止时间等与数据调查相关的信息;c)质量信息:数据处理过程、处理方法、处理人和资料质量情况等描述数据质量的信息;d)内容信息:要素、计量单位、精确度等描述数据内容特征的信息;e)参照系信息:参照系统名称、投影、基
17、准等数据所使用空间参照系统的说明信息。XX/T XXXXXXXXX 5 附 录 A(规范性)质量控制方法 A.1 自动质量控制方法 A.1.1 基础信息检验 A.1.1.1 格式检验 按照规定的格式进行项目要素记录的检验,包括起始位置、长度、数据记录的类型以及缺测值的填写等,不满足规定格式要求的数据记录均为错误。A.1.1.2 全等性检验 针对观测记录中的某些要素项,如资料类型、固定站点代码、平台代码、观测方法、仪器名称、观测仪器海拔高度、观测要素代码等进行数据检验,这些要素项的参数记录和约定值必须完全一致,否则视为错误。A.1.1.3 时间检验 观测时间(年、月、日、时、分、秒和时区)的取值
18、应位于合理范围内。其中,年份取值不大于当前年份,月份取值范围为112,日期取值介于当月的天数之间,小时取值范围为023,分、秒取值范围为059。同批次调查资料时间信息应与调查时间一致。A.1.1.4 位置检验 海洋观测资料的测站位置应在合理取值范围内。如:全球经度范围为-180180,纬度范围为-9090,特定调查可根据具体要求调整经纬度范围。固定观测站位漂移范围通过球面换算不超过5公里。A.1.1.5 着陆检验 近岸和大洋观测位置应位于海洋中,依据全球数字化地图判断观测数据位置是为陆地或是海洋。A.1.1.6 深度检验 海洋观测资料的深度应在实际地形范围内,判断观测站点位置的观测深度是否符合
19、深度要求。A.1.1.7 速度检验 移动观测平台的移动速度应处于合理的范围内。将移动观测平台当前时间的观测位置与前一个有正确观测位置进行距离和对应的时间差的计算得到平均速度,对于观测船,最大速度应小于20.0m/s(约40节);对于漂流浮标,最大速度应小于3.5m/s。A.1.2 要素特性检验 A.1.2.1 范围检验 XX/T XXXXXXXXX 6 根据海洋水文观测要素特点,定义各要素的正常取值范围,对数据进行合理性检验。如果超出正常范围,则认为该数据异常。A.1.2.2 递增性检验 要素剖面深度、连续站点观测时间等按一定的顺序排列应是递增的,假设当前观测值为ix,与其相邻的上一个观测值为
20、1ix,应满足公式(A.1),否则该数据异常。1iixxH .(A.1)式中:ix当前观测值;1ix与ix相邻的上一个观测值;H检验值,根据数据观测特性的不同具体确定。A.1.2.3 连续性检验 海洋水文要素在一定时间和空间范围内具有连续性,时间接近或者位置邻近的要素变化值应在一定范围内,假设当前观测值为ix,与其时间或者空间相邻的上一个非缺测值为1ix,则应满足公式(A.2),否则该数据异常。1iixxH .(A.2)式中:ix当前观测值;1ix与ix时间或者空间相邻的上一个非缺测值;H检验值,根据要素类型、观测时间间隔、水平距离等因素确定。A.1.2.4 尖峰检验 海洋水文数据在垂向空间或
21、连续时间范围内应相对平滑,假设当前观测值为ix,与其时间或空间相邻的观测值为1ix和1ix,则要求ix满足公式(A.3),否则认为ix异常。1111()/2()/2iiiiixxxxxH .(A.3)式中:XX/T XXXXXXXXX 7 ix当前观测值;1ix与ix相邻的下一个观测值;1ix与ix相邻的上一个观测值;H检验值,根据要素类型、观测时间间隔和垂向距离等因素确定。A.1.2.5 极值检验 定点定时要素观测值的取值应在该地该要素的多年极值范围内,若不满足,则判定其为异常值。()()Min XXMax X .(A.4)式中:()Min X多年极小值;X当前观测值;()Max X多年极大
22、值。A.1.2.6 相关性检验 根据海洋水文数据间的相互关系进行检验,即通过要素间的相互关系(如:一日内各定时或逐时记录值是否超出日极值;最大波高必须大于或等于平均波高;最大周期必须大于或等于平均周期;高、低潮潮高与逐时潮高的关系;波型、波高和海况的关系;风速、波高和周期的关系;海水盐度、温度和密度的关系等)检验数据的异常。A.2 人工审核 A.2.1 航次轨迹检验 通过航线图验证着陆点检验的结果,并检查航行观测轨迹是否合理。A.2.2 区域特性检验 根据当前数据的观测时间和经纬度,查找与之时空相近的同类型历史数据进行比较,以及不同要素叠加比较,判断该数据模态是否偏离于其它数据,对离群数据进行
23、标识。A.2.3 时间序列图形检验 通过绘制要素的时间序列过程线和剖面图分布或廓线图等图形,以及同类要素不同观测频率时间序列,判别观测要素的突变值是异常值还是海洋真实变化。A.2.4 数据抽样检验 人工抽样绘制要素检验图形和结果,检查质量控制是否能准确判别正确和错误数据。XX/T XXXXXXXXX 8 A.3 质量标识方法 数据质量标识方法采用对数据记录标识质量符的方式。质量符为字符型,其用法和意义按照表A.1的规定使用。表A.1 质量符的用法和意义 代码 含义 空格 未作质量控制 1 正确 2 可能正确 3 可能错误 4 错误 5-8 备用 9 缺测 XX/T XXXXXXXXX 9 附
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 海洋环境数据处理与质量控制规范 第1部分:海洋水文 海洋环境数据处理与质量控制规范 第1部分:海洋水文报批稿 海洋环境 数据处理 质量 控制 规范 部分 海洋 水文 报批