水文资料整编与水文数据库建设与发展

申请免费试用、咨询电话：400-8352-114

 我国水文资料整编和数据库技术发展综述

  章树安1，林 伟2、吴礼福1 (1.水利部水文局，北京，10053；2. 四川省水文水资源勘测局，四川 成都，610031）   摘 要： 关键词：   水文是水利和国民经济建设与发展重要的基础工作。经过整编的水文资料是水文数据的最终产品，是国家重要的基础信息资源之一。它被广泛应用于防汛抗旱、水利工程规划设计、水资源管理与开发利用、水环境保护、水科学研究及其他国民经济建设，是不可缺少的基本信息资源。随着经济社会的发展和人民生活水平不断提高，对控制水旱灾害、水环境监测与保护、水土保持与生态、水资源管理等方面要求越来越高，对水文数据分析处理、存储、应用服务也将有较高的要求。本文主要从技术角度，对我国水文资料整编和水文数据库建设与发展作简要回顾与总结。   水文资料的整编、汇编是对水文监测数据按流域水系进行处理、加工、分析、统计等复杂的技术过程和人员组织过程。刊印水文年鉴一般需经过资料在站整编、资料审查、复审、汇编、刊印等生产过程。 水文年鉴是一种逐年刊印的资料，以统一、科学的图表形式表达出来的成果。内容主要是上年实测的并经过严格整编审查的、普遍需要的基本水文资料，提供水利水电建设、其他国民经济建设及科学研究部门使用。水文年鉴的内容主要包括：说明资料，水位、流量、输沙率、泥沙颗粒级配、水温冰凌、水化学、地下水、降水量、蒸发量等资料，已刊布的资料的更正与补充；主要有逐日表、月年统计表、实测成果表、摘录表等。   中国的水文测验开始于战国时期，但资料的积累、保存、整编要晚得多，正式观测记录被系统保存下来，开始于19世纪。保存的正规降水量记录，开始于清道光二十一年（1841年，北京），正规的水位记录，开始于清同治四年（1865年，汉口）。其后，凡开始近代水文观测的站，一般都计算逐日值列出年表。从清末民初开始将多站水文资料汇编刊印，如民国24年，全国经济委员会水利处出版民国22年的《全国水文报告》，含水文站153处，水位站277处的资料。新中国成立后，从1949年开始，在全国范围内，对历史积存的水文资料，按统一布置和要求，进行系统的整编刊印工作，并在50年代全面完成。 1958年，水利部水文局将全国按流域水系统一划分水文资料的卷册范围，并将逐年资料统一命名为《中华人民共和国水文年鉴》，全国分10卷94册。1964年在编制《水文年鉴审编刊印暂行规范》时，对原卷册划分进行了调整，调整后全国分10卷74册，并长期维持稳定。1999年，发布的《水文资料整编规范》对原卷册划分作了个别修改，现为10卷75册。至1986年止，刊出历史水文资料及水文年鉴共2277册。1987年后，一些单位继续刊布水文年鉴，另一些单位将整编成果存入计算机，用打印或复印方式供应，没有刊布水文年鉴，至1990年后全国全面停刊水文年鉴。1979年，水利部水文局颁布《地下水观测试行规定》，地下水资料按省、直辖市、自治区或地区单独刊印，不再列入水文年鉴。1985年，水利电力部颁布《水质监测规范》，将水质资料单独编为《中华人民共和国水文年鉴水质专册》。   1 水文资料整编 1.1 资料整编历史与水文年鉴 中国的水文测验始于战国时期，但主要为实时需求服务。对于资料的积累、保存、整编的认识则要晚得多，主要从19世纪中叶开始。保存正规的降水资料始于1841年（北京）；水位资料始于1865年（汉口）。其后，凡开始近代水文观测的站，均保存有单站的记录，一般计算逐日值列出年表。1949年新中国成立后，在全国范围内，按统一布置和要求，进行系统的整编刊印工作，并在50年代末期全面形成资料整编工作与技术体系。1949年10月～1957年，完成了对建国前历史积存的水文资料系统整编。1953～1954年间，水文资料整编工作的组织，逐步从大行政区的有关机关向省一级水文机构转移；1954年后，在治淮委员会的倡导下，推行了“在站整理”，由基层水文站负责水文资料的初步整编工作。1955年在制定《水文测站暂行规范》时，将在站整理规定为测站任务之一；经测站整理的资料，由测站上级机关组织审查、复审、汇编与刊印。在站整理的开展，使整编工作经常化，加快了整编进度，而且测验与整编相结合，在整编工作中发现测验中的问题及时改进；后来发展为测站“四随”（随测算、随发报、随整理、随分析）制度。至50年代末，全国各地基本实现了在站整理，当年资料可于次年完成[1]。 1958年，水利部水文局将全国按流域水系统一划分水文资料的卷册范围，并将逐年资料统一命名为《中华人民共和国水文年鉴》，共分10卷94册；1964年，编制《水文年鉴审编刊印暂行规范》时，对卷册做过一次较大的调整，将同一区域的水位、流量、泥沙、降水、蒸发资料编在一起，调整后全国分10卷74册；1999年颁布的《水文资料整编规范》SL247-1999，对卷册划分做了微调，调整后全国分10卷75册。不同年代水文年鉴卷册划分统计见表1。   表1    不同年代水文年鉴卷册划分统计表 卷号 卷  名 1958年册数 1964年册数 1999年册数 1 黑龙江流域水文资料 6 5 5 2 辽河流域水文资料 4 4 4 3 海河流域水文资料 10 6 7 4 黄河流域水文资料 10 9 9 5 淮河流域水文资料 8 6 6 6 长江流域水文资料 22 20 20 7 浙闽台河流水文资料 6 6 6 8 珠江流域水文资料 12 10 10 9 藏滇国际河流水文资料 4 2 2 10 内陆河湖水文资料 12 6 6   总计 94 74 75   至1986年止，刊出历史水文资料及水文年鉴共2277册，13.6亿组数据。1987年后，一些单位继续刊布水文年鉴，另一些单位停刊水文年鉴，将整编成果存入计算机，用打印或复印方式供应，1990年后全面停刊。2002年起，开始恢复刊印18册重点地区重点卷册水文年鉴（自2001年水文资料开始）。至2005年底，估计全国累计整编数据量已超过33.2亿组数据。     1.2 整编技术 （1）水位资料。水位资料整编工作主要内容：考证水尺零点高程；绘制逐时或逐日平均水位过程线；整编逐日平均水位表和洪水水位摘录表(水位站编制)；进行单站合理性检查。其核心问题是将水尺断面、所用基面和水尺零点高程考证清楚。对因重复进行水准测量、水准平差、基面变换而使本站水准点数据发生变动的情况，从1955年起使用“冻结基面”的办法，历史水位数据不再改动。此办法保持了水位资料的连续性，并一直使用。 （2）流量资料。流量资料整编的主要内容：编制实测流量成果表和实测大断面成果表；绘制水位流量、水位面积、水位流速关系曲线；水位流量关系曲线分析和检验；水位流量数据整理；计算整编逐日平均流量表及洪水水文要素摘录表；绘制逐时或逐日平均流量过程线；进行单站合理性检查。其关键环节是水位流量关系的确定。新中国成立后，我国水文技术人员在广泛吸取前苏联和其他国家经验，并结合中国河流特点，对不稳定的水位流量关系确定积累了较丰富的经验，使整编技术有了较快发展。流量资料整编主要方法见表2。另外，对于利用水工建筑物测流的流量系数分析，对于实测流量缺乏时的插补延长，也积累了丰富的经验。对于冰流量资料，60年代以后，使用冰流量与相关因素关系曲线法整编。相关因素有疏密度、冰厚等。   表2  流量资料整编主要处理方法统计表 类型 处理方法 一、稳定的水位流量关系 曼宁公式    二、不稳定的水位流量关系   1. 受冲淤影响的水位流量关系 临时曲线法、改正水位法 2. 受变动回水影响的水位流量关系 正常落差法、落差开方根法、落差指数法、理论落差法 3．受洪水涨落影响的水位流量关系 校正因素法 4．受水生植物影响的水位流量关系 改正系数法、改正水位法 5．受结冰影响的水位流量关系 改正系数法、改正水位法 6．受混合因素影响的水位流量关系 连时序法      （3）泥沙资料。① 悬移质。悬移质泥沙资料整编的核心是如何推求出断面平均含沙量（或输沙率）变化过程资料。新中国成立后，学习前苏联经验，采用连续施测单位含沙量（简称单沙），同抽样施测断面平均含沙量（简称断沙）相结合的测验方法。通过单断沙关系曲线，将单沙过程转为断沙过程。② 推移质。50年代使用单位输沙率～断面输沙率关系曲线法、悬移质输沙率～推移质输沙率关系曲线法、实测输沙率过程线法等方法进行资料整编。其后，发展了推移质输沙率与水力因素关系曲线法。③ 泥沙颗粒级配。通过建立单位水样颗粒级配与断面平均颗粒级配关系的途径进行整编。    （4）降水与蒸发资料。对于降水量资料的摘录方法、统计方法、以及漏测时补救方法等，做过一些探索和改进。对于测站全年使用不同口径的蒸发器观测的资料，规定有条件的应统一换算为大口径蒸发器资料后进行统计编刊。不能换算的，均按实测资料编入。   1.3 计算机整编 在20世纪70年代之前，我国水文资料整编主要是人工计算、摘录、绘制图表和确定水位～流量关系线。从上世纪70年代初中期，长委、黄委等单位用ALGOL-60语言开始尝试用计算机进行资料整编。到80年代中后期，在VAX计算机应用FORTRAN语言编程，全国形成了比较系统的整编软件，主要有降水、水位、泥沙、蒸发、流量等要素整编软件，并在全国推广应用。但由于中国大多数河流水位～流量关系不稳定、复杂，均需水位～流量关系单值化处理，导致流量整编工作复杂，采用的定线方法较多，实现计算机整编难度很大，一般人工定线后，把相关过程和关系的数据录入计算机后，进行整编。到上世纪90年代初期，随着微机普及应用，在DOS系统下，应用BASIC语言，开发了第二代整编程序。2000年后，长委、安徽、辽宁、山东等水文局组织技术人员开发在WINDOWS系统下应用VB和VC第三代整编软件，并取得成功。2002年后，水利部水文局结合年鉴复刊和贯彻新的整编规范需要，分别委托长委和黄委水文局牵头组织开发适合南方片、北方片资料整编需要的统一的整汇编软件。目前南方片整汇编软件已进入推广应用阶段，其主要功能有：GIS平台功能、系统管理功能、水文资料整编功能、图形处理功能、汇编功能、图形分析及特征值统计功能。同时系统还提供了水位、流量、输沙率、悬移质泥沙颗粒级配、降水量等要素生成各站特征值统计对照表格，便于用户对某区域各站水文特征值进行分析。功能较为全面、界面友好，较好的满足了目前水文资料整编生产应用需要。   2 水文数据库    水文系统是我国较早开始探索与实践建立数据库部分之一。1980～1984年，原水利部水调中心在PDP11/44计算机应用DTR软件开始录入主要河流水文特征统计资料，进行了建立水文数据库有关探索。1986年，提出建设全国水文数据库，主要存储经过整编的水文资料（包括刊印和未刊印的），并选择有关单位进行试点。考虑到全国水文数据库系统开发应用的复杂性、艰巨性(主要是人工录入已刊印的水文年鉴资料任务巨大)和财力的可能，当时提出的指导思想是：全国水文数据库系统为分布式体系结构的数据库系统，即由中央一级节点、省（市、区）流域机构二级节点和地市三级节点组成。二级节点作为存储数据的实体优先开发应用。在实施过程中确定为分阶段实施，边建库边服务原则。 水文数据库建设历程大致可分为三个阶段：① 早期建库阶段。1986～1996年，主要进行试点研究、技术准备和年鉴资料组织录入；② 初步建成阶段。1997～2001年，各二级节点已存储了一定数据量，并开发和推广应用了在C/S结构下查询软件系统；③ 发展准备阶段。2002～现在，测站编码修订、制定新的数据库表结构和标识符标准、在B/S结构下开发查询软件，对异地数据共享查询进行了试点、编制项目建议书等。   2.1 早期建库阶段的技术标准制定及试点研究    （1）测站编码。测站编码采用8位数字代码，分三部分，第1位数字为流域代码，代表流域（地区）序号；第2～3位两位数字为水系代码，代表水系（分区）的序号；第4～8位为测站代码，代表测站序号。测站序号的每位数字（即第4位数）隐含测站类型，0～1表示水文（水位）站，2～5表示降水（蒸发）站，6～9备用。     （2） 数据库表结构方案。库表结构方案设计主要根据水文年鉴水文数据特性和应用需要进行设计，既考虑了应用的需要，同时也考虑了当时计算机性能的限制，经过多次试点和修改，于1994年推出全国通用的“全国水文数据库表结构方案3.0版”。表结构分为七类，共60个表。七类表为：测站信息类、日值类、摘录值类、月年统计类、实测值类、时段最大值类、注解类。     （3）标识符表。标识符表包括表标识符和字段标识符，每一个标识符同时给出中文名和英文名。其命名遵照以下规则：① 国际标准有明确规定的，一律按标准执行；② 没有标准规定的优先采用传统习惯名称；③ 标识符长度不超过6个字符，由字母和数字组成，字母按英语单词缩写规则构造。     （4）录入格式标准。录入格式标准规定了水文资料整编数据和历史水文年鉴数据的录入格式，其主要内容如下：① 文件命名规则（主文件名和扩展名）；② 代用符号一览表；③ 数据录入文件的组织；④ 数据处理程序的编制原则。     （5）其他标准。除以上主要技术标准外，还陆续制定了建库的其他标准，如“磁介质编码试行办法”，“水文数据库验收标准”等。     （6）试点研究。在制定有关标准的同时，对数据库软件选型也作了试点研究，分别用DTR、RDB、DBMS等数据库软件进行试点研究，最后确定用关系数据库(Oracle)作为建库管理软件。 2.2 基本建成阶段 1990年后，由于各地陆续不刊印水文年鉴，整编后的水文资料以水文数据库方式保存和检索，大大促进了各地水文数据库建设的发展，到1995年底全国有90%以上流域和省级水文单位在Vax机应用Oracle数据库管理系统达到了初步建成目标(应有40%年鉴数据录入到数据库)，此后原水利部水文司要求各建库单位在初步建成的基础上，在2000年前实现基本建成的目标。即数据装载量应达到本二级节点2000年前数据总量80%以上，录入误码率小于等于万分之一，有相应的查询检索服务系统。由于计算机、数据库和网络技术快速发展，计算机(服务器)价格性能比大大提高，原购置的Vax机已不适应建库和服务的要求，此后大多数建库单位选用了中低档微机服务器和Sybase等数据库管理系统作为水文数据库基本建成的硬、软件，1997年开发了基于C/S结构下查询检索软件，并在全国推广应用，推进了水文数据库建设发展。到2002年全国已有85%的省（市、区）或流域机构二级节点应用微机服务器和Sybase等管理系统达到了基本建成的要求，全国已录入数据量(含计算机整编数据)8000多MB，初步具备了取代原水文年鉴向外服务的能力，基本改变了以前手工处理、刊印保存、手工检索服务的落后方式。少部分单位通过建立的计算机网络，实现了异地数据传输和查询，并且取得了较明显社会和经济效，但中央和地区(市)节点数据库系统没有起步建设。在这个阶段，笔者认为是水文数据库建设快速发展阶段，也是应用与服务较好阶段。 （1） 录入内容及质量控制。目前已录入存储的资料是历年水文年鉴(刊印和未刊印的)，共有60种表格类型及有关图形。通过人工录入、校核和开发的计算机程序自动校核，已发现和纠正原年鉴刊印错误多处，有的省如广东、四川等，多达3～4万条记录，从而使保存在数据库里的资料质量高于原年鉴。 （2）查询检索功能及相关软件。基于C/S体系结构开发的查询检索软件，实现了单(多)站，单(多)项等系列数据的检索和异地查询检索(通过广域网，如广东等)，使用方便，界面友好，查询速度较快。输出形式有数据文件、数据表格文件、图形输出；输出结果可以显式、打印、存入介质。一些单位在国家水文数据库建设的同时，还初步研究开发了实用性较强的应用软件(数据的二次加工)，如“实时洪水监视与对比分析”、“大水年洪水对比分析”、“等雨量线图绘制”、“站网信息热图构造”等。 （3）应用服务。可基本替代原水文年鉴数据服务功能，基本满足洪水预报模型的建立、洪水预报方案的编制与修订、旱涝情分析、工程水文设计、水资源评价与管理及有关规划所需的水文资料与信息服务。在1999年各地的防洪规划设计中水文数据库发挥了重要作用，既提高了速度，又提高了精度。如山东省在防洪规划设计时，累计查询(含重复查询)数据量达1500MB，如果没有水文数据库是不可能在较短时间实现如此大数据量的查询和应用。 2.3 水文数据库技术发展试点阶段 2001年9月17日，水利部下发了“关于公开提供公益性水文资料的通知”（水文[2001]377号），决定公开提供的公益性水文资料范围为实时报汛资料、经过整编的国家基本水文测站的基本水文资料。             主要介绍水文数据库建设历史与技术发展的过程及成就：80年代中后期－90年代初期试点建设与技术标准的制度；90年代中后期－2002为建设发展期C/S；2002年后为服务期所取得成就。 4 存在的主要问题及措施   资料整编；数据库   编制数据库项目建议书、在不同地区进行逐步升级改造（东北片试点）B/S，异地共享，编制水利行业技术标准SL324-2005 5 展望   水文现代化指导意见要求，贯彻新的技术标准，以实现数据共享为目标   参考文献： [1] 水利部水文司. 中国水文志[M]. 北京：中国水利水电出版社，1997. [2] 章树安. 我国水文数据库系统建设回顾及有关问题的建议[J]. 水文，2001（3）. [3] 章树安，赵琛. 对《基础水文数据库表结构及标识符标准》的认识与分析[J].水文，2005(5). [4] 水利电力部水利司主编.水文测验手册(第三册 资料整编和审查)[M].北京：水利出版社，1980. [5] 水利部. 水文现代化建设指导意见（水文[2005]70号）[R]. 北京：水利部，2005. [6] SL324-2005, 基础水文数据库表结构及标识符标准[S]. [7] SL247-1999, 水文资料整编规范[S]. [8] SD244-87, 水文年鉴编印规范[S]. [9] 萨师煊, 王珊. 数据库系统概论[M]. 北京：高等教育出版社，2004. [10] 章树安，吴礼福，艾萍，林伟，等. 国家水文基本数据库系统工程建设项目建议书[R]. 北京：水利部水文局， 2002. [11] 王珊，等. 数据仓库技术和联机分析处理[M]. 北京：科学出版社，1998. [12] 王珊, 陈红. 数据库系统原理教程[M]. 北京：清华大学出版社，1998. [13] Silberschatz Avi, Stonebraker Mike, Ullman Jeff et al. Database Research: Achievements and Opportunities into 21th Century. NSF Workshop Report on Database System Research in the future, 1995,5 [9] [10] [11] [12]