土地利用土地覆被变化研究进展

土地利用土地覆被变化研究进展,第1张

曹银贵1,2 王静1 程烨1,2 郝银3 许宁1,2

(1中国土地勘测规划院土地利用重点实验室,北京,100035;2中国地质大学土地科学技术系,北京,100083;3湖北省荆州市土地整理中心)

摘要:综合叙述土地利用/覆被变化研究20 多年来的研究进展,总结了在土地利用数量变化研究、驱动力研究、土地利用变化模拟研究方面取得的丰硕成果。一方面是驱动力因子的多样性;另一方面是土地利用变化模拟方法的交叉性,从数量模拟研究转向空间模拟研究,从单方法模拟研究转向多种方法结合的模拟研究,从生物物理驱动力的建模方式转向生物物理驱动力与社会经济驱动力相结合的建模方式,未来研究则要加强精度的要求,使其研究成果能真正引导土地利用规划。

关键词:土地利用/土地覆被变化;驱动力;土地利用变化模拟

土地利用/覆被变化(LUCC)研究于1995年启动。10余年间,LUCC 研究始终是全球变化研究的热点之一,并取得了丰硕的研究成果[1]。除了体现在 LUCC 监测技术、驱动力、生态环境效应和建模研究等不同方面外,LUCC 研究在理论上也取得了非常大的突破。土地利用/覆被变化研究之所以能够取得重大突破,一方面是因为土地利用/覆被变化是引起其他全球变化问题的主要原因,因而在全球环境变化与可持续发展研究中占有重要地位;另一方面是因为地球系统科学、全球环境变化以及可持续发展涉及到自然和人文多方面的问题,而在全球环境变化问题中,土地利用/覆被变化可以说是自然和人文过程交叉最为密切的问题[2]。LUCC 的研究起初是从全球变化研究入手,发展到现在,开始重视典型区的研究;从简单的数量研究发展到空间变化上的研究;从简单的土地利用转换的研究发展到生态足迹、能流与物流的转换研究。总的来看,LUCC 的研究是越来越微观,在此简要回顾一下 LUCC 研究的进展。

土地覆被是指存在于地表的植被(自然的或者是种植的)以及人工建筑,例如水体、冰面、裸露的岩石、沙地都可以认为是具体的一种土地覆被形式[3],土地利用则定义为同时包括改变土地生物物理属性的利用方式和产生这种利用方式的目的[5]。土地利用的形式是多种多样的,耕地、林地、园地等都是土地利用的类型。从土地覆被与土地利用二者的含义来看:土地覆被主要是指自然的地表形态,而土地利用重在突出人类的社会经济活动对土地资源的作用,体现出了土地的使用状况或土地的社会、经济属性;因此土地利用和土地覆被构成了土地的两种属性[2]。通常情况下,土地覆被的变化会影响土地利用决策,土地利用变化则会导致土地覆被变化,再影响到土地利用决策,从而产生新一轮的土地利用变化[4,5]。由于当代的土地覆被变化主要是人类对土地利用影响造成的,所以认识土地利用变化,是了解土地覆被变化的首要条件。

自20世纪90年代以来,全球环境变化研究领域逐渐加强了对土地利用/覆被变化的研究。“国际地圈与生物圈计划”(IGBP)和“全球环境变化人文计划”(IHDP)于1995年共同发起了“土地利用/覆被变化”(LUCC)研究计划,并于1996年提出了5个关于土地利用/覆被问题及3个焦点[6]。5个框架问题是:①过去的300年中人类的活动是如何改变土地覆盖的?②在不同的历史阶段、不同地理单元,土地利用变化的主要人为因素是什么?③在今后50~100年中土地利用变化将如何影响土地覆盖?④直接的人文和生物物理过程是如何影响特定土地利用类型的承载力的?⑤气候和全球生物地球化学作用怎样影响土地利用和土地覆盖?反之又如何?3个焦点是:①土地利用动态变化——典型对比分析研究;②土地覆被动态变化——直接观察和诊断模型;③区域的与全球的模式——综合评价的框架。总的来看,土地利用变化研究主要是理解土地利用变化的原因和结果,同时模拟土地转换的时空类型[7]。

1 土地利用数量变化研究

区域土地利用变化包括土地利用类型的面积变化、空间变化和质量变化[8]。面积变化首先反映在不同类型的总量变化上,通过分析土地利用类型的总量变化,可了解土地利用变化总的态势和土地利用结构的变化[9]。目前土地利用的数量变化指标有:土地利用变化的幅度、土地利用变化的速度和土地变化的区域差异。通过各地类之间的转化,得出土地利用的转化矩阵。

2 驱动力研究

有关 LUCC 驱动力的研究是探索 LUCC 驱动机制的核心问题[10]。Riebsame 认为土地利用变化的预测研究是很艰难的,因为它需要了解土地利用变化的根本性的驱动力[11],而土地利用预测模拟研究的先决条件是要确认最重要的驱动力[12]。纵观国际上土地利用/覆被变化的驱动机制研究,目前主要是通过大量的案例与比较,探讨土地利用/覆被变化的动力学机制[13]。Fu Congbin 认为土地利用/覆被变化的驱动力是:气候变化和人类活动[14],由此可见驱动力研究指标的选取一方面与自然状况有关;另一方面与人类活动有关。因此驱动力通常分为生物物理(bio-physical)和社会经济(socio-economic)两大类。生物物理驱动力包括自然环境的特征和过程,例如气候变化、地形、火山爆发、植物演替、土壤类型和过程、自然资源的有效性等[15];而社会经济驱动力则包括人口变化、贫富状况、技术进步、经济增长、政治经济结构以及价值观念等[6,16,17]。有的时候驱动力与被观察的土地利用变化在空间或时间上相差甚远,经常涉及宏观经济政策的转变和政策的变化,这些都是很难预测的[18]。由于不同区域土地利用的驱动机制存在一定的差异,因此驱动力方面的研究都是以单一的区域为研究对象。AVeldkamp 认为土地利用变化的驱动力因子随着比例尺的不同而发生变化:在农田比例尺的情况下,主要是由社会性的和易近性的驱动因子在起作用;在景观研究尺度内,主要考虑的是地形和农业气候条件;在区域和国家尺度下,气候、人口和宏观经济政策将共同作用[12]。

21 生物物理驱动力

对于区域性的土地利用/覆被变化研究而言,生物物理方面的驱动力对土地变化的影响在一个比较短的时间段内是比较小的,通常也是不显著的。石瑞香的研究表明,自然(气候)因素并未构成样带上近年来土地利用(尤其是耕地)变化的主要驱动力[19],但是并不是没有影响的。邹亚荣在中国农牧交错区土地利用变化的研究中表明,青藏高原的上升是晚新生代北半球气候变化的重要驱动力,引起了我国北方气候的干旱,对我国农牧交错区的形成,特别是对东部草地变化产生了影响[20]。叶宝莹在嫩江中上游地区的土地利用变化研究中选取了高程、坡度作为土地利用变化驱动力的指标,结果表明二者与土地利用变化的线性关系明显[21]。地貌类型也会影响土地利用的变化,草地受地貌条件的影响与控制较耕地小[22];城市的边缘区的土地利用会受到地形的影响,北京城乡过渡区的土地利用变化的发展趋向,在地域上深受西北部山地的阻力作用,可能会形成不对称发展[23]。袁俊在湖北省土地利用变化的研究表明,湖北省土地利用年变化率较低,主要是由特殊的地形限制的[24]。赵庚星认为50年前黄河三角洲地区的土地利用变化主要是受气候因素、风暴潮和黄河改道等自然因素驱动[25]。

22 社会经济驱动力

土地利用是社会的一面镜子[26],土地利用变化能够很好地反映社会经济发展的历程。土地资源条件虽是土地利用结构形成的决定性因素(基础因素),但是对于人类活动而言,这种变化是缓慢的,Elena GIrwin 认为人类活动是引起土地利用变化的一个主要成分[7],因此分析社会经济因素对土地利用变化的作用摆在首要的位置[27]。陈百明认为在社会经济驱动力方面,土地利用变化与人口增长之间有明显的联系,但同时这一变化与技术进步、富裕程度、经济状况,以至文化、宗教、军事等之间也能找到一定的相关关系[28]。并且大部分的案例研究都突出了政策对土地利用变化的重要作用,例如京都草案这一国际性的环境政策将对未来的土地利用变化产生深远的影响[29]。龙花楼研究表明几年或几十年的土地利用变化主要是由人类的社会经济活动影响所导致[30]。袁俊认为城镇人口的迅速增长、第二产业的发展、对土地产品的需求变化和交通条件及政府政策等社会经济驱动力导致了湖北省的土地利用变化[24]。周青在农地利用变化驱动机制的理论分析的基础上,构建了农地利用变化强度的指标体系,在指标体系中特别引入了邻近城市的辐射和耕地保护政策对土地利用变化的影响[31]。陈百明为深入分析和认识耕地占用与 GDP增长的关系,运用了 Decoupling (脱钩)理论,开展我国耕地占用与 GDP 增长的脱钩研究,揭示了我国各类区域耕地占用与 GDP增长的相互关系的典型模式[32]。王秀兰认为随着人口数量的变化,供人类生活、生存所需的耕地资源数量在不断地变化,因而,耕地的生态环境背景质量发生着相应的变化[33]。对于城市土地利用而言,交通条件对土地利用类型的转变起到了内因作用,转化为城镇用地的土地利用类型与距交通干线的距离有一定关系[13]。

3 土地利用变化驱动力模拟

土地利用系统的复杂性需要多学科的分析[34]。AVeldkamp 认为土地利用模型应该代表土地利用系统部分的复杂性;能够检验社会和生态系统结合的稳定性[12]。土地利用变化模拟是为了明确土地利用变化的原因,定量地证明多个因素对某一个因素的关系和影响,不同的模拟方法已经在土地利用变化中得到广泛应用。起初,土地利用变化模拟的研究重在生物物理因子方面的模拟研究,例如海拔、坡度、土壤类型等。后来根据研究的需要,土地利用变化社会经济驱动力方面的数据整合到模型中[35]。但是社会经济指标缺少空间上的简化数据,这样将很难将社会和自然数据结合起来。AVeldkamp 认为生物物理过程的空间单元和行为组织者决策的空间单元是不一样的[12]。

在土地利用变化模拟研究的开始阶段,基本上都是从数量上进行研究,后来由于遥感技术、空间地理信息系统技术的发展,从空间上实现了土地利用变化的模拟。同时研究的方法也有很大的提升,从单一方法的模拟研究发展到多种方法的结合。

31 土地利用变化的数量模拟

土地利用变化的数量模拟是从数量的角度来分析模拟土地利用变化的过程。彭文甫首先利用因子分析的方法,确定了影响土地利用变化的相关因子,然后采用多元线性回归分析的方法,预测了土地利用的变化[36]。王波利用多元相关分析的方法对经济管理体制对土地利用变化进行了模拟,用具体的产值代替了无法量化的经济管理体制[37]。张海龙利用马尔柯夫模型,确定了渭河盆地各土地利用类型之间相互转化的初始转移概率矩阵,从数量上预测了该研究区土地利用变化[38]。虽然马尔柯夫模型在土地利用变化数量研究上表现出较好的应用性,但是由于这种预测是以末期和基期的时间间隔为预测单位,所以只能预测时间间隔整数倍的特定时期的情况,其灵活性和适用性受到限制[39]。由于灰色预报模型克服了统计回归分析方法需要大样本序列的弊端,吴素霞利用该方法预测了石家庄地区未来15年内耕地面积的变化趋势[40]。吴普特采用 BP 神经网络的方法对耕地减少进行了预测,将影响耕地变化的各驱动因子作为神经网络的输入层神经元,将耕地面积作为输出层神经元,经过反复的训练模拟,表明采用 BP 神经网络的方法在预测耕地资源减少量时精度较高,可靠性较好[41]。另外还有利用元胞自动机的方法研究土地利用变化,重在空间上的变化模拟。

32 土地利用变化的空间模拟

土地利用变化的空间模拟主要是从土地利用/覆被在时间序列上的变化过程进行模拟预测,另外还包括从主要的驱动力入手进行空间上的模拟预测。土地利用变化的空间模拟主要是在一些空间变量间建立关系函数,并模拟预测土地利用变化[42]。众多学者在高度集聚尺度下进行土地利用变化的空间简化模型研究,例如单个的景观元胞。同时利用遥感影像获得空间研究数据,使与土地利用变化相关的基本地理单元和环境过程概念化[7]。Kasper Kok提出了土地利用转换及效应(CLUE)模型框架,这是一个合理的少见的空间简化土地利用模型,该模型用来分析复合比例尺条件下的土地利用变化问题[43]。摆万奇利用Logistic逐步回归模型,从空间上确定了主要的驱动因素及其定量关系[10]。叶宝莹在GIS的支持下,利用空间相关分析筛选出影响土地利用变化的主要因子,并利用空间多元线性回归函数求得研究区土地利用程度变化模型[21],目前应用较多的是将多种研究方法综合起来运用。Bryan CPijanowski 将 GIS 和神经网络结合起来研究土地利用转换模型(LTM),从空间上来模拟土地利用变化的复杂过程,这一模型把社会经济、政策和环境等变量作为输入,并建立起了土地利用变化与公路、高速公路、居民点道路、河流、湖岸线之间的空间函数关系[42]。现阶段土地利用变化的模拟主要是针对单一的土地利用类型的变化模拟,例如国际上许多学者利用元胞自动机(Cellular Automata)开展城市增长的模拟研究[44,45,46]。有研究者利用神经网络的元胞自动机来模拟复杂的土地利用,整个模型的结构十分简单,用户不用自己定义转换规则及参数,该模型是在ARC/INFO GRID环境下利用AML宏语言写成[47]。侯西勇运用马尔柯夫的元胞自动机模型模拟研究区2010年土地利用的数量和空间分布,结果比较可信[48]。

4 土地利用模型的精度分析

土地利用模型的精度分析又叫模型的不确定性评价,反映数据输入及模型本身存在的不确定性和产生的结果[49]。模型的不确定性包含输入数据的不确定性和模型结构的不确定,遥感数据的获取会存在不确定性,例如在其纠正时采用的地面控制点的误差是不可能消除的,纠正过的遥感数据或图像产品也始终不能与地面实况完全一致,不同程度上存在着残余误差[50]。同时在影像解译的过程中也会出现适当的误差而产生不确定性。另外在数据转换的过程中,比如矢量到栅格的转换,就会产生新的不确定性。由于模型的结构是基于数学方法,用简化的数学模型来模拟复杂的行为,这也是一种非常重要的不确定性。为了减小不确定性,应该避开矢量—栅格数据的转换过程,同时使用高分辨率的土地利用数据,在模拟分析的过程中,分类型单独预测模拟,然后再综合分析[48]。

为了增强土地利用变化科学的研究,必须从三个方面入手。首先是数据方面的准确性,其次是方法的先进性;再次是理论的新颖性,这三个方面是相互联系的。在土地利用变化研究的过程中,要重点突出决策层思想,在空间上体现人类活动对土地利用变化的影响。要更好地发展土地利用变化的经济模型,这需要比较成熟的空间经济理论作为支撑,这样才能解释移民、雇用增长、政府行为的时空类型,这些都会影响到土地利用变化。利用相关模型分析土地利用的环境影响评价、政府决策和政策形成。同时在土地利用变化研究的过程中,应该注重多种方法的结合,选择精度最优的方法来提高研究成果的可信度与参考性。

参考文献

[1]路云阁,蔡运龙,许月卿走向土地变化科学——土地利用/覆被变化研究的新进展[J]中国土地科学,2006,20 (1):55~61

[2]王秀兰,包玉海土地利用动态变化研究方法探讨[J]地理科学进展,1998,10 (5):51~54

[3]FAOIntegrated approach to the planning and management of land resourcesDraft report of the UNSecretary-General on the implementation of Chapter 10 of Agenda 21 to the Commission on Sustainable Development [R],Roma,1994

[4]于兴修,杨桂山中国土地利用/覆被变化研究[J]地理科学进展,2002,21 (1):51~57

[5]Turner II,BL,WBMeyer etalGlobal land use/land cover change:towards an integrated program of studyAmbio,1994,23 (1):91~95

[6]Land use and land cover change science/resesrch planIGBP Report No35:8

[7]Elena GIrwin,Janqueline GeogheganTheory,data,methods:developing spatially explicit economic models of land use change [J]Agriculture,Ecosystems and Environment,2001,85:7~23

[8]李长荣,邢玉芬,朱健康等高吸水性树脂与肥料相互作用研究[J]北京农业大学学报,1989,15 (2):187~192

[9]李忠锋,王一谋,王建华等基于 RS 与 GIS 的榆林地区土地利用变化分析[J]水土保持学报,2003,17 (2):97~99

[10]摆万奇,阎建忠,张镱锂大渡河上游地区土地利用/土地覆被变化与驱动力分析[J]地理科学进展,2004,23 (1):71~78

[11]Riebsame,WE,Meyer,WBetalModelling land use and cover as part of global environment changeClimChange 28:45~64

[12]AVeldkamp,EFLambinPredicting land-use change [J]Agriculture,Ecosystems and Environment,2001,85:1~6

[13]史培军,陈晋,潘耀忠深圳市土地利用变化机制分析[J]地理学报,2000,55 (1):151~160

[14]Fu Congbin,Ye DuzhengRecent progress on global change research in China [J]Advance in Earth Science,1995,10 (1):62

[15]Briassoulis,HAnalysis of land use change:Theoretical and Modeling Approaches>

[16]Stern,PC,ORYoung etalGlobal environment change:understanding the human dimensionNational Research Council Report,Washington DC,1992

[17]摆万奇,赵士洞土地利用变化驱动力系统研究[J]资源科学,2001,22 (5):21~25

[18]Suzanne Serneels,Eric FProximate causes of land use in Narok District,Kenya:a spatial statistical model [J]Agriculture,Ecosystems and Environment,2001,85:65~81

[19]石瑞香,康幕谊NECT 上农牧交错区耕地变化及其驱动力分析[J]北京师范大学学报,2000,36 (5):700~705

[20]邹亚荣,张增祥,周全斌中国农牧交错区土地利用变化空间格局与驱动力分析[J]自然资源学报,2003,18 (2):222~227

[21]叶宝莹,黄方,刘湘南等土地利用/覆被变化的驱动力模型研究——以嫩江中上游地区为例[J]东北师大学报自然科学版,2002,34 (1):100~104

[22]邓祥征,战金艳中国北方农牧交错带土地利用变化驱动力的尺度效应分析[J]地理与地理科学信息,2004,20 (3):64~68

[23]王静爱,何春阳北京城乡过渡区土地利用变化驱动力分析[J]地球科学进展,2002,17 (2):201~208

[24]袁俊湖北省土地利用变化及其驱动力分析[J]国土与自然资源研究,2003,(4):33~35

[25]赵庚星,李静,范瑞彬黄河三角洲土地利用及土地覆盖变化驱动力分析[J]西北农林科技大学学报,2003,31 (3):117~122

[26]TuanYFGeography,phenomenology and the study of human nature [J]The Canadian Geographer,1971,15:181~192

[27]张惠远,赵昕奕喀斯特山区利用变化的人类驱动机制研究[J]地理研究,1999,18 (2):136~146

[28]陈百明试论中国土地利用和土地覆被变化及其人类驱动力研究[J]自然资源,1997,(2):31~36

[29]Lambin,EFOur emerging understanding of the causes of land use and cover changeGlobal EnvironChange,in press

[30]龙花楼,王文杰,翟刚等安徽省土地利用变化及其驱动力分析[J]长江流域资源与环境,2002,11 (6):526~530

[31]周青,黄贤金,濮励杰区域农地利用强度及其驱动机制研究[J]长江流域资源与环境,2003,12 (6):535~540

[32]陈百明,杜红亮耕地占用与GDP增长的Decoupling研究[J]中国土地资源战略与区域协调发展研究论文集,2006,7~13

[33]王秀兰土地利用/土地覆盖变化中的人口因素分析[J]资源科学,2000,22 (3):39~42

[34]Clayton,AMH,Radcliffe,NJSustainability:A Systems Approach1996,Earthcan,London

[35]Turner II,BL,WBMeyer etalLand use and land cover changeScience/Research PlanStockholm and Geneva:IGBP Report No35,1995

[36]彭文甫,周介铭近50年四川省耕地变化分析[J]资源科学,2005,27 (3):79~85

[37]王波,唐志刚,濮励杰等区域土地利用动态变化及人为驱动力初步研究[J]土壤,2001,(2):86~91

[38]张海龙,蒋建军,解修平等基于 GIS 与马尔柯夫模型的渭河盆地景观动态变化研究[J]干旱区资源与环境,2005,19 (7):119~124

[39]陈浮,濮励杰,彭补拙等新疆库尔勒市土地利用变化对土壤性状的影响研究[J]生态学报,2001,21 (8):1290~1295

[40]吴素霞,毛任钊,李红军石家庄地区耕地与人口数量变化动态及其预测[J]干旱地区农业研究,2005,23 (3):8~12

[41]吴普特,员学锋,汪有科BP 神经网络在耕地减少预测中的应用研究[J]中国农业资源与区划,2005,26 (4):39~41

[42]Bryan CPijanowski,Daniel GBrown,Bradley AShellito etalUsing neural networks and GIS to forecastland use changes:a Land Transformation Model [J]Computers,nvironment and Urban Systems,2001,inpress

[43]Kasper Kok,Andrew Farrow,AVeldkamp etalA method and application of multi-scale validation in spatialland use models [J]Agriculture,Ecosystems and Environment,2001,85:223~238

[44]Batty M,Xie YFrom cells to cities [J]Environment and Planning,1994,21:531~548

[45]White R,Engelen G,Uijee IThe use of constrained cellular automato for high-resolution modeling of urbanland use dynamics [J]Environment and Planning,1998,25:323~343

[46]Wu F,Webster C JSimulation of land development through the integration of cellular automata and multicriteria evaluationEnvironment and Planning,1998,25:103~126

[47]黎夏,叶嘉安基于神经网络的元胞自动机及模拟复杂土地利用系统[J]地理研究,2005,24 (1):19~27

[48]侯西勇,常斌,于信芳基于 CA-Markov 的河西走廊土地利用变化研究[J]农业工程学报,2004,20 (5):286~291

[49]LuijtenJCA tool for community-based water resources management in hillside watershreds [A]University of Florida,Gainesville,FL,1999

[50]毕继成,郭华东,史文中等遥感数据的不确定性问题[M]北京:科学出版社,2004

也是交通管理专业的,当时也是莫‘文网的老师帮助的,专业的说,多写小众点的题目吧
橡胶胶乳改性乳化沥青稀浆封层在公路工程中的应用
设施园艺在旅游观光农业中的规划设计及其应用
厦门港及附近水域船舶交通安全评价
影响海上交通安全的人为因素分析与评价
采用减震装置连续梁的振动台试验研究
船舶交通管理系统的费用效益分析
在我国基础设施领域发展BOT有关问题的研究
河北省公路网现状分析与规划
康熙时期黄淮水灾及其救治措施
沿河公路路基冲刷理论及防护
车辆GPS网络管理系统总体设计及GIS终端定位监测功能的实现
高速铁路路基填料改良技术的研究
基于最优搜索算法的自动航线生成
汽车客运站布局规划
库岸边坡地下水渗流特征及其成灾规律的研究-贡川滑坡地下水渗流模拟和稳定性分析
基于ASP的数据库托管服务应用
岩质地基中的化学灌浆及其效果检测
Gps/电子地图车辆导航系统研究
论现代远程教育在欠发达地区教师继续教育中的作用
福地湖旅游区生态环境系统分析
钢纤维混凝土弯曲疲劳及其损伤特性和细观强度
电力系统日有功优化调度的工程化方法与软件
钢纤维混凝土路面板结构的温度应力及其在冲击载荷作用下的动力响应
重载交通沥青路面结构设计的理论与工程应用
农业生态恢复决策的系统分析模型研究
重载道路路面设计方法研究
试论我国当前社会转型中的信任缺失与信任重建
高速公路规划建设中的选线研究
机械制造工艺资源分布式信息管理系统研究
组件式地理信息系统(Com GIS)的应用研究和设计
试论城市内部空间结构合理化以武汉市为例
我国海上救助需求分析与救助力量供给评价
深圳市坪西公路工程投资的效益分析及实施策略
协同设计中可靠多播技术的研究与实现
饲料加工工业企业发展战略的研究
基于TMS320VC5402的汽车防撞警示雷达研究
Fe-13Cr-2Al-Si阻尼合金的焊接性和475℃脆性研究
铁路区段光纤综合通信系统网络管理
公路工程投标计算机辅助管理专家系统
交通网络平衡配流问题的研究

给一个Streaming的Data,未知长度,要求在Streaming结束后返回N个Data,且是等概率的。在听到这个问题的时候简直惊呆了。如果Streaming长度已知为L,当然对于每一个Data,我生成一个N/L的概率即可。但是长度未知,也即概率未知,怎么可能在Data来的时候判断要不要保留这个Data,还能保证是等概率的……百思不得其解。事后一番研究,才发现了这类算法,算法之简单令人惊叹:首先保留前N个Data,对于后面来的Data以N/i的概率选择是否保留,i为当前Data序号,保留的话在原来保留的N的Data中随机剔除一个。最后返回这N的即可。证明也很容易,奇妙得地方在于在计算概率的时候,出现了很长的,可以前后上下不断约掉的分式。相互约去之后剩下的概率刚好是N/L,L为总长度。简直美妙极了!显然这类算法也非常有用,因为在实际问题中会出现大量需要在Streaming的数据中进行Sample,为下一步处理数据做准备的情形。而这竟然有一个O(L)的算法,真是太惊艳了!


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/10554051.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-09
下一篇 2023-05-09

发表评论

登录后才能评论

评论列表(0条)

保存