大數(shù)據(jù)時(shí)代對(duì)地觀測(cè)衛(wèi)星的發(fā)展現(xiàn)狀與趨勢(shì)論文
一、前言
對(duì)地觀測(cè)是人類利用衛(wèi)星、飛船、航天飛機(jī)、飛機(jī)以及近空間飛行器等空間平臺(tái)和地面、地下的各種傳感器設(shè)備獲取觀測(cè)數(shù)據(jù),結(jié)合各個(gè)學(xué)科的專業(yè)知識(shí),對(duì)地面物體和地理過(guò)程進(jìn)行監(jiān)測(cè)和預(yù)測(cè)的科學(xué)活動(dòng),其目的是更加深刻和科學(xué)地揭示人類社會(huì)活動(dòng)所依賴的地球環(huán)境和人地環(huán)境的規(guī)律和變化,增強(qiáng)人類對(duì)地球的利用和適應(yīng)能力。對(duì)地觀測(cè)研究工作具有非常明顯的信息學(xué)特征。因此,除了地球科學(xué)方法論外,信息科學(xué)方法論也對(duì)對(duì)地觀測(cè)科學(xué)活動(dòng)有非常重要的指導(dǎo)意義。對(duì)地觀測(cè)研究很大程度上是圍繞著“信號(hào)—數(shù)據(jù)—信息—知識(shí)”的數(shù)字化信息過(guò)程來(lái)展開的,并構(gòu)成了“信息獲取—信息傳輸—信息存儲(chǔ)—信息加工—信息挖掘—信息呈現(xiàn)”的數(shù)據(jù)全生命周期。
從信息科學(xué)的角度來(lái)看,對(duì)地觀測(cè)領(lǐng)域知識(shí)發(fā)現(xiàn)的方法主要是確定模型分析方法。在遙感技術(shù)的發(fā)展初期,觀測(cè)數(shù)據(jù)量較小,用于數(shù)據(jù)挖掘分析的理論和模型也不夠成熟,因此更多是依靠專業(yè)人員的目視判讀進(jìn)行信息解譯和勾繪制圖,然后再利用其他學(xué)科的知識(shí)對(duì)獲得的信息進(jìn)行修正。這種方法顯然不能滿足日益增大的觀測(cè)數(shù)據(jù)量和日益復(fù)雜的應(yīng)用模式需求。在數(shù)據(jù)量不斷增大、信息提取精度不斷提高的情況下,依賴于計(jì)算機(jī)處理的數(shù)據(jù)分析新模式出現(xiàn)了。遙感信息反演的定量化成為對(duì)地觀測(cè)信息深度應(yīng)用的趨勢(shì),這種能力也隨著計(jì)算機(jī)處理能力的提升不斷提高,逐步滿足了 MB(220 字節(jié))、GB(230 字節(jié))、TB(240字節(jié))甚至部分 PB(250 字節(jié))量級(jí)的數(shù)據(jù)分析和信息挖掘工作,從應(yīng)用上解決了較大地理尺度上的復(fù)雜地學(xué)問(wèn)題。提升計(jì)算機(jī)的處理速度和存儲(chǔ)設(shè)備的規(guī)模已經(jīng)成為解決觀測(cè)數(shù)據(jù)量增大和信息模型復(fù)雜化所帶來(lái)的問(wèn)題的一個(gè)很好的途徑。進(jìn)入 21 世紀(jì)以后,對(duì)地觀測(cè)技術(shù)又呈現(xiàn)出很多新的發(fā)展趨勢(shì),其中大數(shù)據(jù)的出現(xiàn)給對(duì)地觀測(cè)的研究帶來(lái)了全新的挑戰(zhàn)和發(fā)展機(jī)遇。近年來(lái),隨著對(duì)地觀測(cè)需求的增加和技術(shù)的進(jìn)步,各種類型傳感器獲取數(shù)據(jù)的能力不斷提高,使得國(guó)內(nèi)外以專業(yè)化、行業(yè)化為特征的各類數(shù)據(jù)中心迅速崛起,對(duì)地觀測(cè)領(lǐng)域成為數(shù)據(jù)密集型計(jì)算的一個(gè)典型應(yīng)用。整個(gè)對(duì)地觀測(cè)系統(tǒng)流程突出體現(xiàn)了“需求牽引—知識(shí)驅(qū)動(dòng)”的概念和原則,形成了以社會(huì)需求為先導(dǎo)來(lái)發(fā)展對(duì)地觀測(cè)衛(wèi)星、傳感器、平臺(tái)、數(shù)據(jù)傳輸、信息處理、應(yīng)用模型及相應(yīng)科學(xué)理論的發(fā)展模式。
二、對(duì)地觀測(cè)領(lǐng)域的大數(shù)據(jù)現(xiàn)象
在對(duì)地觀測(cè)領(lǐng)域,各類分辨率的衛(wèi)星產(chǎn)生的遙感信息無(wú)疑屬于大數(shù)據(jù)。以我國(guó)遙感衛(wèi)星為例,2008 年發(fā)射的風(fēng)云三號(hào) A 星搭載著 20 通道的中分辨率光譜成像儀和 10 通道的可見光近紅外掃描輻射計(jì),實(shí)現(xiàn)了對(duì)整個(gè)地球進(jìn)行連續(xù)觀測(cè),隨后與 2010 年和 2013 年發(fā)射的風(fēng)云三號(hào) B 星和 C 星組網(wǎng),對(duì)地球開展每天 6 次的觀測(cè)。衛(wèi)星觀測(cè)數(shù)據(jù)切割成 5 分鐘段的數(shù)據(jù)文件,又將 250m 和 1000m 中分辨率光譜成像儀的數(shù)據(jù)分別存放,每天產(chǎn)生的數(shù)據(jù)文件和數(shù)據(jù)量均非常巨大。要管理、處理和分發(fā)這些全球數(shù)據(jù)需要運(yùn)用“大數(shù)據(jù)”的方式,而且需要大量的數(shù)據(jù)科學(xué)家開展基礎(chǔ)研究工作,研究算法,從數(shù)據(jù)中實(shí)時(shí)提取地球參數(shù)信息,進(jìn)而為科研、業(yè)務(wù)的數(shù)據(jù)信息需求服務(wù)。這一事實(shí)充分說(shuō)明了從海量遙感數(shù)據(jù)的獲取、存儲(chǔ)、提取與分發(fā)、數(shù)值處理,到數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn),對(duì)地觀測(cè)活動(dòng)的整個(gè)生命周期體現(xiàn)了大數(shù)據(jù)的“4V”特性:數(shù)據(jù)體量大 (volume)、數(shù)據(jù)來(lái)源和類型繁多(variety)、數(shù)據(jù)的真實(shí)性難以保證(veracity)、數(shù)據(jù)增加和變化的速度快(velocity)。
國(guó)際上,美國(guó)和歐洲處理和分發(fā)中分辨率數(shù)據(jù)較中國(guó)稍早幾年,美國(guó)處理 MODIS 數(shù)據(jù)和產(chǎn)品的方式、歐洲處理 ENVISAT/MERIS 數(shù)據(jù)和產(chǎn)品的方式可為我們借鑒。由于美國(guó)沒(méi)有 MODIS 的后續(xù)衛(wèi)星計(jì)劃,數(shù)據(jù)的供給將隨著傳感器的失效而終止。歐洲的 ENVISAT/MERIS 于 2012 年失效,只能提供 2002-2012 年間的數(shù)據(jù)。中國(guó)風(fēng)云氣象衛(wèi)星規(guī)劃已持續(xù)到 2020 年,因而,在未來(lái)幾年,中國(guó)的風(fēng)云衛(wèi)星中分辨率遙感數(shù)據(jù)在國(guó)際上將是重要的數(shù)據(jù)源,向全球用戶提供優(yōu)質(zhì)的數(shù)據(jù)和產(chǎn)品,將是中國(guó)數(shù)據(jù)科學(xué)家肩上的重任。
1. 觀測(cè)平臺(tái)和傳感器的數(shù)據(jù)獲取
遙感數(shù)據(jù)獲取是由載有成像傳感器的遙感飛行平臺(tái)來(lái)完成的。遙感飛行平臺(tái)的發(fā)展體現(xiàn)在:①先進(jìn)的衛(wèi)星對(duì)地觀測(cè)系統(tǒng),包括大型的綜合衛(wèi)星平臺(tái)與小衛(wèi)星星座;②先進(jìn)的集成高—中—低空飛行作業(yè)的航空遙感平臺(tái);③全面一體化的對(duì)地觀測(cè)綜合系統(tǒng)。未來(lái)的傳感器搭載平臺(tái)將是由相輔相成的高中低軌道上的大小衛(wèi)星平臺(tái)和高中低航空平臺(tái)組成的,天地一體化、全球性、立體和多維的觀測(cè)體系。與此同時(shí),對(duì)地觀測(cè)傳感器的數(shù)據(jù)獲取能力將向著“三高”(高空間分辨率、高光譜分辨率和高時(shí)相分辨率)和全天候方向發(fā)展。遙感平臺(tái)和傳感器的技術(shù)進(jìn)步使得獲取的數(shù)據(jù)量大幅度增大。比如剛剛退役的 Landsat -5 衛(wèi)星在其29 年的在軌工作期間,平均每年獲取 8.6 萬(wàn)景影像,每天獲取 67GB 的觀測(cè)數(shù)據(jù)。而 2012 年發(fā)射的資源 3 號(hào)衛(wèi)星,每天的觀測(cè)數(shù)據(jù)獲取量可以達(dá)到 10TB 以上。類似的傳感器現(xiàn)在已經(jīng)大量部署在衛(wèi)星、飛機(jī)等飛行平臺(tái)上,未來(lái) 10 年全球天、空、地空間中部署的百萬(wàn)計(jì)傳感器每天獲取的觀測(cè)數(shù)據(jù)將超過(guò) 10PB。
2.天- 空- 地一體化的對(duì)地觀測(cè)數(shù)據(jù)網(wǎng)絡(luò)傳輸
巨大的觀測(cè)能力需要通過(guò)覆蓋天-空-地的高速數(shù)據(jù)傳輸網(wǎng)來(lái)實(shí)現(xiàn)對(duì)地觀測(cè)平臺(tái)和全球地面接收站網(wǎng)絡(luò)之間的數(shù)據(jù)傳遞。這種傳輸能力要通過(guò)一個(gè)由光纜、地面微波、蜂窩移動(dòng)通信和低、中以及靜止軌道的衛(wèi)星通信系統(tǒng)組成的、服務(wù)于全球的、無(wú)縫隙覆蓋的、全球一體化的高速天-空-地對(duì)地觀測(cè)數(shù)據(jù)傳輸網(wǎng)絡(luò)實(shí)現(xiàn)。現(xiàn)在,單個(gè)傳感器的信號(hào)下傳速率已經(jīng)突破了 Gbit/s。
3. 海量數(shù)據(jù)的快速處理
標(biāo)準(zhǔn)遙感產(chǎn)品的快速生成需要高吞吐量、高精度及自動(dòng)化的分布式數(shù)據(jù)處理能力,以滿足規(guī)模化、業(yè)務(wù)化的標(biāo)準(zhǔn)產(chǎn)品生產(chǎn)的要求。標(biāo)準(zhǔn)產(chǎn)品快速處理的突出特點(diǎn)是即時(shí)性和大吞吐量,兼有數(shù)據(jù)密集、計(jì)算密集的性質(zhì)。海量遙感數(shù)據(jù)的處理需要利用龐大的網(wǎng)絡(luò)計(jì)算資源,通過(guò)并行計(jì)算、分布式處理以及集群計(jì)算技術(shù)來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)化大數(shù)據(jù)量處理及多機(jī)分布式并行處理,以滿足應(yīng)用的需求。我們可以利用網(wǎng)格技術(shù)把分散在不同地理位置的計(jì)算機(jī)組織成一個(gè)“虛擬的超級(jí)計(jì)算機(jī)”,來(lái)提供高性能和高吞吐量的計(jì)算環(huán)境,為完成計(jì)算密集型任務(wù)提供有力的手段;同時(shí)充分利用網(wǎng)絡(luò)上多種閑置計(jì)算設(shè)備的處理能力,完成傳統(tǒng)計(jì)算模式下不能完成的各種大數(shù)據(jù)量的計(jì)算任務(wù),從而保證標(biāo)準(zhǔn)產(chǎn)品的快速處理和生成。
4. 下一代空間數(shù)據(jù)設(shè)施
下一代空間數(shù)據(jù)設(shè)施建設(shè)將以全球尺度問(wèn)題求解和多樣化實(shí)體數(shù)據(jù)設(shè)施建設(shè)為前提,基于傳統(tǒng)空間數(shù)據(jù)設(shè)施和聯(lián)邦數(shù)據(jù)設(shè)施,通過(guò)松耦合形式建立一種非中心化、虛擬化、按需服務(wù)化和全球化的數(shù)據(jù)服務(wù)體系。分布在世界各地的各種對(duì)地觀測(cè)數(shù)據(jù)中心,將在下一代空間數(shù)據(jù)設(shè)施的連接下,面向特定專題,與高性能的信息化設(shè)施結(jié)合,動(dòng)態(tài)形成大量專業(yè)化的虛擬數(shù)據(jù)設(shè)施。這些設(shè)施不僅可以匯聚和提供超大規(guī)模的數(shù)據(jù),還具備對(duì)數(shù)據(jù)進(jìn)行深度加工和挖掘的計(jì)算能力。地球觀測(cè)組織(GEO)所推動(dòng)建立的全球綜合地球觀測(cè)系統(tǒng)(GEOSS)就是一種下一代空間數(shù)據(jù)設(shè)施,這種設(shè)施管理和處理的都是超大規(guī)模的對(duì)地觀測(cè)數(shù)據(jù)和空間數(shù)據(jù)。
5. 數(shù)字地球與未來(lái)地球
作為和對(duì)地觀測(cè)銜接的科學(xué)框架,數(shù)字地球是一個(gè)廣泛的以信息高速公路和空間基礎(chǔ)設(shè)施為依托的概念,其核心思想是用數(shù)字化手段整體性解決地球的各種科學(xué)問(wèn)題,并最大限度地利用信息資源。未來(lái)的數(shù)字地球不再局限于進(jìn)行地學(xué)數(shù)據(jù)的表達(dá)和呈現(xiàn),而將成為一種對(duì)地球的各種學(xué)科的數(shù)據(jù)和模型進(jìn)行綜合分析的平臺(tái)。同時(shí),由國(guó)際科學(xué)理事會(huì)(ICSU)和國(guó)際社會(huì)科學(xué)理事會(huì)(ISSC) 共同發(fā)起的“未來(lái)地球”計(jì)劃將多學(xué)科交叉研究推向更加重要的位置。不論數(shù)字地球還是未來(lái)地球,其多學(xué)科的高度數(shù)據(jù)復(fù)雜性是非常顯著的信息特征。和常規(guī)的單學(xué)科研究不同,在這種綜合研究場(chǎng)景中,信息技術(shù)要面對(duì)的是多學(xué)科復(fù)雜數(shù)據(jù)類型之間的數(shù)據(jù)建模、數(shù)據(jù)發(fā)現(xiàn)和數(shù)據(jù)整合問(wèn)題。
本文來(lái)源:http://www.nvnqwx.com/shiyongwen/2471586.htm