国产精品尤物福利片在线观看_少妇免费毛片久久久久久久久_久久久久成人精品免费播放动漫_日韩av综合在线观看

歡迎來到010在線作文網!

海量圖片快速去重技術論文

實用文 時間:2021-08-31 手機版

  針對海量圖片中的去除重復圖片效率低的問題,提出一種基于圖片特征的并行化海量圖片快速去重技術。首先,對圖片提取圖片顏色、紋理、形狀等特征,用來全面描述圖片;其次,使用度量標準對圖片之間的特征距離進行度量計算;最后,利用如果兩個點到任意一點距離相等則這兩點有可能是同一個點的思想實現根據特征距離對重復圖片的快速定位,達到重復圖片檢測與去重的目的。結合實驗計算機網絡數據分析驗證該技術不僅能夠準確地去重圖片,且采用i5四核處理器的單機計算方式僅10min左右即可處理500萬級圖片量,與一般的兩兩計算相比,提高了海量圖片去重的時效性,使得計算時間大幅度縮短。

海量圖片快速去重技術論文

  0引言

  隨著數據的指數級增長,企業面臨的快速備份和恢復的時間點越來越多,管理保存數據的成本及數據中心空間和能耗也變得越來越嚴重。研究發現,應用系統所保存的數據中高達60%是冗余的,縮減數據占用空間,降低成本,重復數據刪除技術此句不太通順,請作相應調整。已成為一個熱門的研究課題。所以,重復數據刪除技術就成為了縮減數據占用空間及降低成本的重要手段之一。目前重復數據刪除技術主要包含相同數據檢測及相似數據檢測兩大類,其中相同數據檢測[1-3]的方法主要有完全文件檢測技術、固定分塊檢測等,這些檢測方法主要通過hash技術進行數據挖掘;相似數據檢測利用數據自身的相似性特點,通過shingle技術[4]、bloom filter技術[5]及模式匹配技術[6-7]等挖掘出重復數據。這些技術使得共享數據塊的文件之間產生了依賴性,降低了系統的可靠性;同時因為數據檢測對比等過程導致大量的計算開銷,對系統的性能影響也很大。因此,為了提高檢測速度,降低對系統的性能影響,很多學者提出了并行化處理方式[8-10]。

  由于圖片文件的數據量大且不易修改的特性由于圖片文件的數據量大其不易修改的特性,若采用文件級去重則計算開銷大,效率較低,而塊級則容易導致圖片讀取不完整、刪除錯誤、恢復圖片困難等問題,在海量圖片的情況下這些問題將更加突出。針對上述問題,文獻[11]提出一種針對海量圖片文件存儲去重技術的方法,利用MD5(MessageDigest Algorithm 5)特性在圖片文件上傳存儲過程中實現去重取得了較好的效果。本文則針對已存儲的海量圖片,提出一種并行化快速去重算法:主要提取圖片本身具有的數據特征,根據特征進行重復檢測,實現海量圖片去重處理,其時間復雜度為Ο(n2)。進一步,為了降低算法時間復雜度,本文針對該算法進行改進,將時間復雜度降低為Ο(n log n),實現了海量圖片的快速去重。

  1.1顏色特征提取方法

  顏色是圖像最直觀的特征,也是圖像視覺重要的感知特征之一。HSV(Hue, Saturation, Value)顏色模型由色度H、飽和度S、亮度V三個分量組成,和人的視覺特性比較接近,所以選擇在HSV空間提取顏色特征.為減少高維數特征對計算帶來的不便,進行如下量化[12]:

  再按式L=7H+3S+1V轉化成一維特征量。傳統顏色直方圖只是每種顏色的量的統計,忽略了圖像中每種顏色的分布方式。文獻[12]提出一種環形區域劃分的思想,將圖片空間劃分成M個同心圓環及外圍區域,以(C,D)為圖片幾何中心,中心圓半徑為R=[min(A,B)]/(2M),其中(A,B)為圖片邊長,其他圓形半徑為MR,其中取M=2。本文同樣選擇M=2,將圖片區域被劃分為中心圓、圓環和外部3個區域。這樣既能夠不增加特征向量的維數和計算成本,同時與傳統顏色直方圖相比顏色空間分布信息得到充分利用。所以提取累加直方圖作為顏色特征,每個區域提取58個,共提取174個顏色特征。

  1.2紋理特征及形狀特征提取方法

  小波分析往往具有多尺度以及多方向性的特點,已經被廣泛應用到圖像紋理特征提取及形狀特征提取方面的應用[13-14]。本文首先采用Mallat小波分解,得到分解層上的高頻子帶圖像能量和低頻子帶上灰度共生矩陣統計量作為紋理特征特征向量;同時得到分解層上的高頻子帶圖像均值、標準差和低頻子帶圖像Hu不變矩的10個相對矩作為形狀特征向量。Mallat在多分辨率分析中采用了離散框架小波變換。多次小波分解的分解系數是一組有關離散高通濾波U(n)和低通濾波G(n)的遞推關系式,其計算方式如式(4)和(5)所示:

  特征提取過程如下:

  1)根據Mallat分解方法,對圖片進行4個子帶的分解。

  2)繼續對低頻子圖像進行小波變換,得到更多級別的分解子圖像。第i級別j子帶的能量表示為:

  ENij=1n∑nk=1Cij(k)2(7)

  其中:Cij(k)為該子帶上的小波系數;n是j子帶的小波的系數個數,將能量作為特征矩陣的元素構造特征向量。

  3)繼續對低頻子圖像進行小波變換,對每層低頻子圖像計算Hu不變矩的10個相對矩[14]:

  4)在低頻子帶上依次按照0°、45°、90°和135°方向構造灰度共生矩陣[13],然后分別計算熵Entropyj、二階矩ASMj、逆差矩DMj、對比度conj、相關系數corj作為特征參數,其中j=1,2,3,4,再結合之前計算出的各層子帶的能量ENj成為紋理特征向量如下:

  Wi=[ENi.j.k,Entropyi.j.k,ASMi.j.k,DMi.j.k,coni.j.k,cori.j.k]

  其中k表示分解層數。

  1.3度量方法

  1.3.1顏色特征的距離度量

  本文顏色特征的距離度量采用歐氏距離法,公式如式(9)所示:

  其中:xi,xj(i≠j)為圖片集中任意兩幅圖像;Eyk 、Ehk 、Ewk 分別為圖片區域的圓心、圓環和外部區域所提取的特征;k是特征分量;N為特征數目;ay,ah,aw為各區域的權重,對于一般圖片而言,圖片的中心區域信息量多,而圓環部分和外部區域的信息量較少,所以本文分別取0.5,0.3,0.2代表各區域的重要程度。

  1.3.2紋理特征和形狀特征的距離度量

  2并行化圖片去重算法

  2.1并行化圖片去重算法

  1)本文主要使用圖片固有特征實現達到圖片去重的目的,所以首先對圖片集{xi}提取上述特征值,設圖片集{xi}大小為n,將其分配給T個計算單元進行處理,則時間縮短至n/T,本文中實驗取T=4。

  2)對任意圖片xi,xj(i≠j)計算距離D(xi,xj),由于重復圖片所在位置具有任意性,若要找出所有重復圖片則需要遍歷整個圖片集,計算量n2,采用并行計算則計算量為n2/T。

  3)遍歷相似度距離D(xi,xj),查找其中距離為0。若為0,則說明其為相同圖片,標記并且刪除后一張圖片,僅保留前一張。

  2.2實驗結果

  由于如果圖片為重復圖片則提取特征值相等,則距離必然為0,故本文主要使用運行時間作為衡量該算法的重要指標,使用Matlab軟件編程實現對上述算法進行評價(注:以下時間均不包含圖片特征的采集時間)。

  本次實驗選取1000及5000張圖片進行處理,運行時間如表1所示。

  按照上述算法進行5000張圖片去重時,處理時間就達到22min。如果按照上述算法對萬級、十萬級甚至百萬級圖片處理時程序運行時間不可估量,本文對上述算法進行改進。

  3改進算法及實驗結果

  3.1算法改進

  針對上述算法主要影響運行時間的是在去重過程要遍歷整個圖片集,計算量為n2,即便采用并行處理方式,對最終結果的影響終究有限。針對此問題,本文對第2章中的算法進行改進,從圖片集中任取一張圖片x0,如果存在圖片{xi,xj}(i≠j)使得D(x0,xi)=D(x0,xj),則{xi,xj}(i≠j)有可能為重復圖片,需要進一步判斷D(xi,xj)是否為0;若不為0,則{xi,xj}(i≠j)不是重復圖片。利用這樣處理方式,在距離計算過程中計算量為n;同時在計算過程中采用并行處理,最終計算量減小為n/T,相比n2的計算量大大減小。

  改進算法具體步驟如下:

  1)對圖片集提取特征值,設圖片集大小為n,將其分配給T個計算單元進行處理,則時間縮短至n/T,本文中實驗取T=4。

  2)從圖片集中任取一張圖片x0,分別與其圖片集中其他圖片進行距離計算,在計算過程中采用并行處理,計算量縮短為n/T。

  3)對2)中計算得到的距離D(x0,xi)進行由小到大排序,得到排序后的距離D*i(i=1,2,…,n)。本文采用快速排序法。

  4)遍歷距離D*(x0,xi),查找其中相同的距離。由于在3)中已經對距離進行由小到大的排序,故每次只需要判斷D*i+1是否與D*i相同,若D*i+1與D*i相同則進行第5)步,比較完畢后繼續遍歷剩下的距離,若遍歷完成且沒有相同距離則停止。

  5)設{xi,xj}(i≠j)使得D(x0,xi)=D(x0,xj),則計算D(xi,xj)之間的距離,若為0,則說明其為相同圖片,標記并且刪除xj,保留xi;若大于0,則說明{xi,xj}對x0在特征上的相似程度一致,但并非相同圖片,兩張同時保留。

  3.2查找重復圖片的改進算法與第2章原算法運行時間的對比

  如果圖片量太大,第2章中對重復圖片查找算法的計算量會急劇上升,導致運行時間過長,故本次選用300,600及900張圖片分別用改進方法和第2章中方法進行重復圖片的查找,對查找時間進行對比,如表2所示。

  由表2中數據可知,采用遍歷圖片集查找重復圖片的方式運算時間高于改進運算的10倍以上。同時改進運算在圖片數量增加時運算時間增長并不明顯,增長幅度僅在百分位,說明改進算法在海量圖片去重上是有效的。

  3.3改進算法在不同數量級與不同重復率時間對比

  分別使用萬級(1萬)、十萬級(10萬)、百萬級(100萬和500萬)級圖片量進行測試;同時每種量級的重復圖片分別占總數的30%、60%及90%,結果如表3所示。

  由表3中數據可知:1)由萬級到10萬級運行時間增長在兩倍左右,而10萬級到100萬級甚至500萬級時按照本文圖片量呈現線性關系,運行時間增長分別在10倍及50倍左右,這是由于處理數據大量增長,而實驗用機在運行速度和處理能力上有限,導致在100萬張及500萬張圖片的距離、比較等運算時處理能力不足,所以運行時間會呈現出與圖片量增長倍數相同的情況,故適當提高硬件處理能力可以減少運行時間;2)由每種數量級不同重復率下的運行時間來看,隨著重復率的升高運行時間略有下降,此情況出現是由于排序算法導致,重復圖片越多,相同距離也就越多,故排序時間也就越短,所以在大數據量時選用合適的排序算法也是影響運行時間的重要因素。

  綜上所述,本文在改進算法中,從圖片集中任取一張圖片x0,分別與其圖片集中其他圖片進行距離的計算的方式相比遍歷圖片集計算距離的方式在運行時間效率此處是否應該是“運行效率”,時間上應該是減少,而不是提高吧?請明確。上提高10倍以上;同時針對不同重復率下不同數量級進行了測試,發現查詢500萬數量級中重復圖片時運算時間也僅需10min左右,去重效率大幅度提高。故本文提出的算法為大數據量的圖片快速去重工作提供了有效支撐。

  4結語

  面對目前數據的指數級增長,海量數據重復刪除技術的研究在解決數據存儲空間消耗大、數據備份及恢復成本高等方面具有重要的意義。本文利用圖片固有屬性特征,提出了一種海量圖片快速并行化去重算法,使用該算法能夠快速準確地對圖片進行去重。實驗結果表明,10min左右即可處理完500萬圖片集的去重工作,這為海量圖片的去重處理提供了新的思路。同時,實驗發現在大數據量時,對距離進行排序的時間對整個去重過程有一定的影響,排序時間越短,整個去重的時間也就越短,所以如何縮短排序時間作為本文將是該快速去重技術進一步的研究方向。


本文來源http://www.nvnqwx.com/shiyongwen/1644664.htm
以上內容來自互聯網,請自行判斷內容的正確性。若本站收錄的信息無意侵犯了貴司版權,請給我們來信(zaixianzuowenhezi@gmail.com),我們會及時處理和回復,謝謝.
国产精品尤物福利片在线观看_少妇免费毛片久久久久久久久_久久久久成人精品免费播放动漫_日韩av综合在线观看
精品国产欧美一区二区三区成人| 97精品久久久| 亚洲精品一品区二品区三品区| 国产精品成人久久电影| 日韩日本欧美亚洲| 色偷偷av亚洲男人的天堂| 久久久久久99| 久久久最新网址| 久久免费福利视频| 久久精品一区二区三区不卡免费视频 | 日本一区网站| 亚洲精品久久区二区三区蜜桃臀| 综合一区中文字幕| 亚洲狠狠婷婷综合久久久| 亚洲**2019国产| 日本国产在线播放| 欧美日韩一区二区三区电影| 欧美 日韩 激情| 国产色视频一区| 苍井空浴缸大战猛男120分钟| 99久久免费国| 国产va亚洲va在线va| 日韩在线观看网址| 久久精品国产99国产精品澳门| 国产精品美腿一区在线看| 另类专区欧美制服同性| 久久久久久成人| 亚洲mm色国产网站| 欧美一性一乱一交一视频| 精品一区日韩成人| 99热一区二区三区| 久久久久久欧美精品色一二三四| 国产精品久久久亚洲| 自拍另类欧美| 人妻夜夜添夜夜无码av| 国产视频福利一区| 久久久一本精品99久久精品| 国产成人精品在线视频| 精品久久久久久乱码天堂| 欧美一区二区视频97| 欧美丰满熟妇xxxxx| 粉嫩高清一区二区三区精品视频| 国产a级片免费看| 欧美精品在线免费观看| 日韩av不卡在线| 国产私拍一区| 爽爽爽爽爽爽爽成人免费观看| 美女精品视频一区| 日本福利视频一区| 国产伦一区二区三区色一情| 久久99影院| 欧美人成在线视频| 日本成人精品在线| 国产精品永久免费观看| 精品国产区一区二区三区在线观看| 一区二区成人国产精品| 黄在线观看网站| 国产黄色特级片| 欧美激情综合亚洲一二区| 欧美中日韩一区二区三区| 国产精品中文字幕在线| 久久精品视频在线| 亚洲va欧美va国产综合久久| 国产无限制自拍| 国产精品-区区久久久狼| 日韩av在线第一页| 91久久国产精品91久久性色| 国产精品乱子乱xxxx| 日本中文字幕在线视频观看| www日韩在线观看| 欧美成人精品在线播放| 欧美精品色婷婷五月综合| 国产激情久久久久| 婷婷久久五月天| 国产精品亚洲天堂| 欧美巨猛xxxx猛交黑人97人| 欧美亚洲激情视频| 国产成人一二三区| 亚洲最大福利网站| 国产精品一码二码三码在线| 精品中文字幕在线| 国产天堂视频在线观看| 国产精品乱码视频| 欧美性大战久久久久xxx| 国产成人aa精品一区在线播放| 亚洲综合最新在线| 不卡日韩av| 亚洲在线第一页| 成人精品久久久| 亚洲午夜精品一区二区三区| y111111国产精品久久婷婷| 在线观看日本一区| julia一区二区中文久久94| 在线观看一区欧美| 成人av资源在线播放| 亚洲在线观看一区| 久久久神马电影| 手机看片福利永久国产日韩| 91久久精品日日躁夜夜躁国产| 亚洲高清资源综合久久精品| 91.com在线| 日本中文字幕久久看| 久久久久久久影院| 欧美精品一区二区三区四区五区 | 国模精品一区二区三区色天香| 日韩中文字幕视频在线| 日韩视频在线播放| 色琪琪综合男人的天堂aⅴ视频| 日韩国产一区久久| 国产精品视频自拍| 国产视频一视频二| 亚洲一区二区三区乱码aⅴ| 91精品国产99| 日韩精品第一页| 国产精品嫩草视频| 国产噜噜噜噜噜久久久久久久久| 亚洲熟妇无码一区二区三区导航 | 亚洲国产日韩综合一区| 国产精品96久久久久久| 日韩精品最新在线观看| 久久色精品视频| 国产色综合天天综合网| 亚洲精品一卡二卡三卡四卡| 色偷偷噜噜噜亚洲男人| 国产一区一区三区| 亚洲精品乱码久久久久久自慰| 久久久久久网站| 国产综合视频在线观看| 久久久久久国产精品久久| 久久男人资源视频| 女女同性女同一区二区三区91 | 色女人综合av| 国产精品久久久久av福利动漫| 高清视频在线观看一区| 日本不卡在线观看视频| 欧美成人免费va影院高清| 91久久精品美女| 免费看国产一级片| 婷婷久久青草热一区二区| 国产精品久久久久久久美男| 91精品国产99久久久久久红楼| 人妻av无码专区| 欧美激情视频在线免费观看 欧美视频免费一 | 国产精品自产拍在线观| 日韩免费观看网站| 一区二区精品在线观看| 国产精品视频免费一区| 91精品国产综合久久久久久蜜臀| 欧美老熟妇喷水| 亚洲av首页在线| 精品久久久久久久久久中文字幕| 久久免费一级片| 国产精品中文字幕在线观看| 欧美亚洲在线视频| 亚洲日本精品一区| 欧美理论片在线观看| 久久久久久久97| 99精品免费在线观看| 国产又黄又猛视频| 欧美做暖暖视频| 午夜一区二区三区| 欧美激情精品久久久| 国产精品久久久久999| 日韩亚洲第一页| 国产成人短视频| 91精品久久久久久久久久久 | xxx一区二区| 久久艹中文字幕| 91国偷自产一区二区三区的观看方式 | 国产亚洲二区| 激情五月综合色婷婷一区二区| 日本一区二区免费高清视频| 亚洲砖区区免费| 美日韩精品视频免费看| 国产精品久久久久久av下载红粉| 日韩在线观看成人| 久久久久久久激情视频| 国产黄色特级片| 国产精品91在线| 国产精品6699| 91精品国产777在线观看| 超碰97网站| 波多野结衣综合网| 99亚洲国产精品| 97色在线播放视频| av在线不卡一区| 99福利在线观看| 91蜜桃网站免费观看| 国产精品一香蕉国产线看观看| 国产裸体免费无遮挡| 国产九九精品视频| 成人福利网站在线观看11| 国产日本欧美一区二区三区在线| 欧美福利精品| 蜜桃久久影院| 国产精品一线二线三线| 99久久精品免费看国产一区二区三区| av片在线免费| 久久久免费精品视频| 久草热视频在线观看|