两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

一種raid5的寫io優(yōu)化處理方法

文檔序號(hào):6385828閱讀:2449來源:國(guó)知局
專利名稱:一種raid5的寫io優(yōu)化處理方法
技術(shù)領(lǐng)域
本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)領(lǐng)域,具體涉及一種RAID5的寫IO優(yōu)化處理方法。
背景技術(shù)
磁盤陣列 RAID (Redundant Access Independent Disks,獨(dú)立冗余磁盤陣列)技術(shù)已經(jīng)作為一種成熟的技術(shù)廣泛應(yīng)用于數(shù)據(jù)存儲(chǔ)中。RAID技術(shù)具有從RAID O到6七種基本的RAID級(jí)別,不同RAID級(jí)別代表著不同的存儲(chǔ)性能、數(shù)據(jù)安全性和存儲(chǔ)成本。RAID包含N+P個(gè)存儲(chǔ)數(shù)據(jù)的硬盤,它以條帶為基礎(chǔ),在把文件數(shù)據(jù)分塊后寫進(jìn)一個(gè)數(shù)據(jù)盤的同時(shí),對(duì)其它數(shù)據(jù)盤內(nèi)與該數(shù)據(jù)塊相同盤內(nèi)位置的所有數(shù)據(jù)塊計(jì)算出它們的奇偶校驗(yàn)值(異或操作),最終形成一個(gè)由奇偶校驗(yàn)值組成的信息塊(校驗(yàn)塊),并將其寫入對(duì)應(yīng)位置的硬盤,這被稱為數(shù)據(jù)保護(hù)。它的好處是提供了容錯(cuò)能力,即這N+P個(gè)磁盤中任何一個(gè)或多個(gè)(小于P)出現(xiàn)故障,都不會(huì)造成丟失數(shù)據(jù)的問題。因?yàn)槠媾夹r?yàn)的對(duì)稱性,可以用剩下的N個(gè)磁盤的內(nèi)容,計(jì)算出存放在有故障磁盤中的正確的數(shù)據(jù)內(nèi)容,盡管這一計(jì)算比較費(fèi)時(shí)間。其中RAID4中校驗(yàn)數(shù)據(jù)存放在一個(gè)固定的硬盤上,這個(gè)硬盤成為整個(gè)RAID4系統(tǒng)的瓶頸。RAID5為解決這個(gè)瓶頸,將校驗(yàn)信息均勻分散到系統(tǒng)中所有的硬盤中,而RAID6則存放兩份校驗(yàn)數(shù)據(jù),從而可以容忍RAID系統(tǒng)中同時(shí)有兩塊磁盤失效。RAID系統(tǒng)提升安全性是以犧牲性能為代價(jià)的。在一個(gè)典型的RAID5系統(tǒng)中,如圖1所示,如果要修改Al的數(shù)據(jù),新數(shù)據(jù)為Al ',則需要將舊數(shù)據(jù)Al 101和舊校驗(yàn)P(A) 102讀出來,并用它們計(jì)算出A0+A2+A3的校驗(yàn)和P(A023) (X0R校驗(yàn)是對(duì)稱的),然后用P(A023)與Al'計(jì)算新校驗(yàn)P(A)丨,最后將Al'寫入101,P㈧丨寫入102。由此可知一個(gè)寫操作會(huì)衍生出兩次讀操作與兩次寫操作(這稱作寫放大效應(yīng)),這極大的降低了系統(tǒng)的有效性能。以此類推,RAID6比RAID5有更高的安全性,但有效性能更低。對(duì)于傳統(tǒng)的磁盤,IO操作的地址如果是隨機(jī)的,則其有效性能會(huì)降低上百倍。中國(guó)專利CN101566924A《一種磁盤陣列的數(shù)據(jù)讀寫方法》,通過在內(nèi)存中創(chuàng)建一個(gè)磁盤條帶狀態(tài)位圖記錄數(shù)據(jù)塊的寫操作頻度,對(duì)于寫操作頻率高的磁盤條帶,延遲更新檢驗(yàn)塊,以達(dá)到加快磁盤陣列讀寫處理效率的目的。中國(guó)專利CN101702113A《寫操作方法和裝置》,通過在內(nèi)存中建立一個(gè)寫操作請(qǐng)求列表,緩存寫操作請(qǐng)求,如果出現(xiàn)一個(gè)條帶上至少兩個(gè)寫操作請(qǐng)求時(shí)并行處理,以減少寫放大效應(yīng)。中國(guó)專利CN101526886《一種獨(dú)立磁盤冗余陣列的數(shù)據(jù)操作方法及裝置》,根據(jù)寫入數(shù)據(jù)的塊大小動(dòng)態(tài)調(diào)整條帶大小,以提高RAID的數(shù)據(jù)讀寫性能。中國(guó)專利CN102184079《一種RAID5級(jí)別磁盤陣列的寫性能優(yōu)化方法》,通過暫停校驗(yàn)位更新的方法為RAID5磁盤陣列提升寫負(fù)載請(qǐng)求聚發(fā)時(shí)系統(tǒng)的性能。中國(guó)專利CN102270102《一種RAID6磁盤陣列寫性能的優(yōu)化方法》,在RAID6磁盤陣列結(jié)構(gòu)外設(shè)置日志盤,用于記錄RAID6磁盤陣列中的數(shù)據(jù)塊對(duì)應(yīng)的日志記錄,針對(duì)寫請(qǐng)求根據(jù)條帶中被更新數(shù)據(jù)塊的頻度選擇寫入方式(讀改寫和重構(gòu)寫),以達(dá)到優(yōu)化寫性能的目的。文章《基于磁盤異或引擎的RAID5小寫性能優(yōu)化》,利用部分SCSI磁盤及光纖磁盤實(shí)現(xiàn)的異或引擎,新數(shù)據(jù)和舊數(shù)據(jù)的異或計(jì)算在磁盤中實(shí)現(xiàn),主機(jī)完成寫入操作,從而達(dá)到RAID5的小寫優(yōu)化目的。又有美國(guó)專利US6704837 B2《METHOD AND APPARATUS FOR INCREASING RAIDWRITE PERFORMANCE BY MAINTAINING A FULL TRACK WRITE COUNTER》,提出針對(duì)寫操作給每個(gè)磁道維護(hù)一個(gè)條帶寫計(jì)數(shù)器,分析寫請(qǐng)求的最后操作磁道的計(jì)數(shù)器值,判斷寫入數(shù)據(jù)是否為整個(gè)條帶,如果是則利用緩存中的條帶數(shù)據(jù)計(jì)算出新校驗(yàn),如果不是則按照讀舊校驗(yàn),讀舊數(shù)據(jù),計(jì)算新校驗(yàn),寫新數(shù)據(jù)的傳統(tǒng)方法進(jìn)行。該美國(guó)專利提供的方法通過減少在計(jì)算校驗(yàn)塊時(shí)系統(tǒng)讀舊數(shù)據(jù)、舊校驗(yàn)的次數(shù),在一定程度上減少了系統(tǒng)開銷,但當(dāng)寫操作的數(shù)據(jù)不是一個(gè)條帶時(shí),寫操作所引起的寫放大效應(yīng)沒有改變。以上專利可以看出,已有工作是通過不同的方法,如延遲寫數(shù)據(jù)、動(dòng)態(tài)調(diào)整條帶大小等方法來優(yōu)化寫性能,雖然對(duì)寫性能有一定的優(yōu)化,但都沒有從根本上解決RAID容錯(cuò)算法寫操作所引起的寫放大效應(yīng),并且存在數(shù)據(jù)無(wú)法恢復(fù)的風(fēng)險(xiǎn),如系統(tǒng)突然掉電后延遲寫數(shù)據(jù)丟失等。而動(dòng)態(tài)調(diào)整條帶大小、增加日志盤等方法,則需要額外的系統(tǒng)開銷,增加了系統(tǒng)負(fù)擔(dān)??梢姡F(xiàn)有技術(shù)還存在缺陷,有待改進(jìn)和發(fā)展。

發(fā)明內(nèi)容
本發(fā)明的目的提出一種RAID5的寫IO優(yōu)化處理方法,采用一種優(yōu)化了的寫操作時(shí)數(shù)據(jù)塊的地址映射方法,RAID控制器為數(shù)據(jù)塊建立地址映射表,主機(jī)LBA地址不再固定的對(duì)應(yīng)到硬盤上,而是將主機(jī)的LBA地址按照特殊算法重新排列,從而將隨機(jī)地址的寫操作轉(zhuǎn)化成順序地址的寫操作,達(dá)到寫數(shù)據(jù)塊時(shí)無(wú)需讀出原數(shù)據(jù)塊和原校驗(yàn)塊,通過該方法大幅減少寫數(shù)據(jù)時(shí)校驗(yàn)盤的IO操作數(shù),有效消除校驗(yàn)盤的寫放大效應(yīng),解決現(xiàn)有RAID5級(jí)別磁盤陣列寫性能不高的問題,優(yōu)化磁盤陣列有效性能。本發(fā)明一種RAID5的寫IO優(yōu)化處理方法,包括如下步驟
1),存儲(chǔ)系統(tǒng)構(gòu)建;
2),數(shù)據(jù)讀寫操作;
3),失效數(shù)據(jù)塊回收.
所述的RAID系統(tǒng)構(gòu)建
(1.1)提供RAID系統(tǒng)
所述的RAID系統(tǒng)包括RAID控制器、存儲(chǔ)介質(zhì)陣列;
所述的存儲(chǔ)介質(zhì)陣列可以為磁盤列、固態(tài)盤列或閃存列等;
所述的RAID控制器,包括有地址 映射模塊,是用來存放地址映射表的邏輯功能與器件,可以是DRAM或固態(tài)盤等,映射表保存每一個(gè)LBA地址和PBA地址的映射信息。(1. 2)地址映射表主要包含以下字段信息1.“邏輯地址”字段(LBA地址),記錄數(shù)據(jù)塊的邏輯地址;
I1.“物理地址”字段(PBA地址),記錄數(shù)據(jù)塊的物理地址;
II1.“有效數(shù)據(jù)”字段,該字段包含三個(gè)狀態(tài),“有效”狀態(tài)表示對(duì)應(yīng)物理地址所存放的數(shù)據(jù)塊為最新數(shù)據(jù);“無(wú)效”狀態(tài)表示該物理地址數(shù)據(jù)塊已失效,可回收;“空閑”狀態(tài)表示該物理地址空間已回收;
IV.“校驗(yàn)塊”字段,記錄該數(shù)據(jù)塊是否為RAID5磁盤陣列中的校驗(yàn)值; V.“校驗(yàn)塊保護(hù)”字段,記錄該校驗(yàn)值保護(hù)的數(shù)據(jù)塊數(shù)是否小于一個(gè)條帶的數(shù)據(jù)塊,該字段主要用于保存當(dāng)磁盤陣列發(fā)生掉電時(shí),該條帶是否正常完成寫入操作;
(1. 3)地址映射表保存每一個(gè)LBA地址和PBA地址的映射信息,因此在存儲(chǔ)系統(tǒng)使用之前,需要對(duì)映射表進(jìn)行初始化,初始化時(shí),將“物理地址”、“校驗(yàn)塊”字段等設(shè)置為系統(tǒng)配置的初始值,其余字段設(shè)為有效。(2)讀寫IO操作的處理
該存儲(chǔ)系統(tǒng)同一般RAID5磁盤陣列相同,每一條帶的校驗(yàn)值均勻分布在每個(gè)硬盤或存儲(chǔ)介質(zhì)上。本發(fā)明的讀IO操作流程較簡(jiǎn)單,只需在地址映射表中查找LBA地址對(duì)應(yīng)的映射條目,獲取LBA地址對(duì)應(yīng)的PBA地址信息,然后向?qū)?yīng)的PBA地址的硬盤讀取數(shù)據(jù)。在處理寫IO操作上,RAID控制器為數(shù)據(jù)塊建立地址映射表并將主機(jī)的邏輯地址按照特殊方法重新排列,將隨機(jī)地址的寫操作轉(zhuǎn)換成順序地址的寫操作,無(wú)需讀取原數(shù)據(jù)塊和原校驗(yàn)塊,且無(wú)需反向計(jì)算校驗(yàn)信息。其主要步驟如下
(2.1)當(dāng)主機(jī)發(fā)送任意地址的數(shù)據(jù)塊寫請(qǐng)求時(shí),系統(tǒng)將該數(shù)據(jù)塊存入緩存,緩存以條帶為單位,包含N個(gè)數(shù)據(jù)塊和I個(gè)校驗(yàn)塊;同時(shí)將該數(shù)據(jù)塊與緩存中的校驗(yàn)值計(jì)算新校驗(yàn)并覆蓋原校驗(yàn)值進(jìn)行緩存。(2. 2)查找該數(shù)據(jù)塊的LBA地址在地址映射表中是否有相應(yīng)記錄,如果有對(duì)應(yīng)記錄,轉(zhuǎn)步驟(2. 3),否則轉(zhuǎn)(2.4);
(2. 3)說明該寫IO為改寫操作,在該數(shù)據(jù)塊在地址映射表中的對(duì)應(yīng)記錄中,將“有效數(shù)據(jù)”字段均標(biāo)識(shí)為無(wú)效。(2. 4)根據(jù)RAID管理模塊維護(hù)的地址映射表寫指針變量指向的記錄,得到該數(shù)據(jù)塊將寫入的新的PBA地址,將該數(shù)據(jù)塊的LBA地址寫入“邏輯地址”字段,并將該數(shù)據(jù)塊寫入物理地址對(duì)應(yīng)的硬盤及修改新的PBA地址對(duì)應(yīng)的“有效數(shù)據(jù)”設(shè)置為有效。(2.5)判斷寫指針變量是否對(duì)應(yīng)這一條帶的尾端,如果是,轉(zhuǎn)步驟(2. 6),否則轉(zhuǎn)步驟(2. 7);
(2. 6)根據(jù)校驗(yàn)塊地址變量的值,發(fā)送校驗(yàn)塊寫命令到相應(yīng)物理地址的硬盤,并將地址映射表寫指針變量順序遞增,且將緩存中校驗(yàn)值設(shè)置為O ;
(2. 7)判斷當(dāng)前地址映射表寫指針是否指向該條帶的校驗(yàn)塊應(yīng)存放的物理地址記錄,如果是,轉(zhuǎn)步驟(2.9);
(2.8)寫指針變量指向下一個(gè)PBA地址,本次寫操作結(jié)束;
(2. 9)將當(dāng)前PBA地址緩存至校驗(yàn)塊地址變量,并將地址映射表寫指針變量順序遞增,完成后,本次寫操作結(jié)束。(3)失效數(shù)據(jù)塊回收
地址映射表的記錄為PBA地址連續(xù)的數(shù)據(jù)塊,為保證存儲(chǔ)系統(tǒng)中總有一定量的空閑物理空間,RAID控制器定期進(jìn)行失效數(shù)據(jù)塊回收(Garbage Collection :GC),所謂回收,即在映射表中修改PBA地址對(duì)應(yīng)的信息即可,RAID管理模塊維護(hù)一個(gè)“地址回收”指針(GC指針),該指針用于指向正在進(jìn)行地址回收操作的地址映射表記錄,其在地址映射表的頭尾之間循環(huán)。其處理流程如下
(3.1)判斷系統(tǒng)的空閑物理空間百分比是否在設(shè)定的閥值內(nèi),如果是,則系統(tǒng)當(dāng)前不進(jìn)行地址回收操作,否則轉(zhuǎn)步驟(3. 2)。地址回收閥值可以根據(jù)系統(tǒng)的應(yīng)用需求在O. 2^0. 8之間進(jìn)行選取。(3.2)判斷系統(tǒng)是否第一次進(jìn)行地址回收操作,如果是,轉(zhuǎn)步驟(3. 3),否則轉(zhuǎn)步驟(3. 4);
(3. 3)初始化地址回收指針,將指針指向地址映射表頭。(3. 4)檢查地址映射表的“有效數(shù)據(jù)”字段,判斷如果為無(wú)效數(shù)據(jù),則將該字段改寫為空閑狀態(tài),并轉(zhuǎn)步驟(3.6)。否則轉(zhuǎn)步驟(3.5);
(3. 5)當(dāng)前地址映射表記錄為有效數(shù)據(jù),則調(diào)用寫IO操作步驟(2),將該數(shù)據(jù)塊作為新數(shù)據(jù)寫入當(dāng)前PBA地址,并將該記錄的“有效數(shù)據(jù)”字段設(shè)置為空閑狀態(tài)。(3. 6)地址回收指針指向下一條地址映射表記錄,判斷是否為表尾,如果是,轉(zhuǎn)步驟(3. 3),否則轉(zhuǎn)步驟(3. 2)。本發(fā)明一種RAID5的寫IO優(yōu)化處理方法的優(yōu)點(diǎn)可以有效降低RAID級(jí)別磁盤陣列的寫放大效應(yīng)。傳統(tǒng)的磁盤,順序?qū)懶阅苓h(yuǎn)遠(yuǎn)大于隨機(jī)寫性能,本發(fā)明提供的地址映射方法將隨機(jī)寫操作轉(zhuǎn)化成順序?qū)懖僮鳎行У陌l(fā)揮了磁盤的寫性能,降低了計(jì)算校驗(yàn)所需的IO操作,顯著提高了 RAID系統(tǒng)的響應(yīng)能力,同時(shí)降低了系統(tǒng)功耗。同時(shí),本發(fā)明應(yīng)用到固態(tài)存儲(chǔ)系統(tǒng)中,RAID控制器實(shí)現(xiàn)了地址映射表等相關(guān)功能,使得固態(tài)盤的控制器設(shè)計(jì)得到簡(jiǎn)化。最后,地址映射模塊可以靈活的選擇校驗(yàn)塊部署的位置和數(shù)量,因此本發(fā)明不限于RAID5級(jí)別的磁盤陣列的應(yīng)用,可以推廣到RAID4、RAID6級(jí)別的實(shí)現(xiàn)。


圖1為現(xiàn)有RAID5系統(tǒng)的拓?fù)浣Y(jié)構(gòu)示意 圖2為本發(fā)明系統(tǒng)的架構(gòu)示意 圖3為本發(fā)明所提供地址映射模塊工作示意 圖4為本發(fā)明所提供系統(tǒng)中的讀操作流程 圖5為本發(fā)明所提供系統(tǒng)中的寫操作地址映射示意 圖6為本發(fā)明所提供系統(tǒng)中的寫操作流程 圖7為本發(fā)明所提供系統(tǒng)中的地址回收流程圖。
具體實(shí)施例方式下面結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述,所描述的實(shí)施例是本發(fā)明一部分實(shí)例,而不是全部的實(shí)施例?;诒景l(fā)明的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。本發(fā)明提供RAID系統(tǒng)如圖2所示,包括RAID控制器、存儲(chǔ)介質(zhì)陣列等,存儲(chǔ)介質(zhì)陣列可以為磁盤列、固態(tài)盤列或閃存列等。RAID控制器的地址映射模塊負(fù)責(zé)LBA地址與PBA地址的映射,為數(shù)據(jù)塊建立地址映射表。地址映射表保存每一個(gè)LBA地址和PBA地址數(shù)據(jù)塊的相關(guān)信息,主要記錄了該數(shù)據(jù)塊對(duì)應(yīng)的邏輯地址、物理地址,有效數(shù)據(jù)、校驗(yàn)塊、校驗(yàn)塊保護(hù)等狀態(tài)信息。如圖3所示,RAID控制器的映射表模塊負(fù)責(zé)LBA地址與PBA地址的映射。在PBA地址空間中, 總是為寫操作保留一定的空間311,寫操作總是寫入到空閑的空間311中,當(dāng)前正在寫入的條帶為310,當(dāng)前條帶310使用完后,順序切換到下一個(gè)空閑條帶。步驟一初始化地址映射表
在存儲(chǔ)系統(tǒng)使用之前,需要對(duì)映射表進(jìn)行初始化。RAID系統(tǒng)使用之前,地址映射模塊對(duì)地址映射表進(jìn)行初始化,將“物理地址”、“校驗(yàn)塊”字段等設(shè)置為系統(tǒng)配置的初始值,其余字段設(shè)為有效。步驟二 RAID系統(tǒng)的讀寫操作
本發(fā)明的讀IO操作流程較簡(jiǎn)單,只需在地址映射表中查找LBA地址對(duì)應(yīng)的映射條目,獲取LBA地址對(duì)應(yīng)的PBA地址信息,然后向?qū)?yīng)的PBA地址的硬盤讀取數(shù)據(jù)。如圖4所示,步驟401,RAID控制器收到來自主機(jī)端的讀請(qǐng)求,并響應(yīng);步驟402,查找地址映射表,找到LBA對(duì)應(yīng)的PBA地址;步驟403,發(fā)送PBA讀命令到硬盤。步驟404,返回?cái)?shù)據(jù)到主機(jī)端。步驟405,讀操作結(jié)束。本發(fā)明的寫操作比較復(fù)雜,因?yàn)橐獙㈦S機(jī)的寫操作映射為連續(xù)的寫操作,需要將所有的寫操作映射到新的連續(xù)空間中去,如圖5所示為一個(gè)N+1 RAID5系統(tǒng)中,此處N為4僅為示意,即每4個(gè)數(shù)據(jù)塊對(duì)應(yīng)一個(gè)校驗(yàn)塊,校驗(yàn)塊均勻分布在5塊硬盤中。當(dāng)主機(jī)端發(fā)送任意地址的寫請(qǐng)求時(shí),映射表模塊總是將其映射到連續(xù)的物理地址上。具體步驟如下,例如主機(jī)發(fā)送LBAl地址寫請(qǐng)求501,系統(tǒng)將該數(shù)據(jù)塊存入緩存并計(jì)算新校驗(yàn)值,RAID管理模塊根據(jù)LBAl地址在映射表中查找對(duì)應(yīng)記錄條目,將這些記錄的“有效數(shù)據(jù)”字段設(shè)為無(wú)效,并根據(jù)地址映射模塊寫指針變量將LBAl地址映射到PBA14地址,更新PBA14的地址映射表?xiàng)l目并發(fā)送寫命令505將數(shù)據(jù)塊寫入PBA14地址對(duì)應(yīng)的硬盤中,寫指針增I指向下一條地址映射表記錄。按照上述步驟,依次處理LBA6地址寫請(qǐng)求502、LBA8地址寫請(qǐng)求503、LBAf地址寫請(qǐng)求504,分別映射到506、507、508,可以看出,被映射后的寫操作在物理地址上是連續(xù)的。在RAID控制器中,緩存模塊用于緩存最近寫入的數(shù)據(jù)和校驗(yàn)信息,在上述示例中,當(dāng)501數(shù)據(jù)到達(dá)后,被緩存模塊緩存,502數(shù)據(jù)到達(dá)后,將501數(shù)據(jù)與502數(shù)據(jù)計(jì)算校驗(yàn)并緩存,503數(shù)據(jù)到達(dá)后,與緩存的校驗(yàn)繼續(xù)計(jì)算校驗(yàn),并緩存,504數(shù)據(jù)到達(dá)后,與緩存的校驗(yàn)繼續(xù)計(jì)算校驗(yàn),并緩存,在該示例系統(tǒng)中N為4,因此每4個(gè)數(shù)據(jù)塊到達(dá)后,將其對(duì)應(yīng)的校驗(yàn)塊寫入物理地址PA5,緩存只需保存最近條帶的數(shù)據(jù)和校驗(yàn)信息。寫操作步驟流程如圖6所示。步驟三失效數(shù)據(jù)塊回收操作
從以上的寫過程可以看到,對(duì)同一個(gè)LBA地址的多次寫操作可能占用多個(gè)PBA地址,這樣會(huì)造成物理空間的重復(fù)使用。為保證系統(tǒng)中總有一定量的空閑物理空間供寫操作使用,RAID控制器根據(jù)設(shè)定值會(huì)定期進(jìn)行地址回收操作。地址回收即順序掃描地址映射表,將有效數(shù)據(jù)讀出來并作為新數(shù)據(jù)調(diào)用寫操作流程,無(wú)效數(shù)據(jù)對(duì)應(yīng)的PBA地址直接回收,即將“有效數(shù)據(jù)”設(shè)為空閑。這樣后面的寫操作,可以從這些空閑的PBA地址中分配地址空間。在實(shí)際實(shí)現(xiàn)過程中,為防止回收操作影響正常的寫操作,通常預(yù)留一部分物理空間專門給地址回收使用。可以看出,回收過程中,對(duì)硬盤的讀寫操作也都是順序地址的。對(duì)于硬盤來說,順序讀寫的有效性能可以達(dá)到隨機(jī)讀寫性能的100倍以上。地址回收操作流程如圖7所示。
權(quán)利要求
1.種RAID5的寫IO優(yōu)化處理方法,其特征在于包括如下步驟1)存儲(chǔ)系統(tǒng)構(gòu)建;2) 數(shù)據(jù)讀寫操作;3)失效數(shù)據(jù)塊回收。
2.如權(quán)利要求1所述的一種RAID5的寫IO優(yōu)化處理方法,其特征在于所述的RAID 系統(tǒng)構(gòu)建包括(1.1)提供RAID系統(tǒng)(1. 2)地址映射表主要包含字段信息(1. 3)地址映射表保存每一個(gè)LBA地址和PBA地址的映射信息,因此在存儲(chǔ)系統(tǒng)使用之前,需要對(duì)映射表進(jìn)行初始化,初始化時(shí),將“物理地址”、“校驗(yàn)塊”字段等設(shè)置為系統(tǒng)配置的初始值,其余字段設(shè)為有效。
3.如權(quán)利要求1所述的一種RAID5的寫IO優(yōu)化處理方法,其特征在于所述寫IO 操作的處理,包括(2.1)當(dāng)主機(jī)發(fā)送任意地址的數(shù)據(jù)塊寫請(qǐng)求時(shí),系統(tǒng)將該數(shù)據(jù)塊存入緩存,緩存以條帶為單位,包含N個(gè)數(shù)據(jù)塊和I個(gè)校驗(yàn)塊;同時(shí)將該數(shù)據(jù)塊與緩存中的校驗(yàn)值計(jì)算新校驗(yàn)并覆蓋原校驗(yàn)值進(jìn)行緩存;(2. 2)查找該數(shù)據(jù)塊的LBA地址在地址映射表中是否有相應(yīng)記錄,如果有對(duì)應(yīng)記錄,轉(zhuǎn)步驟(2. 3),否則轉(zhuǎn)(2.4) ; (2. 3)說明該寫IO為改寫操作,在該數(shù)據(jù)塊在地址映射表的對(duì)應(yīng)記錄中,將“有效數(shù)據(jù)”字段均標(biāo)識(shí)為無(wú)效;(2. 4)根據(jù) RAID管理模塊維護(hù)的地址映射表寫指針變量指向的記錄,得到該數(shù)據(jù)塊將寫入的新的PBA 地址,將該數(shù)據(jù)塊的LBA地址寫入“邏輯地址”字段,并將該數(shù)據(jù)塊寫入物理地址對(duì)應(yīng)的硬盤及修改新的PBA地址對(duì)應(yīng)的“有效數(shù)據(jù)”設(shè)置為有效;(2. 5)判斷寫指針變量是否對(duì)應(yīng)這一條帶的尾端,如果是,轉(zhuǎn)步驟(2. 6),否則轉(zhuǎn)步驟(2. 7) ; (2. 6)根據(jù)校驗(yàn)塊地址變量的值, 發(fā)送校驗(yàn)塊寫命令到相應(yīng)物理地址的硬盤,并將地址映射表寫指針變量順序遞增,且將緩存中校驗(yàn)值設(shè)置為O ; (2. 7)判斷當(dāng)前地址映射表寫指針是否指向該條帶的校驗(yàn)塊應(yīng)存放的物理地址記錄,如果是,轉(zhuǎn)步驟(2.9) ; (2. 8)地址映射表寫指針變量順序遞增指向下一個(gè)PBA地址,本次寫操作結(jié)束;(2. 9)將當(dāng)前PBA地址緩存至校驗(yàn)塊地址變量,并將地址映射表寫指針變量順序遞增,完成后,本次寫操作結(jié)束。
4.如權(quán)利要求1所述的一種RAID5的寫IO優(yōu)化處理方法,其特征在于所述的失效數(shù)據(jù)塊回收,包括(3.1)判斷系統(tǒng)的空閑物理空間百分比是否在設(shè)定的閥值內(nèi),如果是, 則系統(tǒng)當(dāng)前不進(jìn)行地址回收操作,否則轉(zhuǎn)步驟(3. 2),地址回收閥值可以根據(jù)系統(tǒng)的應(yīng)用需求在O. 2^0. 8之間進(jìn)行選??;(3. 2)判斷系統(tǒng)是否第一次進(jìn)行地址回收操作,如果是,轉(zhuǎn)步驟(3. 3),否則轉(zhuǎn)步驟(3. 4) ; (3. 3)初始化地址回收指針,將指針指向地址映射表頭;(3. 4) 檢查地址映射表的“有效數(shù)據(jù)”字段,判斷如果為無(wú)效數(shù)據(jù),則將該字段改寫為空閑狀態(tài),并轉(zhuǎn)步驟(3. 6),否則轉(zhuǎn)步驟(3.5) ; (3. 5)當(dāng)前地址映射表記錄為有效數(shù)據(jù),則調(diào)用寫IO操作步驟(2),將該數(shù)據(jù)塊作為新數(shù)據(jù)寫入當(dāng)前PBA地址,并將該記錄的“有效數(shù)據(jù)”字段設(shè)置為空閑狀態(tài);(3. 6)地址回收指針指向下一條地址映射表記錄,判斷是否為表尾,如果是, 轉(zhuǎn)步驟(3. 3),否則轉(zhuǎn)步驟(3. 2)。
5.如權(quán)利要求2所述的一種RAID5的寫IO優(yōu)化處理方法,其特征在于所述的RAID 系統(tǒng)包括RAID控制器、存儲(chǔ)介質(zhì)陣列。
6.如權(quán)利要求2所述的一種RAID5的寫IO優(yōu)化處理方法,其特征在于(1.2)地址映射表主要包含字段信息如下“邏輯地址”字段(LBA地址),記錄數(shù)據(jù)塊的邏輯地址LBA 地址;“物理地址”字段(PBA地址),記錄數(shù)據(jù)塊存儲(chǔ)的物理地址;“有效數(shù)據(jù)”字段,該字段包含三個(gè)狀態(tài),“有效”狀態(tài)表示對(duì)應(yīng)物理地址所存放的數(shù)據(jù)塊為最新數(shù)據(jù);“無(wú)效”狀態(tài)表示該物理地址數(shù)據(jù)塊已失效,可回收;“空閑”狀態(tài)表示該物理地址空間已回收;“校驗(yàn)塊”字段,記錄該數(shù)據(jù)塊是否為RAID5磁盤陣列中的校驗(yàn)值;“校驗(yàn)塊保護(hù)”字段,記錄該校驗(yàn)值保護(hù)的數(shù)據(jù)塊數(shù)是否小于一個(gè)條帶的數(shù)據(jù)塊,該字段主要用于保存當(dāng)磁盤陣列發(fā)生掉電時(shí),該條帶是否正常完成寫入操作。
7.如權(quán)利要求5所述的一種RAID5的寫IO優(yōu)化處理方法,其特征在于所述的存儲(chǔ)介質(zhì)陣列可以為磁盤列、固態(tài)盤列或閃存列等。
全文摘要
一種RAID5的寫IO優(yōu)化處理方法,包括如下步驟1),存儲(chǔ)系統(tǒng)構(gòu)建;2),數(shù)據(jù)讀寫操作;3),失效數(shù)據(jù)塊回收。其優(yōu)點(diǎn)可以有效降低RAID級(jí)別磁盤陣列的寫放大效應(yīng)。傳統(tǒng)的磁盤,順序?qū)懶阅苓h(yuǎn)遠(yuǎn)大于隨機(jī)寫性能,本發(fā)明提供的地址映射方法將隨機(jī)寫操作轉(zhuǎn)化成順序?qū)懖僮鳎行У陌l(fā)揮了磁盤的寫性能,降低了計(jì)算校驗(yàn)所需的IO操作,顯著提高了RAID系統(tǒng)的響應(yīng)能力,同時(shí)降低了系統(tǒng)功耗。最后,地址映射模塊可以靈活的選擇校驗(yàn)塊部署的位置和數(shù)量,因此本發(fā)明不限于RAID5級(jí)別的磁盤陣列的應(yīng)用,可以推廣到RAID4、RAID6級(jí)別的實(shí)現(xiàn)。
文檔編號(hào)G06F3/06GK103049222SQ201210582379
公開日2013年4月17日 申請(qǐng)日期2012年12月28日 優(yōu)先權(quán)日2012年12月28日
發(fā)明者劉曉芳, 符才德, 周俊, 萬(wàn)寶琳 申請(qǐng)人:中國(guó)船舶重工集團(tuán)公司第七0九研究所
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
每晚都被弄得嗷嗷叫到高潮| 美女高潮喷水抽搐中文字幕| 男女午夜视频在线观看| 国内少妇人妻偷人精品xxx网站 | 国产爱豆传媒在线观看 | 琪琪午夜伦伦电影理论片6080| 欧美日韩亚洲国产一区二区在线观看| www国产在线视频色| 国内精品久久久久久久电影| 久久午夜亚洲精品久久| 1024手机看黄色片| 国产精华一区二区三区| 日韩有码中文字幕| 欧美日韩一级在线毛片| 亚洲成人久久爱视频| 好男人在线观看高清免费视频| 日本一区二区免费在线视频| 亚洲欧美日韩高清专用| 精品熟女少妇八av免费久了| 精品一区二区三区四区五区乱码| 校园春色视频在线观看| 国产免费男女视频| 亚洲精品久久成人aⅴ小说| 久久久久久久午夜电影| 两人在一起打扑克的视频| 看免费av毛片| 999精品在线视频| 国产高清激情床上av| 亚洲av熟女| 国产熟女午夜一区二区三区| 18禁黄网站禁片午夜丰满| 亚洲欧美日韩无卡精品| 色老头精品视频在线观看| 麻豆成人av在线观看| 久久久久久人人人人人| 免费av毛片视频| 一个人免费在线观看电影 | 亚洲中文av在线| 2021天堂中文幕一二区在线观| 久久久久久久久久黄片| 久久久精品欧美日韩精品| 国产精品久久视频播放| 91麻豆av在线| 麻豆一二三区av精品| 亚洲一区中文字幕在线| 亚洲精品一区av在线观看| 黄片小视频在线播放| 我要搜黄色片| 欧美乱妇无乱码| 亚洲第一欧美日韩一区二区三区| 国产av麻豆久久久久久久| 国产精品98久久久久久宅男小说| 亚洲精品一区av在线观看| 久久精品国产清高在天天线| 欧美日韩乱码在线| 久久久精品国产亚洲av高清涩受| 久久久精品大字幕| 国产1区2区3区精品| 国产黄片美女视频| 亚洲美女黄片视频| 波多野结衣高清作品| 国产成人精品无人区| 国产成人av教育| 久久久久精品国产欧美久久久| 可以在线观看毛片的网站| 免费无遮挡裸体视频| 悠悠久久av| 丁香欧美五月| 丰满的人妻完整版| 99国产综合亚洲精品| 亚洲人成电影免费在线| 中出人妻视频一区二区| 真人做人爱边吃奶动态| 精品不卡国产一区二区三区| 精品久久久久久,| 99精品欧美一区二区三区四区| 性色av乱码一区二区三区2| 亚洲av熟女| 欧美黄色淫秽网站| 久久久精品大字幕| 亚洲va日本ⅴa欧美va伊人久久| 久久国产精品影院| 婷婷精品国产亚洲av在线| ponron亚洲| 欧美av亚洲av综合av国产av| 国产精品久久久av美女十八| 久久精品国产清高在天天线| 日日干狠狠操夜夜爽| 丝袜美腿诱惑在线| 大型av网站在线播放| 国产成人av教育| 色综合欧美亚洲国产小说| 国产成人av激情在线播放| 亚洲精品一卡2卡三卡4卡5卡| 国产野战对白在线观看| 一进一出好大好爽视频| 日韩三级视频一区二区三区| 久久久久久久精品吃奶| 日本撒尿小便嘘嘘汇集6| 久久久久久亚洲精品国产蜜桃av| 日日夜夜操网爽| 国产精品1区2区在线观看.| 亚洲自拍偷在线| a级毛片a级免费在线| 欧美乱妇无乱码| 精品久久久久久成人av| 在线观看舔阴道视频| 久久精品人妻少妇| 国产精品影院久久| 日韩 欧美 亚洲 中文字幕| 亚洲性夜色夜夜综合| 欧美成狂野欧美在线观看| 久久人妻av系列| 精品久久久久久久末码| 亚洲国产欧洲综合997久久,| 岛国在线免费视频观看| 日本一区二区免费在线视频| 亚洲天堂国产精品一区在线| 久久精品亚洲精品国产色婷小说| 午夜视频精品福利| 国产欧美日韩一区二区三| 亚洲熟妇熟女久久| 国产精品久久久久久人妻精品电影| 香蕉国产在线看| 日韩欧美在线二视频| 看黄色毛片网站| 三级男女做爰猛烈吃奶摸视频| 欧美在线黄色| 天天添夜夜摸| 热99re8久久精品国产| 亚洲在线自拍视频| 欧美日韩精品网址| 午夜福利18| 淫秽高清视频在线观看| 毛片女人毛片| 亚洲国产中文字幕在线视频| 波多野结衣巨乳人妻| 亚洲18禁久久av| 亚洲精华国产精华精| 久久久久久亚洲精品国产蜜桃av| 国产激情欧美一区二区| 亚洲国产日韩欧美精品在线观看 | 99久久无色码亚洲精品果冻| 午夜福利视频1000在线观看| 国产69精品久久久久777片 | 在线观看舔阴道视频| 9191精品国产免费久久| 小说图片视频综合网站| 国产成人系列免费观看| 国产一区二区三区在线臀色熟女| 桃红色精品国产亚洲av| 一卡2卡三卡四卡精品乱码亚洲| 欧美乱色亚洲激情| 少妇人妻一区二区三区视频| 国产亚洲精品久久久久5区| 精品一区二区三区四区五区乱码| 看片在线看免费视频| ponron亚洲| 亚洲精品色激情综合| 亚洲av电影在线进入| 欧美日韩亚洲综合一区二区三区_| 黄片大片在线免费观看| 少妇的丰满在线观看| 免费观看精品视频网站| 欧美绝顶高潮抽搐喷水| 国产爱豆传媒在线观看 | 黄色丝袜av网址大全| 在线观看舔阴道视频| 色哟哟哟哟哟哟| 国内揄拍国产精品人妻在线| 久久久精品欧美日韩精品| 黄色片一级片一级黄色片| 黄色a级毛片大全视频| 熟女电影av网| 欧美午夜高清在线| 一级片免费观看大全| 蜜桃久久精品国产亚洲av| 亚洲中文字幕一区二区三区有码在线看 | 久久久久国产精品人妻aⅴ院| 国产私拍福利视频在线观看| 国产真实乱freesex| 窝窝影院91人妻| 最好的美女福利视频网| 制服诱惑二区| 搞女人的毛片| 国产一区在线观看成人免费| 国产精品美女特级片免费视频播放器 | 亚洲午夜理论影院| 美女黄网站色视频| 久久久久久亚洲精品国产蜜桃av| 亚洲成人免费电影在线观看| 在线观看美女被高潮喷水网站 | 美女大奶头视频| 国产成人影院久久av| 亚洲成av人片在线播放无| 国产av一区二区精品久久| 日韩有码中文字幕| 黑人巨大精品欧美一区二区mp4| 午夜福利免费观看在线| 亚洲在线自拍视频| 两个人免费观看高清视频| 欧美日韩一级在线毛片| 国产亚洲精品久久久久久毛片| 嫩草影院精品99| 亚洲欧洲精品一区二区精品久久久| 久久精品人妻少妇| 欧美黑人巨大hd| 波多野结衣巨乳人妻| 两个人免费观看高清视频| 非洲黑人性xxxx精品又粗又长| 精品福利观看| 91av网站免费观看| 啦啦啦韩国在线观看视频| 少妇人妻一区二区三区视频| 无人区码免费观看不卡| 精品一区二区三区视频在线观看免费| 欧美zozozo另类| 国产99久久九九免费精品| 美女午夜性视频免费| 99精品久久久久人妻精品| 色老头精品视频在线观看| 亚洲精品粉嫩美女一区| 在线播放国产精品三级| 精华霜和精华液先用哪个| 99在线视频只有这里精品首页| 亚洲va日本ⅴa欧美va伊人久久| 97碰自拍视频| 国产高清有码在线观看视频 | 国产av一区二区精品久久| 免费在线观看成人毛片| 久久精品91蜜桃| 舔av片在线| 观看免费一级毛片| 一区福利在线观看| 亚洲一区高清亚洲精品| 91字幕亚洲| 国产精品 国内视频| 看黄色毛片网站| 国产私拍福利视频在线观看| 狂野欧美激情性xxxx| 久久婷婷成人综合色麻豆| 亚洲一码二码三码区别大吗| 一级毛片女人18水好多| 久久人人精品亚洲av| 给我免费播放毛片高清在线观看| 亚洲色图av天堂| 嫩草影院精品99| 国产高清videossex| 亚洲va日本ⅴa欧美va伊人久久| 国产精品av视频在线免费观看| 亚洲国产欧美一区二区综合| 首页视频小说图片口味搜索| 国产亚洲精品一区二区www| 婷婷精品国产亚洲av在线| 香蕉丝袜av| e午夜精品久久久久久久| 久久久久免费精品人妻一区二区| av天堂在线播放| 香蕉丝袜av| 91麻豆av在线| 久久精品亚洲精品国产色婷小说| 亚洲国产精品sss在线观看| 欧美性猛交╳xxx乱大交人| 精品久久蜜臀av无| 免费在线观看日本一区| 又粗又爽又猛毛片免费看| 黄色视频不卡| 国产欧美日韩一区二区精品| 日日爽夜夜爽网站| 人人妻人人澡欧美一区二区| 制服丝袜大香蕉在线| 精品久久久久久成人av| 国产精品98久久久久久宅男小说| 亚洲精品一区av在线观看| 亚洲第一电影网av| 两个人的视频大全免费| 俄罗斯特黄特色一大片| e午夜精品久久久久久久| 麻豆一二三区av精品| 此物有八面人人有两片| 免费电影在线观看免费观看| 97超级碰碰碰精品色视频在线观看| 亚洲国产日韩欧美精品在线观看 | 最新在线观看一区二区三区| 757午夜福利合集在线观看| 免费电影在线观看免费观看| 欧美日韩乱码在线| 国产成人啪精品午夜网站| 亚洲一区中文字幕在线| 日韩欧美精品v在线| 夜夜爽天天搞| 一级毛片精品| 久久久久免费精品人妻一区二区| 久久人妻av系列| 神马国产精品三级电影在线观看 | 91在线观看av| 草草在线视频免费看| 无人区码免费观看不卡| 国产精品免费视频内射| 国产一区二区三区在线臀色熟女| 校园春色视频在线观看| 亚洲精品在线美女| 国产午夜精品久久久久久| 一卡2卡三卡四卡精品乱码亚洲| 成年版毛片免费区| 久久婷婷人人爽人人干人人爱| 母亲3免费完整高清在线观看| 成人18禁高潮啪啪吃奶动态图| 好男人电影高清在线观看| 两个人视频免费观看高清| 欧美成人免费av一区二区三区| 国语自产精品视频在线第100页| 亚洲片人在线观看| 亚洲精品久久国产高清桃花| 国产成人av激情在线播放| 久久久久亚洲av毛片大全| 性色av乱码一区二区三区2| 国产精品永久免费网站| 国产高清视频在线播放一区| 日本免费a在线| √禁漫天堂资源中文www| 日韩精品中文字幕看吧| 国产91精品成人一区二区三区| 色播亚洲综合网| 久久热在线av| 成人国产一区最新在线观看| 51午夜福利影视在线观看| 制服人妻中文乱码| 亚洲熟女毛片儿| 欧美性猛交黑人性爽| 国产精品亚洲av一区麻豆| 亚洲av五月六月丁香网| 国产精品九九99| 精品欧美一区二区三区在线| 黄色 视频免费看| 国产成人精品久久二区二区91| 天堂av国产一区二区熟女人妻 | 18美女黄网站色大片免费观看| 一区二区三区国产精品乱码| 男女下面进入的视频免费午夜| 男人的好看免费观看在线视频 | 国产av不卡久久| 精品午夜福利视频在线观看一区| 亚洲国产日韩欧美精品在线观看 | 亚洲av中文字字幕乱码综合| 久久精品aⅴ一区二区三区四区| tocl精华| 国产亚洲精品综合一区在线观看 | 色尼玛亚洲综合影院| 欧美三级亚洲精品| av在线播放免费不卡| 国内毛片毛片毛片毛片毛片| 在线观看免费日韩欧美大片| 国产三级中文精品| 午夜a级毛片| 久久性视频一级片| 一本综合久久免费| 久久婷婷人人爽人人干人人爱| 一区二区三区高清视频在线| 久久中文字幕人妻熟女| 亚洲美女视频黄频| 久久久久国内视频| 成人一区二区视频在线观看| 亚洲av成人不卡在线观看播放网| 国产精品av久久久久免费| 欧美中文综合在线视频| 久久久国产成人免费| 婷婷亚洲欧美| av有码第一页| 蜜桃久久精品国产亚洲av| 国产精品综合久久久久久久免费| 夜夜爽天天搞| 一本综合久久免费| 十八禁网站免费在线| 熟女少妇亚洲综合色aaa.| 免费看a级黄色片| 精品熟女少妇八av免费久了| 精品国产超薄肉色丝袜足j| 母亲3免费完整高清在线观看| 国产又黄又爽又无遮挡在线| 精品电影一区二区在线| 一个人观看的视频www高清免费观看 | 国产精品一区二区三区四区免费观看 | 一a级毛片在线观看| 91国产中文字幕| 亚洲国产日韩欧美精品在线观看 | 亚洲欧美精品综合一区二区三区| 午夜免费激情av| 亚洲国产高清在线一区二区三| 国产精华一区二区三区| 老汉色∧v一级毛片| 午夜免费激情av| 999久久久精品免费观看国产| 精品欧美国产一区二区三| 99久久久亚洲精品蜜臀av| 午夜精品久久久久久毛片777| 每晚都被弄得嗷嗷叫到高潮| 午夜激情福利司机影院| 村上凉子中文字幕在线| 精品午夜福利视频在线观看一区| 久久99热这里只有精品18| 91大片在线观看| 国产主播在线观看一区二区| 国产97色在线日韩免费| 国产精品99久久99久久久不卡| 岛国在线观看网站| 久久久久久国产a免费观看| 91老司机精品| 午夜a级毛片| 99精品久久久久人妻精品| 国产免费男女视频| 亚洲av成人av| 在线播放国产精品三级| 天天躁狠狠躁夜夜躁狠狠躁| 欧美人与性动交α欧美精品济南到| 国产黄片美女视频| 男女视频在线观看网站免费 | 亚洲七黄色美女视频| 亚洲色图av天堂| 日韩高清综合在线| 久久久久久人人人人人| 两人在一起打扑克的视频| 2021天堂中文幕一二区在线观| 成年免费大片在线观看| 国产主播在线观看一区二区| 黄色a级毛片大全视频| 久久久久久国产a免费观看| 中文资源天堂在线| cao死你这个sao货| 在线观看www视频免费| 可以在线观看的亚洲视频| 最好的美女福利视频网| 欧美中文综合在线视频| 日本精品一区二区三区蜜桃| 精品高清国产在线一区| 国产高清有码在线观看视频 | 亚洲七黄色美女视频| 亚洲国产日韩欧美精品在线观看 | 国产av不卡久久| 国产视频内射| 国产爱豆传媒在线观看 | 国产精品亚洲一级av第二区| 国产一区二区在线观看日韩| 在线播放国产精品三级| 99在线人妻在线中文字幕| 欧美高清成人免费视频www| 免费观看人在逋| 国产精品.久久久| 美女cb高潮喷水在线观看| 国产精品综合久久久久久久免费| 久久久国产成人精品二区| www日本黄色视频网| 久久精品久久久久久久性| 夫妻性生交免费视频一级片| 夜夜看夜夜爽夜夜摸| 91久久精品国产一区二区成人| 欧美激情国产日韩精品一区| 国产精品三级大全| 精品久久久噜噜| 一区福利在线观看| 欧美丝袜亚洲另类| 女人十人毛片免费观看3o分钟| 国产午夜精品一二区理论片| 国产精品人妻久久久影院| 久久精品国产亚洲av天美| 热99在线观看视频| 欧美成人免费av一区二区三区| 亚洲欧美精品专区久久| 麻豆国产av国片精品| 人体艺术视频欧美日本| 一夜夜www| 亚洲欧美成人精品一区二区| 麻豆国产97在线/欧美| 麻豆一二三区av精品| 久久久精品欧美日韩精品| 伦精品一区二区三区| 69人妻影院| 网址你懂的国产日韩在线| 欧美xxxx黑人xx丫x性爽| 精品熟女少妇av免费看| 久久九九热精品免费| 国产熟女欧美一区二区| 亚洲精品影视一区二区三区av| 岛国毛片在线播放| 日本爱情动作片www.在线观看| 国产精品99久久久久久久久| 我要搜黄色片| 精品少妇黑人巨大在线播放 | 综合色av麻豆| 日本在线视频免费播放| 午夜视频国产福利| 久久精品夜夜夜夜夜久久蜜豆| 久久精品国产亚洲网站| 国产精品一区二区性色av| 18禁裸乳无遮挡免费网站照片| 少妇熟女aⅴ在线视频| 日韩欧美精品v在线| 在线观看美女被高潮喷水网站| 久久久欧美国产精品| 精品午夜福利在线看| 久久久久久久亚洲中文字幕| 国产精品,欧美在线| 亚洲第一电影网av| 亚洲综合色惰| 国产在视频线在精品| 亚洲av男天堂| 少妇被粗大猛烈的视频| 一卡2卡三卡四卡精品乱码亚洲| 精品一区二区免费观看| 午夜久久久久精精品| 爱豆传媒免费全集在线观看| 中文字幕久久专区| 狠狠狠狠99中文字幕| 成人亚洲欧美一区二区av| 久久精品夜色国产| 男女做爰动态图高潮gif福利片| 可以在线观看毛片的网站| 日日干狠狠操夜夜爽| 身体一侧抽搐| 老司机福利观看| 中文精品一卡2卡3卡4更新| 国产免费男女视频| 久久久色成人| 黄片wwwwww| 亚洲欧美日韩高清在线视频| 亚洲av第一区精品v没综合| 不卡一级毛片| 国产精品久久久久久久久免| 波多野结衣高清作品| 国产伦理片在线播放av一区 | 亚洲美女搞黄在线观看| 成年女人永久免费观看视频| 人人妻人人澡人人爽人人夜夜 | 久久久久久国产a免费观看| 伊人久久精品亚洲午夜| 日韩亚洲欧美综合| 日本色播在线视频| 大又大粗又爽又黄少妇毛片口| 精品免费久久久久久久清纯| 免费观看在线日韩| 婷婷色av中文字幕| 久久精品影院6| 久久久久国产网址| 可以在线观看的亚洲视频| 久久亚洲精品不卡| 小蜜桃在线观看免费完整版高清| 国产成人a∨麻豆精品| 欧美+亚洲+日韩+国产| 国产精品永久免费网站| 青春草亚洲视频在线观看| 国产熟女欧美一区二区| 干丝袜人妻中文字幕| 亚洲国产欧美在线一区| 久久鲁丝午夜福利片| 亚洲国产色片| 少妇人妻一区二区三区视频| 男女那种视频在线观看| 一夜夜www| 边亲边吃奶的免费视频| 欧美成人精品欧美一级黄| 麻豆国产97在线/欧美| 亚洲av二区三区四区| 人妻系列 视频| 色吧在线观看| 天天一区二区日本电影三级| 日韩亚洲欧美综合| 成人国产麻豆网| 18+在线观看网站| 能在线免费看毛片的网站| 12—13女人毛片做爰片一| 晚上一个人看的免费电影| 男女边吃奶边做爰视频| 精品不卡国产一区二区三区| 干丝袜人妻中文字幕| 天堂√8在线中文| 黄色一级大片看看| 少妇人妻精品综合一区二区 | 又爽又黄无遮挡网站| 又粗又硬又长又爽又黄的视频 | 日本免费a在线| 边亲边吃奶的免费视频| 99久久人妻综合| 国产精品女同一区二区软件| 成人毛片60女人毛片免费| 日本三级黄在线观看| 99九九线精品视频在线观看视频| 国内精品美女久久久久久| 亚洲精品456在线播放app| 国产一区二区亚洲精品在线观看| 亚洲经典国产精华液单| 麻豆av噜噜一区二区三区| 久久精品影院6| 夫妻性生交免费视频一级片| 色视频www国产| 亚洲内射少妇av| 精品不卡国产一区二区三区| 亚洲精品456在线播放app| 国国产精品蜜臀av免费| 黄色日韩在线| 国产精品一二三区在线看| 天堂√8在线中文| 在线a可以看的网站| 久久草成人影院| 国产一区二区在线av高清观看| 波野结衣二区三区在线| 又爽又黄无遮挡网站| 国产精品日韩av在线免费观看| 熟女电影av网| 一卡2卡三卡四卡精品乱码亚洲| 中文字幕熟女人妻在线| 国产成人精品久久久久久| 亚洲图色成人| 日韩成人av中文字幕在线观看| 日本免费一区二区三区高清不卡| 国产亚洲av片在线观看秒播厂 |