一種數(shù)據(jù)處理方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及業(yè)務(wù)支撐技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置和系統(tǒng)
【背景技術(shù)】
[0002]獨(dú)立磁盤冗余陣列(RedundantArrays of Inexpensive Disks, RAID)簡(jiǎn)稱磁盤陣列，是由很多價(jià)格較便宜的磁盤，組合成一個(gè)容量巨大的磁盤組，利用個(gè)別磁盤提供數(shù)據(jù)所產(chǎn)生加成效果提升整個(gè)磁盤系統(tǒng)效能。利用這項(xiàng)技術(shù)，將數(shù)據(jù)切割成許多區(qū)段，分別存放在各個(gè)磁盤上。
[0003]除此之外，一般的磁盤陣列都具有數(shù)據(jù)校驗(yàn)功能，其中數(shù)據(jù)校驗(yàn)功能是在本地?cái)?shù)據(jù)發(fā)生損壞后，利用校驗(yàn)信息可以使損壞的數(shù)據(jù)得以恢復(fù)，從而保證本地?cái)?shù)據(jù)的安全性。
[0004]目前校驗(yàn)信息和本地?cái)?shù)據(jù)都是存儲(chǔ)在本地磁盤中，這樣就會(huì)大量浪費(fèi)本地存儲(chǔ)空間。比如在大規(guī)模并行處理計(jì)算機(jī)(Massive Parallel Processing,MPP)數(shù)據(jù)庫(kù)集群系統(tǒng)中，如果采用四個(gè)磁盤的RAID5，那么校驗(yàn)信息要占總存儲(chǔ)空間的四分之一。如果說(shuō)需要存放300T的數(shù)據(jù)，那么本地集群需要有400T的存儲(chǔ)空間。假如說(shuō)每個(gè)磁盤可以存儲(chǔ)IT的數(shù)據(jù)，那么就需要400個(gè)磁盤來(lái)滿足要求。但是MPP數(shù)據(jù)庫(kù)同時(shí)對(duì)磁盤的數(shù)量有嚴(yán)格的要求，如果說(shuō)此MPP數(shù)據(jù)庫(kù)超過(guò)300個(gè)磁盤集群的性能會(huì)嚴(yán)重下降或者說(shuō)機(jī)柜只能放置300個(gè)磁盤，此時(shí)400個(gè)磁盤的話就不得不采用兩個(gè)集群，這樣集群的性能也會(huì)造成很嚴(yán)重的影響。
【發(fā)明內(nèi)容】
[0005]本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法、裝置和系統(tǒng)，用以解決現(xiàn)有技術(shù)中本地磁盤陣列的磁盤利用率較低的問(wèn)題。
[0006]本發(fā)明實(shí)施例采用以下技術(shù)方案:
[0007]本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法，包括:
[0008]本地獨(dú)立磁盤冗余陣列RAID卡向下掛的本地磁盤陣列中的第一本地磁盤寫入數(shù)據(jù)后，讀取用于計(jì)算所述第一本地磁盤的校驗(yàn)信息的全部數(shù)據(jù)；
[0009]按照預(yù)先設(shè)置的校驗(yàn)算法對(duì)讀取的全部數(shù)據(jù)進(jìn)行校驗(yàn)計(jì)算，生成第一校驗(yàn)信息；
[0010]將所述第一校驗(yàn)信息發(fā)送給網(wǎng)絡(luò)RAID卡，指示所述網(wǎng)絡(luò)RAID卡將所述第一校驗(yàn)信息存儲(chǔ)在其下掛的網(wǎng)絡(luò)磁盤陣列中；其中，所述本地RAID卡和所述網(wǎng)絡(luò)RAID卡位于同一局域網(wǎng)中的不同存儲(chǔ)設(shè)備中。
[0011]可選的，將所述第一校驗(yàn)信息發(fā)送給網(wǎng)絡(luò)RAID卡之前，所述方法還包括:
[0012]根據(jù)預(yù)先設(shè)置的所述本地磁盤陣列中的本地磁盤和所述網(wǎng)絡(luò)磁盤陣列中的網(wǎng)絡(luò)磁盤之間的映射關(guān)系，確定所述第一本地磁盤對(duì)應(yīng)的第一網(wǎng)絡(luò)磁盤；則
[0013]將所述第一校驗(yàn)信息發(fā)送給所述網(wǎng)絡(luò)RAID卡，指示所述網(wǎng)絡(luò)RAID卡將所述第一校驗(yàn)信息存儲(chǔ)在其下掛的網(wǎng)絡(luò)磁盤陣列中，具體包括:
[0014]將所述第一校驗(yàn)信息和所述第一網(wǎng)絡(luò)磁盤的標(biāo)識(shí)發(fā)送給所述網(wǎng)絡(luò)RAID卡，指示所述網(wǎng)絡(luò)RAID卡根據(jù)所述第一校驗(yàn)信息對(duì)所述第一網(wǎng)絡(luò)磁盤進(jìn)行更新。
[0015]可選的，所述方法還包括:
[0016]當(dāng)所述本地磁盤陣列中的第二本地磁盤存儲(chǔ)的數(shù)據(jù)損壞時(shí)，根據(jù)所述映射關(guān)系，確定所述第二本地磁盤對(duì)應(yīng)的第二網(wǎng)絡(luò)磁盤；
[0017]向所述網(wǎng)絡(luò)RAID卡發(fā)送獲取請(qǐng)求，所述獲取請(qǐng)求中攜帶所述第二網(wǎng)絡(luò)磁盤的磁盤標(biāo)識(shí)，以便所述網(wǎng)絡(luò)RAID卡能夠從所述第二網(wǎng)絡(luò)磁盤中獲取第二校驗(yàn)信息并發(fā)送給所述本地RAID卡；
[0018]接收所述網(wǎng)絡(luò)RAID卡發(fā)送的所述第二校驗(yàn)信息；
[0019]按照所述校驗(yàn)算法，對(duì)所述第二校驗(yàn)信息和預(yù)先讀取的用于計(jì)算所述第二本地磁盤對(duì)應(yīng)的校驗(yàn)信息的全部數(shù)據(jù)進(jìn)行計(jì)算，并利用計(jì)算得到的數(shù)據(jù)對(duì)所述第二本地磁盤進(jìn)行恢復(fù)。
[0020]可選的，所述方法還包括:
[0021]當(dāng)所述本地RAID卡的IP地址發(fā)生變化時(shí)，所述本地RAID卡向所述網(wǎng)絡(luò)RAID卡發(fā)送第一地址變化通知消息，所述第一地址變化通知消息中攜帶所述本地RAID卡變化后的IP地址，以便所述網(wǎng)絡(luò)RAID卡能夠根據(jù)所述本地RAID卡變化后的IP地址與所述本地RAID卡進(jìn)行通信。
[0022]可選的，所述本地RAID卡中預(yù)先存儲(chǔ)所述網(wǎng)絡(luò)RAID卡的IP地址；則
[0023]所述方法還包括:
[0024]所述本地RAID卡接收所述網(wǎng)絡(luò)RAID卡發(fā)送的第二地址變化通知消息，所述第二地址變化通知消息中攜帶所述網(wǎng)絡(luò)RAID卡變化后的IP地址；
[0025]根據(jù)所述網(wǎng)絡(luò)RAID卡變化后的IP地址，對(duì)預(yù)先存儲(chǔ)的所述網(wǎng)絡(luò)RAID卡的IP地址進(jìn)行更新，以便能夠根據(jù)所述網(wǎng)絡(luò)RAID卡變化后的IP地址與所述網(wǎng)絡(luò)RAID卡進(jìn)行通信。
[0026]本發(fā)明實(shí)施例還提供了一種本地獨(dú)立磁盤冗余陣列RAID卡，所述本地RAID卡和網(wǎng)絡(luò)RAID卡位于同一局域網(wǎng)中的不同存儲(chǔ)設(shè)備中，其中，所述本地RAID卡包括:
[0027]讀取單元，用于向下掛的本地磁盤陣列中的第一本地磁盤寫入數(shù)據(jù)后，讀取用于計(jì)算所述第一本地磁盤的校驗(yàn)信息的全部數(shù)據(jù)；
[0028]第一校驗(yàn)信息生成單元，用于按照預(yù)先設(shè)置的校驗(yàn)算法對(duì)讀取單元讀取的全部數(shù)據(jù)進(jìn)行校驗(yàn)計(jì)算，生成第一校驗(yàn)信息；
[0029]第一校驗(yàn)信息發(fā)送單元，用于將第一校驗(yàn)信息生成單元生成的第一校驗(yàn)信息發(fā)送給所述網(wǎng)絡(luò)RAID卡，指示所述網(wǎng)絡(luò)RAID卡將所述第一校驗(yàn)信息存儲(chǔ)在其下掛的網(wǎng)絡(luò)磁盤陣列中。
[0030]可選的，所述本地RAID卡還包括:
[0031]第一網(wǎng)絡(luò)磁盤確定單元，用于根據(jù)預(yù)先設(shè)置的所述本地磁盤陣列中的本地磁盤和所述網(wǎng)絡(luò)磁盤陣列中的網(wǎng)絡(luò)磁盤之間的映射關(guān)系，確定所述第一本地磁盤對(duì)應(yīng)的第一網(wǎng)絡(luò)磁盤；則
[0032]所述第一校驗(yàn)信息發(fā)送單元，具體用于:
[0033]將第一校驗(yàn)信息生成單元生成的第一校驗(yàn)信息和第一網(wǎng)絡(luò)磁盤確定單元確定的第一網(wǎng)絡(luò)磁盤的標(biāo)識(shí)發(fā)送給所述網(wǎng)絡(luò)RAID卡，指示所述網(wǎng)絡(luò)RAID卡根據(jù)所述第一校驗(yàn)信息對(duì)所述第一網(wǎng)絡(luò)磁盤進(jìn)行更新。
[0034]可選的，所述本地RAID卡還包括:
[0035]第二網(wǎng)絡(luò)磁盤確定單元，用于當(dāng)所述本地磁盤陣列中的第二本地磁盤存儲(chǔ)的數(shù)據(jù)損壞時(shí)，根據(jù)所述映射關(guān)系，確定所述第二本地磁盤對(duì)應(yīng)的第二網(wǎng)絡(luò)磁盤；
[0036]獲取請(qǐng)求發(fā)送單元，用于向所述網(wǎng)絡(luò)RAID卡發(fā)送獲取請(qǐng)求，所述獲取請(qǐng)求中攜帶第二網(wǎng)絡(luò)磁盤確定單元確定出的第二網(wǎng)絡(luò)磁盤的磁盤標(biāo)識(shí)，以便所述網(wǎng)絡(luò)RAID卡能夠從所述第二網(wǎng)絡(luò)磁盤中獲取第二校驗(yàn)信息并發(fā)送給所述本地RAID卡；
[0037]第二校驗(yàn)信息接收單元，用于接收所述網(wǎng)絡(luò)RAID卡發(fā)送的所述第二校驗(yàn)信息；
[0038]恢復(fù)單元，用于按照所述校驗(yàn)算法，對(duì)第二校驗(yàn)信息接收單元接收到的第二校驗(yàn)信息和預(yù)先讀取的與所述第二本地磁盤位于同一帶區(qū)的其它本地磁盤中存儲(chǔ)的全部數(shù)據(jù)進(jìn)行計(jì)算，并利用計(jì)算得到的數(shù)據(jù)對(duì)所述第二本地磁盤進(jìn)行恢復(fù)。
[0039]可選的，所述本地RAID卡還包括:
[0040]第一地址變化通知消息發(fā)送單元，用于當(dāng)所述本地RAID卡的IP地址發(fā)生變化時(shí)，向所述網(wǎng)絡(luò)RAID卡發(fā)送第一地址變化通知消息，所述第一地址變化通知消息中攜帶所述本地RAID卡變化后的IP地址，以便所述網(wǎng)絡(luò)RAID卡能夠根據(jù)所述本地RAID卡變化后的IP地址與所述本地RAID卡進(jìn)行通信。
[0041]可選的，所述本地RAID卡還包括:
[0042]IP地址存儲(chǔ)單元，用于預(yù)先存儲(chǔ)所述網(wǎng)絡(luò)RAID卡的IP地址；則
[0043]所述本地RAID卡還包括:
[0044]第二地址變化通知消息接收單元，用于接收所述網(wǎng)絡(luò)RAID卡發(fā)送的第二地址變化通知消息，所述第二地址變化通知消息中攜帶所述網(wǎng)絡(luò)RAID卡變化后的IP地址；
[0045]IP地址更新單元，用于根據(jù)第二地址變化通知消息接收單元接收到的所述網(wǎng)絡(luò)RAID卡變化后的IP地址，對(duì)IP地址存儲(chǔ)單元中預(yù)先存儲(chǔ)的所述網(wǎng)絡(luò)RAID卡的IP地址進(jìn)行更新，以便能夠根據(jù)所述網(wǎng)絡(luò)RAID卡變化后的IP地址與所述網(wǎng)絡(luò)RAID卡進(jìn)行通信。
[0046]本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)處理系統(tǒng)，包括:位于同一局域網(wǎng)中的不同存儲(chǔ)設(shè)備中的本地獨(dú)立磁盤冗余陣列RAID卡和網(wǎng)絡(luò)RAID卡，所述本地RAID卡下掛本地磁盤陣列，所述網(wǎng)絡(luò)RAID卡下掛網(wǎng)絡(luò)磁盤陣列，其中:
[0047]所述本地RAID卡，用于向下掛的本地磁盤陣列中的第一本地磁盤寫入數(shù)據(jù)后，讀取用于計(jì)算所述第一本地磁盤的校驗(yàn)信息的全部數(shù)據(jù)；按照預(yù)先設(shè)置的校驗(yàn)算法對(duì)讀取的全部數(shù)據(jù)進(jìn)行校驗(yàn)計(jì)算，生成第一校驗(yàn)信息；將所述第一校驗(yàn)信息發(fā)送給所述網(wǎng)絡(luò)RAID卡，指示所述網(wǎng)絡(luò)RAID卡將所述第一校驗(yàn)信息存儲(chǔ)在其下掛的網(wǎng)絡(luò)磁盤陣列中；
[0048]所述網(wǎng)絡(luò)RAID卡，用于接收所述第一校驗(yàn)信息；并將所述第一校驗(yàn)信息存儲(chǔ)在其下掛的網(wǎng)絡(luò)磁盤陣列中。
[0049]本發(fā)明實(shí)施例的有益效果如下:
[0050]本技術(shù)方案與現(xiàn)有技術(shù)相比，不再是將本地?cái)?shù)據(jù)和校驗(yàn)信息同時(shí)存儲(chǔ)在本地磁盤中，而是將校驗(yàn)信息存儲(chǔ)在與本地磁盤位于同一局域網(wǎng)的網(wǎng)絡(luò)磁盤上，使得本地磁盤全都用來(lái)存儲(chǔ)本地?cái)?shù)據(jù)，從而大大減少了本地存儲(chǔ)空間的浪費(fèi)，最大限度的提高了本地磁盤的利用率。
【附圖說(shuō)明】
[0051]圖1為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)處理方法的實(shí)現(xiàn)流程圖；
[0052]圖2為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)恢復(fù)方法的具體實(shí)現(xiàn)流程圖；
[0053]圖3為本發(fā)明實(shí)施例提供的用于實(shí)現(xiàn)數(shù)據(jù)處理方法的系統(tǒng)架構(gòu)圖；
[0054]圖4為