影片大數(shù)據(jù)轉(zhuǎn)存方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是影片大數(shù)據(jù)轉(zhuǎn)存方法。
【背景技術(shù)】
[0002]對于數(shù)據(jù)處理企業(yè)來說，特別是大數(shù)據(jù)的處理，需要將數(shù)據(jù)抽出從而組成一類數(shù)據(jù)的數(shù)據(jù)庫，而這樣的數(shù)據(jù)庫的容量是很大的，因此，在組件數(shù)據(jù)的過程中，最重要的是看中數(shù)據(jù)庫容量參數(shù)，而常規(guī)的數(shù)據(jù)庫一般的容量較小，而大型的數(shù)據(jù)庫的容量大，但建設(shè)費用很高，舉例來說，一般2TB容量的數(shù)據(jù)庫的建設(shè)費用達(dá)到十幾萬，如果要組件一個20TB容量的數(shù)據(jù)庫，則需要達(dá)到幾百萬的組件費用，對于一般小型企業(yè)來說，這是一筆龐大的開銷，因此我們需要一種能降低成本的數(shù)據(jù)庫組建方法，同時要保證這些數(shù)據(jù)的存儲要保持連續(xù)性。
【發(fā)明內(nèi)容】
[0003]本發(fā)明的目的在于提供一種影片大數(shù)據(jù)轉(zhuǎn)存方法，可以以低成本的方式組建大容量的數(shù)據(jù)庫，并保持?jǐn)?shù)據(jù)庫的連續(xù)性。
[0004]本發(fā)明的目的主要通過以下技術(shù)方案實現(xiàn):影片大數(shù)據(jù)轉(zhuǎn)存方法，包括以下步驟:
數(shù)據(jù)請求步驟:從客戶端檢索影片、設(shè)置檢索影片類型，在檢索范圍內(nèi)，從互聯(lián)網(wǎng)中獲得與該類型相關(guān)的影片數(shù)據(jù)A ;
下載步驟:客戶端下載所有影片數(shù)據(jù)A，并轉(zhuǎn)發(fā)給容量分配器；
轉(zhuǎn)發(fā)儲存步驟:容量分配器將與影片數(shù)據(jù)A分為若干個獨立的數(shù)據(jù)單元，并記載每個數(shù)據(jù)單元的容量，同時將數(shù)據(jù)單元依次按照時間軸的順序存儲到數(shù)據(jù)庫集合中，數(shù)據(jù)庫集合包括M個獨立的數(shù)據(jù)庫，M個獨立的數(shù)據(jù)庫包括數(shù)據(jù)庫1、數(shù)據(jù)庫2、……、數(shù)據(jù)庫M ;容量分配器將當(dāng)前數(shù)據(jù)單元存儲到第N數(shù)據(jù)庫后，第N數(shù)據(jù)庫返回第N數(shù)據(jù)庫的剩余容量信息，當(dāng)?shù)贜數(shù)據(jù)庫的剩余容量信息小于下一個數(shù)據(jù)單元的容量時，容量分配器開始向第N+1數(shù)據(jù)庫存儲數(shù)據(jù)單元，依次類推，直到影片數(shù)據(jù)A全部存儲完成后終止，N和M都為正整數(shù)。
[0005]上述方法的設(shè)計原理為:本發(fā)明中的數(shù)據(jù)庫集合包括M個獨立的數(shù)據(jù)庫，這些獨立的數(shù)據(jù)庫都采用小容量的數(shù)據(jù)庫，以這些低成本、小容量的數(shù)據(jù)庫按照上述存儲方法組建成可以容納大數(shù)據(jù)的數(shù)據(jù)庫，替代傳統(tǒng)大容量的數(shù)據(jù)庫，而上述獨立的數(shù)據(jù)庫的架設(shè)成本才幾千元的成本，通過上述方法架設(shè)的數(shù)據(jù)庫，在存儲的過程中依舊能保持?jǐn)?shù)據(jù)的存儲連貫性。為了說明本發(fā)明的優(yōu)勢，現(xiàn)舉例說明:我們要組件一個關(guān)于檢索范圍為“科幻片”的數(shù)據(jù)庫，而在互聯(lián)網(wǎng)上述科幻片的數(shù)量是龐大的，因此需要占用大量的存儲容量，假設(shè)I部科幻片的單個數(shù)據(jù)量為2GB，假設(shè)在互聯(lián)網(wǎng)上的科幻片的數(shù)量為I萬部，目標(biāo)數(shù)據(jù)庫的總?cè)萘恳?0TB。按照現(xiàn)有大數(shù)據(jù)庫的架設(shè)方法是，采用3個8TB的數(shù)據(jù)庫分別存儲這些數(shù)據(jù)，而3個8TB的數(shù)據(jù)庫是獨立的，之間沒有任何關(guān)聯(lián)性，而且他們之間也是不連續(xù)的，其數(shù)據(jù)的存儲也是雜亂的，我們需要調(diào)取任意一個數(shù)據(jù)時，則需要加鎖整個數(shù)據(jù)庫，因此檢索時間較長。而按照本發(fā)明的方法架設(shè)的數(shù)據(jù)庫是，采用20個ITB小容量的數(shù)據(jù)庫，每個的數(shù)據(jù)庫成本為按照3千元計算，則整個數(shù)據(jù)庫的成本為6萬，而現(xiàn)有一個8TB的數(shù)據(jù)庫的成本都高達(dá)幾十萬，因為8TB的數(shù)據(jù)庫需要更高的運算使得以及緩存條件，本發(fā)明將20個數(shù)據(jù)庫與容量分配器架設(shè)好后，容量分配器將互聯(lián)網(wǎng)上的科幻片數(shù)據(jù)按照時間軸的存儲方式進(jìn)行存儲，并制成檢索表并將該檢索表轉(zhuǎn)發(fā)至客戶端，我們在檢索時，先檢索檢索表，找到對應(yīng)檢索表后，再檢索與檢索表對應(yīng)的獨立數(shù)據(jù)庫，最后調(diào)出數(shù)據(jù)庫內(nèi)的對應(yīng)檢索內(nèi)容。
[0006]每一個數(shù)據(jù)庫的容量小于或等于1TB。
[0007]容量分配器存儲完成數(shù)據(jù)單元后，將每一個數(shù)據(jù)單元的存儲位置制成檢索表，并將該檢索表轉(zhuǎn)發(fā)至客戶端。
[0008]所有數(shù)據(jù)單元安裝時間軸進(jìn)行依次存儲。
[0009]容量分配器在存儲數(shù)據(jù)單元前，將篩選容量大于2GB的數(shù)據(jù)單元暫存，將容量小于2GB的數(shù)據(jù)單元先存儲，待所有容量小于2GB的數(shù)據(jù)單元存儲完成后，再次開始存儲容量大于2GB的數(shù)據(jù)單元。
[0010]本發(fā)明的優(yōu)點在于:成本低，數(shù)據(jù)存儲連續(xù)性好。
【附圖說明】
[0011]圖1為本發(fā)明的數(shù)據(jù)存儲示意圖。
【具體實施方式】
[0012]下面結(jié)合實施例及附圖對本發(fā)明作進(jìn)一步的詳細(xì)說明，但本發(fā)明的實施方式不限于此。
[0013]實施例1:
如圖1所示。
[0014]影片大數(shù)據(jù)轉(zhuǎn)存方法，包括以下步驟:
數(shù)據(jù)請求步驟:從客戶端檢索影片、設(shè)置檢索影片類型，在檢索范圍內(nèi)，從互聯(lián)網(wǎng)中獲得與該類型相關(guān)的影片數(shù)據(jù)A ;
下載步驟:客戶端下載所有影片數(shù)據(jù)A，并轉(zhuǎn)發(fā)給容量分配器；
轉(zhuǎn)發(fā)儲存步驟:容量分配器將與影片數(shù)據(jù)A分為若干個獨立的數(shù)據(jù)單元，并記載每個數(shù)據(jù)單元的容量，同時將數(shù)據(jù)單元依次按照時間軸的順序存儲到數(shù)據(jù)庫集合中，數(shù)據(jù)庫集合包括M個獨立的數(shù)據(jù)庫，M個獨立的數(shù)據(jù)庫包括數(shù)據(jù)庫1、數(shù)據(jù)庫2、……、數(shù)據(jù)庫M ;容量分配器將當(dāng)前數(shù)據(jù)單元存儲到第N數(shù)據(jù)庫后，第N數(shù)據(jù)庫返回第N數(shù)據(jù)庫的剩余容量信息，當(dāng)?shù)贜數(shù)據(jù)庫的剩余容量信息小于下一個數(shù)據(jù)單元的容量時，容量分配器開始向第N+1數(shù)據(jù)庫存儲數(shù)據(jù)單元，依次類推，直到影片數(shù)據(jù)A全部存儲完成后終止，N和M都為正整數(shù)。
[0015]上述方法的設(shè)計原理為:本發(fā)明中的數(shù)據(jù)庫集合包括M個獨立的數(shù)據(jù)庫，這些獨立的數(shù)據(jù)庫都采用小容量的數(shù)據(jù)庫，以這些低成本、小容量的數(shù)據(jù)庫按照上述存儲方法組建成可以容納大數(shù)據(jù)的數(shù)據(jù)庫，替代傳統(tǒng)大容量的數(shù)據(jù)庫，而上述獨立的數(shù)據(jù)庫的架設(shè)成本才幾千元的成本，通過上述方法架設(shè)的數(shù)據(jù)庫，在存儲的過程中依舊能保持?jǐn)?shù)據(jù)的存儲連貫性。為了說明本發(fā)明的優(yōu)勢，現(xiàn)舉例說明:我們要組件一個關(guān)于檢索范圍為“科幻片”的數(shù)據(jù)庫，而在互聯(lián)網(wǎng)上述科幻片的數(shù)量是龐大的，因此需要占用大量的存儲容量，假設(shè)I部科幻片的單個數(shù)據(jù)量為2GB，假設(shè)在互聯(lián)網(wǎng)上的科幻片的數(shù)量為I萬部，目標(biāo)數(shù)據(jù)庫的總?cè)萘恳?0TB。按照現(xiàn)有大數(shù)據(jù)庫的架設(shè)方法是，采用3個8TB的數(shù)據(jù)庫分別存儲這些數(shù)據(jù)，而3個8TB的數(shù)據(jù)庫是獨立的，之間沒有任何關(guān)聯(lián)性，而且他們之間也是不連續(xù)的，其數(shù)據(jù)的存儲也是雜亂的，我們需要調(diào)取任意一個數(shù)據(jù)時，則需要加鎖整個數(shù)據(jù)庫，因此檢索時間較長。而按照本發(fā)明的方法架設(shè)的數(shù)據(jù)庫是，采用20個ITB小容量的數(shù)據(jù)庫，每個的數(shù)據(jù)庫成本為按照3千元計算，則整個數(shù)據(jù)庫的成本為6萬，而現(xiàn)有一個8TB的數(shù)據(jù)庫的成本都高達(dá)幾十萬，因為8TB的數(shù)據(jù)庫需要更高的運算使得以及緩存條件，本發(fā)明將20個數(shù)據(jù)庫與容量分配器架設(shè)好后，容量分配器將互聯(lián)網(wǎng)上的科幻片數(shù)據(jù)按照時間軸的存儲方式進(jìn)行存儲，并制成檢索表并將該檢索表轉(zhuǎn)發(fā)至客戶端，我們在檢索時，先檢索檢索表，找到對應(yīng)檢索表后，再檢索與檢索表對應(yīng)的獨立數(shù)據(jù)庫，最后調(diào)出數(shù)據(jù)庫內(nèi)的對應(yīng)檢索內(nèi)容。
[0016]每一個數(shù)據(jù)庫的容量小于或等于1TB。
[0017]容量分配器存儲完成數(shù)據(jù)單元后，將每一個數(shù)據(jù)單元的存儲位置制成檢索表，并將該檢索表轉(zhuǎn)發(fā)至客戶端。
[0018]所有數(shù)據(jù)單元安裝時間軸進(jìn)行依次存儲。
[0019]容量分配器在存儲數(shù)據(jù)單元前，將篩選容量大于2GB的數(shù)據(jù)單元暫存，將容量小于2GB的數(shù)據(jù)單元先存儲，待所有容量小于2GB的數(shù)據(jù)單元存儲完成后，再次開始存儲容量大于2GB的數(shù)據(jù)單元。
[0020]如上所述，則能很好的實現(xiàn)本發(fā)明。
【主權(quán)項】
1.影片大數(shù)據(jù)轉(zhuǎn)存方法，其特征在于:包括以下步驟: 數(shù)據(jù)請求步驟:從客戶端檢索影片、設(shè)置檢索影片類型，在檢索范圍內(nèi)，從互聯(lián)網(wǎng)中獲得與該類型相關(guān)的影片數(shù)據(jù)A ; 下載步驟:客戶端下載所有影片數(shù)據(jù)A，并轉(zhuǎn)發(fā)給容量分配器； 轉(zhuǎn)發(fā)儲存步驟:容量分配器將與影片數(shù)據(jù)A分為若干個獨立的數(shù)據(jù)單元，并記載每個數(shù)據(jù)單元的容量，同時將數(shù)據(jù)單元依次按照時間軸的順序存儲到數(shù)據(jù)庫集合中，數(shù)據(jù)庫集合包括M個獨立的數(shù)據(jù)庫，M個獨立的數(shù)據(jù)庫包括數(shù)據(jù)庫1、數(shù)據(jù)庫2、……、數(shù)據(jù)庫M ;容量分配器將當(dāng)前數(shù)據(jù)單元存儲到第N數(shù)據(jù)庫后，第N數(shù)據(jù)庫返回第N數(shù)據(jù)庫的剩余容量信息，當(dāng)?shù)贜數(shù)據(jù)庫的剩余容量信息小于下一個數(shù)據(jù)單元的容量時，容量分配器開始向第N+1數(shù)據(jù)庫存儲數(shù)據(jù)單元，依次類推，直到影片數(shù)據(jù)A全部存儲完成后終止，N和M都為正整數(shù)。
2.根據(jù)權(quán)利要求1所述的影片大數(shù)據(jù)轉(zhuǎn)存方法，其特征在于:每一個數(shù)據(jù)庫的容量小于或等于1TB。
3.根據(jù)權(quán)利要求1所述的影片大數(shù)據(jù)轉(zhuǎn)存方法，其特征在于:容量分配器存儲完成數(shù)據(jù)單元后，將每一個數(shù)據(jù)單元的存儲位置制成檢索表，并將該檢索表轉(zhuǎn)發(fā)至客戶端。
4.根據(jù)權(quán)利要求1所述的影片大數(shù)據(jù)轉(zhuǎn)存方法，其特征在于:所有數(shù)據(jù)單元安裝時間軸進(jìn)行依次存儲。
5.根據(jù)權(quán)利要求1所述的影片大數(shù)據(jù)轉(zhuǎn)存方法，其特征在于:容量分配器在存儲數(shù)據(jù)單元前，將篩選容量大于2GB的數(shù)據(jù)單元暫存，將容量小于2GB的數(shù)據(jù)單元先存儲，待所有容量小于2GB的數(shù)據(jù)單元存儲完成后，再次開始存儲容量大于2GB的數(shù)據(jù)單元。
【專利摘要】本發(fā)明公開了影片大數(shù)據(jù)轉(zhuǎn)存方法，數(shù)據(jù)請求步驟：從客戶端檢索影片、設(shè)置檢索影片類型，在檢索范圍內(nèi)，從互聯(lián)網(wǎng)中獲得與該類型相關(guān)的影片數(shù)據(jù)A；下載步驟：客戶端下載所有影片數(shù)據(jù)A，并轉(zhuǎn)發(fā)給容量分配器；轉(zhuǎn)發(fā)儲存步驟：容量分配器將與影片數(shù)據(jù)A分為若干個獨立的數(shù)據(jù)單元，并記載每個數(shù)據(jù)單元的容量，同時將數(shù)據(jù)單元依次按照時間軸的順序存儲到數(shù)據(jù)庫集合中，數(shù)據(jù)庫集合包括M個獨立的數(shù)據(jù)庫，容量分配器將當(dāng)前數(shù)據(jù)單元存儲到第N數(shù)據(jù)庫后，第N數(shù)據(jù)庫返回第N數(shù)據(jù)庫的剩余容量信息，當(dāng)?shù)贜數(shù)據(jù)庫的剩余容量信息小于下一個數(shù)據(jù)單元的容量時，容量分配器開始向第N+1數(shù)據(jù)庫存儲數(shù)據(jù)單元，依次類推，直到影片數(shù)據(jù)A全部存儲完成后終止。
【IPC分類】G06F17-30
【公開號】CN104765869
【申請?zhí)枴緾N201510200119
【發(fā)明人】嚴(yán)瀾
【申請人】成都創(chuàng)行信息科技有限公司
【公開日】2015年7月8日
【申請日】2015年4月26日