一種數(shù)據(jù)處理系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體涉及數(shù)據(jù)處理方法及系統(tǒng)。
【背景技術(shù)】
[0002]2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域泰斗--Geoffrey Hinton和他的學(xué)生Ruslan Salakhutdinov在頂尖學(xué)術(shù)刊物《科學(xué)》上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。自2006年以來，深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。斯坦福大學(xué)、紐約大學(xué)、加拿大蒙特利爾大學(xué)等成為研究深度學(xué)習(xí)的重鎮(zhèn)。2010年，美國國防部DARPA計(jì)劃首次資助深度學(xué)習(xí)項(xiàng)目，參與方有斯坦福大學(xué)、紐約大學(xué)和NEC美國研究院。支持深度學(xué)習(xí)的一個(gè)重要依據(jù)，就是腦神經(jīng)系統(tǒng)的確具有豐富的層次結(jié)構(gòu)。一個(gè)最著名的例子就是Hubel-ffiesel模型，由于揭示了視覺神經(jīng)的機(jī)理而曾獲得諾貝爾醫(yī)學(xué)與生理學(xué)獎(jiǎng)。除了仿生學(xué)的角度，目前深度學(xué)習(xí)的理論研究還基本處于起步階段，但在應(yīng)用領(lǐng)域已顯現(xiàn)出巨大能量。2011年以來，微軟研究院和Google的語音識別研究人員先后采用DNN技術(shù)降低語音識別錯(cuò)誤率20%?30%，是語音識別領(lǐng)域十多年來最大的突破性進(jìn)展。2012年，DNN技術(shù)在圖像識別領(lǐng)域取得驚人的效果，在ImageNet評測上將錯(cuò)誤率從26%降低到15%。在這一年，DNN還被應(yīng)用于制藥公司的Druge Activity預(yù)測問題，并獲得世界最好成績，這一重要成果被《紐約時(shí)報(bào)》報(bào)道。
[0003]如今Google、微軟、百度等知名的擁有大數(shù)據(jù)的高科技公司爭相投入資源，占領(lǐng)深度學(xué)習(xí)的技術(shù)制高點(diǎn)，正是因?yàn)樗鼈兌伎吹搅嗽诖髷?shù)據(jù)時(shí)代，更加復(fù)雜且更加強(qiáng)大的深度模型能深刻揭示海量數(shù)據(jù)里所承載的復(fù)雜而豐富的信息，并對未來或未知事件做更精準(zhǔn)的預(yù)測。
[0004]目前深度學(xué)習(xí)應(yīng)用包括語音識別、圖像識別、自然語言處理、搜索廣告CTR預(yù)估等，這些應(yīng)用的計(jì)算量十分巨大，其需要大規(guī)模計(jì)算，采用GPU高性能計(jì)算將進(jìn)一步提升應(yīng)用處理效率，基于GPU來設(shè)計(jì)深度學(xué)習(xí)系統(tǒng)是一個(gè)不錯(cuò)的選擇。
【發(fā)明內(nèi)容】
:
[0005]本發(fā)明提供一種數(shù)據(jù)處理系統(tǒng)及方法，提高了計(jì)算效率。
[0006]為解決上述技術(shù)問題，本發(fā)明提供一種數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)包括:一個(gè)主節(jié)點(diǎn)，多個(gè)從節(jié)點(diǎn)；
[0007]所述主節(jié)點(diǎn)用于分批讀取待處理的數(shù)據(jù)；還用于每次讀取后將待處理的數(shù)據(jù)分發(fā)到各從節(jié)點(diǎn)，根據(jù)各所述從節(jié)點(diǎn)返回的權(quán)重更新網(wǎng)絡(luò)，將所述更新后的網(wǎng)絡(luò)信息參數(shù)發(fā)送給各所述從節(jié)點(diǎn)后，讀取下一批待處理的數(shù)據(jù)；
[0008]所述從節(jié)點(diǎn)用于對接收的所述主節(jié)點(diǎn)分發(fā)的數(shù)據(jù)進(jìn)行前向后向計(jì)算后得出權(quán)重，返回給所述主節(jié)點(diǎn)。
[0009]優(yōu)選地，
[0010]所述主節(jié)點(diǎn)包括兩個(gè)CPU和一個(gè)GPU ；[0011 ]所述從節(jié)點(diǎn)包括兩個(gè)CPU和兩個(gè)GPU ；
[0012]所述主節(jié)點(diǎn)及所述各從節(jié)點(diǎn)采用CPU和GPU異構(gòu)架構(gòu)的混合集群系統(tǒng)模式。
[0013]優(yōu)選地，
[0014]所述系統(tǒng)還包括并行分布式Lustre存儲:
[0015]所述主節(jié)點(diǎn)用于分批讀取待處理的數(shù)據(jù)具體是指:
[0016]所述主節(jié)點(diǎn)從所述Lustre存儲中并行讀取數(shù)據(jù)。
[0017]優(yōu)選地，
[0018]所述Lustre存儲支持多進(jìn)行或多線程并行讀寫。
[0019]優(yōu)選地，
[0020]所述主節(jié)點(diǎn)與所述各從節(jié)點(diǎn)之間采用遠(yuǎn)程直接數(shù)據(jù)存取RDMA方式接收/發(fā)送數(shù)據(jù)。
[0021]優(yōu)選地，
[0022]所述從節(jié)點(diǎn)配置1塊IB網(wǎng)卡，所述主節(jié)點(diǎn)和所述各從節(jié)點(diǎn)之間通過IB網(wǎng)絡(luò)互連；
[0023]所述主節(jié)點(diǎn)及所述各節(jié)點(diǎn)內(nèi)CPU與GPU之間通過PCIE 3.0標(biāo)準(zhǔn)。
[0024]優(yōu)選地，
[0025]所述從節(jié)點(diǎn)的個(gè)數(shù)不大于8。
[0026]本發(fā)明還提供一種數(shù)據(jù)處理的方法，應(yīng)用于如權(quán)利要求1至7任一所述的系統(tǒng)中，所述方法包括:
[0027]步驟S1、所述主節(jié)點(diǎn)讀取待處理的數(shù)據(jù)分發(fā)到各從節(jié)點(diǎn)；
[0028]步驟S2、所述主節(jié)點(diǎn)接收所述各從節(jié)點(diǎn)返回的權(quán)重；
[0029]步驟S3、所述主節(jié)點(diǎn)根據(jù)所述各從節(jié)點(diǎn)返回的權(quán)重更新網(wǎng)絡(luò)，并將所述更新后的網(wǎng)絡(luò)信息參數(shù)發(fā)送給所述各從節(jié)點(diǎn)。
[0030]步驟S4、主節(jié)點(diǎn)發(fā)送更新后的網(wǎng)絡(luò)后，檢查是否還存在待處理的數(shù)據(jù)，如果存在，則返回S1。
[0031]優(yōu)選地，
[0032]所述步驟S1后，步驟S2前，所述方法還包括:
[0033]步驟S11、所述各從節(jié)點(diǎn)的GPU根據(jù)所述網(wǎng)絡(luò)信息參數(shù)對接收的所述主節(jié)點(diǎn)分發(fā)的數(shù)據(jù)進(jìn)行前向后向計(jì)算后得出權(quán)重；
[0034]所述S2包括:
[0035]所述主節(jié)點(diǎn)的GPU接收所述各從節(jié)點(diǎn)發(fā)送的權(quán)重。
[0036]優(yōu)選地，
[0037]所述步驟S1前，所述方法還包括:
[0038]步驟S0、所述主節(jié)點(diǎn)從并行分布式Lustre存儲中并行讀取數(shù)據(jù)。
[0039]上述方案采用主從計(jì)算模式，從而減少了深度學(xué)習(xí)應(yīng)用處理時(shí)間，提升了計(jì)算效率。
【附圖說明】
[0040]圖1為實(shí)施例一中的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖；
[0041]圖2為實(shí)施例一中的數(shù)據(jù)處理方法的流程圖；
[0042]圖3為實(shí)施例二中的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖；
[0043]圖4為實(shí)施例二中的Lustre存儲與主節(jié)點(diǎn)的連接示意圖；
[0044]圖5為實(shí)施例二中的數(shù)據(jù)處理系統(tǒng)的邏輯關(guān)系示意圖。
【具體實(shí)施方式】
[0045]為使本申請的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下文中將結(jié)合附圖對本申請的實(shí)施例進(jìn)行詳細(xì)說明。需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。
[0046]實(shí)施例一
[0047]如圖1所示，本發(fā)明提供一種數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)包括:一個(gè)主節(jié)點(diǎn)11，多個(gè)從節(jié)點(diǎn)12 ;
[0048]所述主節(jié)點(diǎn)11用于分批讀取待處理的數(shù)據(jù)；還用于每次讀取后將待處理的數(shù)據(jù)分發(fā)到各從節(jié)點(diǎn)，根據(jù)各所述從節(jié)點(diǎn)返回的權(quán)重更新網(wǎng)絡(luò)，將所述更新后的網(wǎng)絡(luò)信息參數(shù)發(fā)送給各所述從節(jié)點(diǎn)后，讀取下一批待處理的數(shù)據(jù)；
[0049]所述從節(jié)點(diǎn)12用于對接收的所述主節(jié)點(diǎn)分發(fā)的數(shù)據(jù)進(jìn)行前向后向計(jì)算后得出權(quán)重，返回給所述主節(jié)點(diǎn)。
[0050]在本實(shí)施例中，從節(jié)點(diǎn)的個(gè)數(shù)可以設(shè)置為不大于8。主節(jié)點(diǎn)11包括兩個(gè)CPU121和一個(gè)GPU122 ;從節(jié)點(diǎn)12包括兩個(gè)CPU121和兩個(gè)GPU122 ;主節(jié)點(diǎn)及各從節(jié)點(diǎn)采用CPU和GPU異構(gòu)架構(gòu)的混合集群系統(tǒng)模式。
[0051]優(yōu)選地，
[0052]所述系統(tǒng)還包括并行分布式Lustre存儲13:Lustre存儲13支持多進(jìn)行或多線程并行讀寫。主節(jié)點(diǎn)11從Lustre存儲中并行讀取數(shù)據(jù)。
[0053]主節(jié)點(diǎn)與各從節(jié)點(diǎn)之間采用遠(yuǎn)程直接數(shù)據(jù)存取RDMA方式接收/發(fā)送數(shù)據(jù)。
[0054]優(yōu)選地，
[0055]從節(jié)點(diǎn)12配置1塊IB網(wǎng)卡，主節(jié)點(diǎn)11和各從節(jié)點(diǎn)12之間通過IB網(wǎng)絡(luò)互連；主節(jié)點(diǎn)11及各節(jié)點(diǎn)內(nèi)CPU與GPU之間通過PCIE 3.0標(biāo)準(zhǔn)。
[0056]如圖2所示，本發(fā)明還提供一種數(shù)據(jù)處理的方法，應(yīng)用于如權(quán)利要求1至7任一所述的系統(tǒng)中，所述方法包括:
[0