6ES7313-6CF03-0AB0 摩爾定律的迫在眉睫和深度學(xué)習(xí)的不斷使用推動了針對特定神經(jīng)體系結(jié)構(gòu)進(jìn)行優(yōu)化的定制芯片的設(shè)計。這些定制芯片也被稱為加速器，可以顯著地增加可用的算力，從而提高神經(jīng)網(wǎng)絡(luò)的性能以及廣泛應(yīng)用的可能性。
在談到有關(guān)該公司是如何利用人工智能促進(jìn)其定制芯片的研發(fā)時，GoogleBrain的總監(jiān)杰夫迪恩（JeffDean）指出，在某些情況下，深度學(xué)習(xí)可以比人類做出更好的決策，像是規(guī)劃芯片中的電路布局。
2月初，Google發(fā)表了論文《阿波羅：可遷移架構(gòu)探索》（Apollo：ArchitectureExploration），講述了名為Apollo的研究項目，該項目提供了一種通用的芯片架構(gòu)探索框架。
芯片架構(gòu)指的是芯片功能組件的設(shè)計，它們?nèi)绾蜗嗷プ饔靡约败浖绦騿T應(yīng)如何訪問這些組件。例如，經(jīng)典的Intelx86處理器具有一定數(shù)量的片上內(nèi)存、專用的數(shù)學(xué)邏輯單元和寄存器以一定的組合方式組成，這種組合方式賦予「英特爾架構(gòu)」以意義。
定制芯片需要高效的架構(gòu)探索方法。然而，由于搜索空間呈指數(shù)級增長，而目標(biāo)函數(shù)又是一個黑匣子，優(yōu)化架構(gòu)的參數(shù)是一個艱巨的任務(wù)，通常需要專業(yè)知識。施加在參數(shù)上的約束進(jìn)一步使有效配置的識別變得復(fù)雜。
為了解決上述問題，Apollo程序執(zhí)行的是適合運(yùn)行某種神經(jīng)網(wǎng)絡(luò)的架構(gòu)的探索。
這樣，目標(biāo)就變成了，對于芯片架構(gòu)來說正確的參數(shù)是什么，對于給定的神經(jīng)網(wǎng)絡(luò)任務(wù)，芯片應(yīng)滿足哪些標(biāo)準(zhǔn)？
該團(tuán)隊將目標(biāo)函數(shù)定義為找到適合于給定的AI任務(wù)的某種正確的數(shù)學(xué)運(yùn)算單元組合，并對超過4.52億個參數(shù)進(jìn)行排序檢索，包括將使用多少個數(shù)學(xué)運(yùn)算單元（處理器）以及對于給定模型而言的參數(shù)存儲量和激活存儲量。
圖示：人工智能加速器芯片的搜索空間，即芯片架構(gòu)必須優(yōu)化的功能塊。許多AI芯片的特征是用于大量簡單數(shù)學(xué)運(yùn)算的并行，相同的處理器用于執(zhí)行許多矢量矩陣乘法，這是神經(jīng)網(wǎng)絡(luò)處理的主力軍。（來源：GoogleBlog）
他們選擇了一個名為MobileNet的較為簡單的AI任務(wù)進(jìn)行測試，這是一種由資源節(jié)約型網(wǎng)絡(luò)組成的卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗演示了如何利用針對復(fù)雜的高維度的定制優(yōu)化策略進(jìn)行架構(gòu)探索，并以合理的少量評估（約占搜索空間的0.0004％）產(chǎn)生大的改進(jìn)（高達(dá)24.6％）。此外，他們還測試了執(zhí)行諸如對象檢測和語義分段之類任務(wù)的工作負(fù)載。
Apollo可以采用多種方法進(jìn)行所謂的「黑盒優(yōu)化」，并且可以比較每種方法在解決不同目標(biāo)的效果，使這些方法適應(yīng)于特定的任務(wù)。
該團(tuán)隊在架構(gòu)探索的背景下探索了四種優(yōu)化策略，這些優(yōu)化策略實(shí)際上是為開發(fā)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)而設(shè)計的，包括隨機(jī)采樣、貝葉斯優(yōu)化、為「設(shè)計」DNA序列而研發(fā)的進(jìn)化搜索以及基于總體的黑盒優(yōu)化（P3BO）。
對這些優(yōu)化進(jìn)行比較的主要目的是為了有條不紊地指出最有效的方法。實(shí)驗結(jié)果表明，進(jìn)化方法和P3BO優(yōu)于隨機(jī)選擇和貝葉斯優(yōu)化。
圖示：Apollo的優(yōu)點(diǎn)是可以將各種現(xiàn)有的優(yōu)化方法相結(jié)合，以了解它們?nèi)绾卧趦?yōu)化新型芯片設(shè)計的體系結(jié)構(gòu)中相互疊加。（來源：GoogleBlog）
Apollo的搜索是高效的，可遷移的。
研究人員將P3BO與架構(gòu)解決方案的半窮盡搜索集進(jìn)行了比較，發(fā)現(xiàn)基于總體的黑盒優(yōu)化方法能夠發(fā)現(xiàn)并使用像是計算與內(nèi)存這類的電路中權(quán)衡取舍的解決方案，而這些通常需要特定領(lǐng)域的知識。并且，基于總體的方法可以找到半窮盡搜索無法找到的解決方案。
因此，Apollo能夠弄清楚不同的優(yōu)化方法在芯片設(shè)計中的效果如何。但是，它還可以做更多的事情，那就是它可以運(yùn)用「遷移學(xué)習(xí)」展示如何依次改進(jìn)這些優(yōu)化。
Yazdanbakhsh及其同事將Apollo稱為「個可遷移的架構(gòu)探索的基礎(chǔ)框架」，它在不同的芯片上工作的越多，越能更好地探索可能的芯片體系結(jié)構(gòu)，從而將學(xué)到的知識遷移到每個新任務(wù)上。研究表明，遷移學(xué)習(xí)可以有效地改善目標(biāo)體系結(jié)構(gòu)的探索，尤其是當(dāng)優(yōu)化約束具有更嚴(yán)格的界限時。
6ES7313-6CF03-0AB0 FORCE10 FORCE GIGABIT LC-EG-10GE-16P +9*GP-XFP-1L NEW!
NAVINI NETWORKS CISCO RIPWAVE MX BTS WIMAX +GPS/ANTENNA
JUNIPER SIB-TX-T640-S MULTICHASSIS SWITCH INTERFACE NEW
FORCE10 GIGABIT 16-PT PHY LINE CARD LC-EG-10GE-16P NEW!
HP 12 PORT CONTROLLER 8GB 512732-001 HSV450 NEW REF
CITRIX NETSCALER MPX 7500 ENTERPRISE LOAD BALANCER NEW!
CISCO NEXUS 5020 40 PORT FIBER FC SWITCH N5K-C5020P-BF
CISCO CRS-MSC CRS-1 V09 MODULAR SERVICES HFR CARD NEW!!
CISCO 2-PORT OC192C/STM64C 2OC192/POS-VSR-MTP LINE CARD
CISCO AXSM-4-2488-XG QUAD OC-48 STM-16 ATM SERVICE MOD
SONICWALL NSA E6500 E-CLASS APPLIANCE 01-SSC-7034 NEW!!
HP / HITACHI INTERFACE BOARD PCB DKA ASSY HITX5524255-C
DELL EMC CLARIION CX4 CX-4PDAE 15*300GB 15K CX-4G15-300
140CFX00110 Quantum
140CFX00210 Quantum
140XCA10206 Quantum
140XCA10215 Quantum
140XTS00203 Quantum
140XTS00206 Quantum
140XTS00209 Quantum
140XTS00212 Quantum
140XTS01203 Quantum
140XTS01206 Quantum
140XTS01209 Quantum
140XTS01212 Quantum
140XTS10206 Quantum
140XTS10215 Quantum
Quantum Terminal Block and Accecories 端子連接器及附件
140XCP20000 Quantum
140XCP40100 Quantum
140XCP40200 Quantum
140XCP50000 Quantum
140XCP51000 Quantum
140XCP60000 Quantum
140XCP90000 Quantum
140XCP90000C Quantum
140XSM00200 Quantum
140XSM01000 Quantum
140XTS00100 Quantum
140XTS00200 Quantum
140XTS00500 Quantum
140XTS33200 Quantum
990XCP98000 Quantum
990XTS00300 Quantum
Safety Quantum系統(tǒng)
140CPU65160S Quantum
140CPU67160S Quantum
140SAI94000S Quantum
140SDI95300S Quantum
140SDO95300S Quantum
BMEP581020
BMEP582020
BMEP582040
BMEP583020
BMEP584020
BMEP584040
BMEP585040
BMEP586040
BMEH582040
BMEH584040
CISCO 7300-1OC48POS -SMI 1 PORT OC48 POS LINE CARD
ENTERASYS DFE 72 PORT GIGABIT ETHERNET SWITCH 7G4202-72
HP P4300 G2 8*450GB SAS 15K QC 2.26GHZ E5520 4GB BK716A
HP DL380 G7 2* XEON HEX CORE 2.66GHZ X5650 16GB 2.5TB
HP DL585 G6 4* 6 CORE OPT 2.4GHZ 64GB 8*146GB 15K SAS!!
IBM 8203-E4A 4GB 2*146.8GB 15K 4.2GHZ DAT160 ESERVER!!!
JUNIPER SCB-MX960-S SWITCH CONTROL BOARD 710-021523
EXAGRID EX3000 SATA STORAGE ARRAY 3 POWER SUPPLIES 8GB!
HP X1800 NETWORK STORAGE BK777A 5*300GB QC E5530 2.4GHZ
ALCATEL 8P STM-1/STS-3C ELECTRICAL I/O CARD 90-7569-05
ALCATEL 90-2541-43 E1 75 PRI UFR OCT R3.1 NEW REFURB!!!
SUN MICROSYSTEMS SENY8BE1Z IOBOX I/O EXPANSION UNIT NEW
ALCATEL STM1-2M LR 90-4909-1B 90-4724-01 NEW REFURB!!!!
LOGLOGIC ST3010 H2.1 SERVER ARRAY 4TB (4* 500GB 7.2K)
DENON AMPLIFIER AVP-A1HDCI A/V PREAMP PROCESSOR NEW
ECI/LAUREL MARCONI BLADE NPB-1-HD-512K ST200/BXR5000
HP DL380 G6 491316-001 2* QC 2.66GHZ X5550 16GB 8*300GB
ALCATEL 3HE02032AA 7450 ESS-7/12 SFM2-400G 400GBPS NEW!
HP MSA2000 DUAL CONTROLLER AJ750A 12*300GB 15K
TANDBERG EN5990 HD HI-DEF ENCODER FOR MPEG-4 AVC HDSDI
CISCO GSR 8 PORT 8OC3X POS-IR-LC-B LINE CARD MODULE ISA
ALCATEL 3HE00232AA 7450 ESS 10-PORT GIGABIT OPTICAL MDA
JUNIPER NS-IDP-600C INTRUSION DETECTION APPLIANCE
HP VOLTAIRE ISR 9024 D-M GRID SWITCH 4x DDR 409367-B21!
HP PROLIANT DL360 G6 2* E5540 2.53GHZ 8GB 519566-005
PANASONIC SECURITY CAMERA MATRIX SWITCHER WJ-SX650 NEW
CISCO SYSTEMS MDS 9513 DS-C9513 SWITCH CHASSIS NEW NIB!
CISCO 3845 INTEGRATED SERVIECS ROUTER +4* VWIC-2MFT-T1
GNP COMPUTENODE 2U NATURAL MICROSYSTEMS SBS CPCI PMC243
MERU MC3000 WLAN ACCESS POINT NETWORK CONTROLLER NEW
HP PROLIANT SL160Z G6 12GB DDR3 2*QC X5550 2.66GHZ NEW!
SCIENTIFIC ATLANTA CISCO HDTV AVC ENCODER MODEL: D9054
HP PROLIANT DL380 G6 530779-005 2*QC 2.53GHZ 8GB NEW!!!
RIVERBED SHA-06020 STEELHEAD MODEL 6020
ALCATEL NEWBRIDGE 7570 90-7570-02 2P OC12C/STM4 IR I/O
CISCO ONS 15454-PP2-64-LC 2RU 64 PORT PATCH PANEL NEW!!
ALCATEL LUCENT 90-3598-45 7470 BAUIABXFAA DSC NEW REFUR
CISCO SYSTEMS CRS-16-LCC-FAN-TR ROUTER FAN ASSEMBLY!!!!
CISCO AIR-LOC2710-L-K9 2710 WIRELESS LOCATION APPLIANCE
ALLEN BRADLEY POWER FLEX 700S 3 PHASE AC DRIVE, 75HP
DELL CUSTOM SERVER 8TB SATA 8*QC 2.5GHZ SLARP 64GB RAM!
JUNIPER NETSCREEN ISG 2000 +2* FE8 5VSYS 8/44/2000
BLUECOAT AV810-A 810 PROXYAV ANTIVIRUS WEB APPLIANCE!!!
CALDIGIT HDPRO DISK RAID TOWER 8* 1TB HARD DRIVES NEW!!
ALCATEL 3HE00229AB IOM-7450 ESS 20GBPS IN/OUT MODULE!!!
MOTOROLA MOSCAD NFM XC RTU 48DI F4551 +3* PHONE BLOCKS!
DELL POWEREDGE T710 E5520 QUAD CORE 2.26GHZ 12GB UCP-61
CISCO CTS-CODEC-SEC TELEPRESENCE SYSTEM 3000 NEW NIB!
SUPERMICRO 6026T-URF DUAL QC E5520 12GB DDR3 8TB 8*1TB
FUJITSU FLASHWAVE FW 4100 ES FC9681SFE1 2* FC9681EL813
MOTOROLA WSM HW TEAM RLS RADIO LINK SOLUTION 4* CM200
JUNIPER SECURE SERVICES GATEWAY SSG-550M-SH-DC-N VPN!!!
SIEMENS HIPATH AP 3700 IP ACCESS POINT DSCXL HDCF
HP PROLIANT DL360 G6 2 X5550 QC 2.66GHZ 12GB 504633-001
REDBACK NETWORKS XCRP3 SMARTEDGE ROUTING CARD 908-0394
NORTEL DDU PLUG-IN MODULE ASSEMBLY I/O CONTROL NTFX32BA
HP PROLIANT DL585 G2 4*2.8GHZ OPTERON 64GB RAM 6*72GB!!
CISCO CATALYST 6500 WS-X6748-GE-TX= 48 PT GIGABIT NEW
HP PROCURVE 4208VL-96 SWITCH J8775B#ABA BRAND NEW NIB!!
DELL POWEREDGE 2900 2* QC 2.66GHZ E5430 16GB RAM 6*73GB
HP/COMPAQ 8HSF 2GBPS 8-PORT FIBRE CHANNEL ADAPTER CARD!
CISCO MDS 9124E 12 PT SWITCH HP 444572-001 DS-HP-FC-K9
ALTIGEN OFFICE 3G OFFICE3G IP-BPX +TRITON ALTI-TTAT-12
CIENA CN 4200 CHASSIS B-820-0007-001 WMPQAUPMAA
BREECE HILL Q40 TAPE LIBRARY NEC T40A 2* LTO-3 DRIVES!!
DRAGONWAVE AIRPAIR 200 WIRELESS MODEM 60-000257-01
GEOVISION DVR CORE I7 4GB 4TB+ 2* GV1480A WIN7 PRO64
CLEARPIX STORAGE CAMERA DVR SERVER 15* 1TB 7200RPM 15TB
HP STORAGEWORKS ULTRIUM LTO-4 DRIVE 1760 SAS RM EH946B
HP BL460C G6 BLADE 507864-B21 QC 2.53GHZ 2*300GB 4GB!!!
FORCE10 FORCE 10 48 PT SWITCH S50-01-GE-48T-AC NEW NIB!
CISCO SPA-OC192POS-XFP 1-PT OC192/STM64 POS/RPR XFP
MOTOROLA 4* RADIUS CM200 BASE STATION 1PRLS-2-KIT-4-CM
DELL POWEREDGE R610 QUAD CORE E5530 2.4GHZ 8GB 146GB!!!
JUNIPER 1000BASE-ZX SFP TRANSCEIVER SFP-1GE-LH 1550NM!!
EIG NEXUS 1250 RTU POWER QUALITY REVENUE METER
DELL POWEREDGE 2950 2* QUAD CORE XEON QC 3GHZ E5450 2GB
UNISYS CLEARPATH DORADO 300 4*2830MP CPU BOARD 38376505
HP PROLIANT BLADE SERVER BL460C 2*QC 2.5GHZ E5420 32GB
SIEMENS SIMODRIVE LT INT 611 6SN1123-1AB00-0CA3 .2X50A
SIEMENS SIMODRIVE LT INT 6SN1123-1AB00-0BA2 .2X25A NEW
CISCO SYSTEMS PA-POS-1OC3 EXPANSION MODULE
ECI/LAUREL MARCONI RCP-1/S ROUTE CONTROL PROCESSOR NEW
INFOCUS SCREENPLAY 777 DLP PROJECTOR 720P 1080P SP777!!
HP PROLIANT DL380 G5 2*QUAD CORE 2.33GHZ 4GB 6*72GB 15K
STONEGATE STONESOFT FIREWALL VPN APP-SG-500E-100 NEW!!
FURUNO NAVNET 3D 24" UHD DIGITAL RADAR DOME DRS4D NEW!!
HP PROCURVE SWITCH J9089A 2610-48PWR 48 PORT POE NEW!
CISCO AIRONET 1522AG LIGHTWEIGHT OUTDOOR ACCESS POINT
在線咨詢 
