Yaskawa JEPMC-MB041 噪聲問題一直是語音識別的一個老大難的問題，在理想的實驗室的環境下，識別效果已經非常好了，之前聽很多音頻算法工程師抱怨，在給識別做降噪時，經常發現WER不降反升，降低了識別率，有點莫名其妙，又無處下手。
剛好，前段時間調到了AIlab部門，有機會接觸這塊，改善語音識別的噪聲問題，雖然在此之前，詢問過同行業的朋友，單通道近場下，基本沒有太大作用，有時反而起到反作用，但是自己還是想親身實踐一下，至少找到這些方法失效的原因，看看是否在這些失敗的原因里面，改進下思路，可能有新的發現；同時去Ailab，順帶把深度學習降噪實踐一把，就算在ASR沒有效果，以后還能用在語音通信這個領域。
任務的要求是保證聲學模型不變動的情況下，即不重新訓練聲學模型，即單純利用降噪來改善那些環境惡劣的樣本，同時保證不干擾純凈語音或者弱噪聲的語音場景，所以非常具有挑戰性。
為了趕項目，用自己非常熟悉的各種傳統的降噪方法：包括最小值跟蹤噪聲估計，MCRA， IMCRA，等各種噪聲估計方法，以及開源項目 webrtc NS， AFE（ETSI ES 202 050 Advanced DSR Front-end Codec， two stages of Wiener filtering），剩下的任務就是調參，經過很多次努力，基本沒有什么效果，相反WER還會有1%點左右的增加。
分析對比了降噪和沒有降噪的識別文本對比和頻譜分析，總結了以下這些原因，希望對后面的人有些參考意義：
1. DNN本身就有很強的抗噪性，在弱噪聲和純凈語音下，基本都不是問題。
通常場景下，這點噪聲，用線上數據或者刻意加噪訓練，是完全可以吸收掉的，只有在20db以下，含噪樣本的頻譜特征和純凈樣本的頻譜特征差異太大，用模型學習收斂就不太好，這時需要降噪前端。
2. 降噪對于純凈語音或者弱噪聲環境下，不可避免的對語音有所損傷，只有在惡劣的環境下，會起到非常明顯的作用。
傳統降噪是基于統計意義上面的一個處理，難以做到瞬時噪聲的精準估計，這個本身就是一個近似的，粗略模糊化的一個處理，即不可避免的對噪聲欠估計或者過估計，本身難把握，保真語音，只去噪，如果噪聲水平很弱，這個降噪也沒有什么用或者說沒有明顯作用，去噪力度大了，又會破壞語音。可以預見，根據測試集進行調參，就像是在繩子上面玩雜技。
我們的測試樣本集，90%的樣本都在在20db以上，只有200來條的樣子，環境比較惡劣。所以通常起來反作用。
3. 降噪里面的很多平滑處理，是有利于改善聽感的，但是頻譜也變得模糊，這些特征是否能落到正確的類別空間里面，也是存在疑問的。所以在前端降噪的基礎上，再過一遍聲學模型重新訓練，應該是有所作用的，但是訓練一個聲學模型都要10來天，損失太大，也不滿足任務要求。
4. 傳統降噪，通常噪聲初始化會利用初始的前幾幀，而如果開頭是語音，那就會失真很明顯。
5. 估計出噪聲水平，在SNR低的情況下降噪，SNR高時，不處理或者進行弱處理，在中間水平，進行軟處理，這個思路似乎可以行的通。
6. 用基于聲學特征的傳統降噪方法，嘗試過，在測試集里面，有不到1%的WER降低。
7. 到底用什么量來指導降噪過程？
既然降噪沒法做好很好的跟蹤，處理的很理想。即不可能處理的很干凈，同時不能保證語音分量不會被損傷，即降噪和保證語音分量是個相互矛盾，同時也是一個權衡問題。那其實換個角度，降噪主要是改善了聲學特征，讓原來受噪聲影響錯分類的音素落到正確的音素類別，即降低CE。那么應該直接將降噪和CE做個關聯，用CE指導降噪過程參數的自適應變化，在一個有代表性的數據集里面，有統計意義上的效果，可能不一定能改善聽感，處理的很干凈，但是在整體意義上，有能改善識別的。所以說語音去噪模塊必須要和聲學前端聯合起來優化，目標是將去噪后的數據投影到聲學模塊接受的數據空間，而不是改善聽感，即優化的目標是降低聲學模型的CE，或者說是降低整條鏈路的wer，所以用降噪網絡的LOSS除了本身的損失量，還應綁定CE的LOSS自適應去訓練學習是比較合理的方案。也可以將降噪網絡看成和聲學模型是一個大網絡，為CE服務，當然，這不一定是降噪網絡，也可以是傳統的自適應降噪方法，但是如果是基于kaldi開發，里面涉及到的工程量是很大的。
8. 在整個語音識別體系中，由于聲學模型的強抗噪性，所以單通道下的前端降噪似乎沒有什么意義，1%左右的wer的改變，基本不影響整個大局，所以想要搞識別這塊的朋友，應該先把重要的聲學模型，語言模型，解碼器，搞完之后，再來擼擼這塊，因為即便沒有單獨的前端，整個識別大多數場景都是OK的，惡劣的場景比較少，一般場景大不了擴增各種帶噪數據訓練，也是可以的。
Yaskawa JEPMC-MB041
Credence 07-3106-01 07310601 PMU Board Rev.E
HP 82000 E1218A E1222-66563 E122266563 PMU Board
Music Semiconductors 128-LQFP 128LQFP Load Board
Music Semiconductors ATMCAM Board
Music Semiconductors FIRST BD-1 BD1Board
Music Semiconductors MU9C3640 32TQFP Board
Music Semiconductors MU9C8148-TCC MU9C8148TCC Board
Music Semiconductors Narrowport BD2 Board
Music Semiconductors Narrowport TQFP44 Board
Music Semiconductors TQFP144 Board
Music Semiconductors TQFP44 Board
SFresh 501040 Calibration Board Rev.0
Dover 787AC3 Elevator Starter
Agilent 5181-8872 100ul glass Inserts, Deactivated 100
Bird Thermaline 8201 Coaxial Resistor 500W
Music Semiconductor 128P LQFP 128PLQFP LoadBoard New
Music Semiconductor MU9C32K64MCM Type 1 LoadBoard New
Music Semiconductor Narrowport TQFP64 LoadBoard New
Music Semiconductor TQFP44 LoadBoard New
Music Semiconductor Wideport 80TQFP LoadBoard New
Chuo Seiki CAT-C 3 Axis Controller
NEC S9289A-DCFILU Spec No. NR-135345
Virtishear Virtis 225318 Blade-type Homogenizer
Teknic M-5075-826 716-546-3212 Servo Motor
RF PA4-1AE-2-RXRF Power Amplifier 350-370Mhz 13.8VDC
EG&G MVS-2020 Optoelectronics Machine Vision Strobe
Cisco WS-C3524-XL-EN Router S/N: FAB0544W4WH
Cisco WS-C3524-XL-EN Switch S/N:FAB0544W3MV
Scanner Head 53102 Rev-L VC 5.00 VDC
HP E1451A 20 MHz Pattern I / O Module
O-I-Analytical 5200 Detector Controller
Omron CVM1-CPU11-EV2 PLC CPU Unit
Coherent FM 0210-761-99 FieldMaster Power Energy Meter
HP 94802-61062 9480261062 1MHz 16-BIT DIGITIZER
HP E3008-61065 E300861065 ACCUM DATA Memory
HP E3003-61058 E300361058 Time Measure
HP 94802-61088 OUTPUT AMPLIFIER 2
Mini motor AM230M3Tw/ Motor 63W 0.46/0.3 A
Cosel PBA1500F-12 Power Supply 12V
Advantest R6145 DC Voltage Current Source
Sorensen DLM20-30MPG PS 0-20 VDC 0-30A 600W
Horizon Technology SPC-3000 SPE-DEX 3000 Controller
MIKI Pulley V2-07-3 Inverter
HP E3008-61003 256K WS SEQR #2
Idec HG2F-SS22VF Operator Interface 24VDC 10W
Kenwood PW18-3AD Regulated Dc Power Supply +18VA 3A
Kaijo 28101 Ultrasonic Generator 45W 950kHz 100V
Hios Hitachi 6101B CL Driver Controller
Sato Sigma-II NSII-Q Hygro/Thermograph
Zander K-MT 1 Multitronic
Kenwood PW18-3ADP DC Power Supply +18V 3A
Hioki 3540-01 Miniohm Hi-Tester 5VA 9VDC 1A
HP E3003-61053 E300361053 MA CLK #2
National Instruments NI SCXI-1193 Multiplexer/Matrix
Cisco 7200 Series Router S/N: 72607514
Metronics Quadra-Chek 200 2D Digital Metrology Readouts
3M APC 1264 EMS II Marker Locator Tracing Locator
OMRON C60P C60P-CDT1-A C60PCDT1A Controller
Omron NT600M-DT211 INTERACTIVE DISPLAY
Yamatake Honeywell LP-907 LP907 Koyo Lindberg
STROBE DATA HAWK DATA GENERAL PCB BOARD IAC2-8
ULVAC OCTIE ISO2 Display Unit Wide Range Vacuum Gauges
Siemens DC Power Box S30807-U6707-X1-1 for HICOM 300E
HP J2309A Ethernet / Token Ring Interface
Ushio SP3-250UA UV Lamp Spot Cure
Federal Signal 300VSC-1 SelecTone Command
Parker SX3-Drive Compumotor
Parker Compumotor ZETA6108 Indexer Motor Drive
OMRON S3200-NSB03-V2 S3200NSB03V2 SYSNET SUPPORT BOARD
Mitsubishi MR-H200A-S101 AC Servo 2kW
Seek SPD-612TL DC 24V
HP E3008-61062 E300861062 Input Amplifier
Omron R88D-UA12H R88DUA12H AC Servo Driver
Omron R88D-UA02H R88DUA02H AC Servo Driver
Advantech PPC-120T EW RT Touch Screen Panel PC
Allen Bradley 1336F-BRF15-AN-EN-L5 1336 Plus II +manual
Ono Sokki CF-4210A Personal FFT Analyzer SN:05002067
Ono Sokki CF-4210A Personal FFT Analyzer SN:04500161
Ono Sokki CF-4210A Personal FFT Analyzer SN:04900378
Ono Sokki CF-4210A Personal FFT Analyzer SN:92300039
Ono Sokki CF-4210A Personal FFT Analyzer SN:72800030
Lot 4 Sigma Koki Rotary Stage
Yokogawa SR1001-A-0/D2 Chart Recorder
Omron R88D-UA04H R88DUA04H AC Servo Driver
Omron R88D-UA03H R88DUA03H AC Servo Driver
Toshiba Velconic VLPSV-012P2-TD Servo Drive
Eltek SMPS 700 SI Wallbox 48VDC Power Supply
Parker S106-178 Compumotor Driver
Pro-face GP2301-SC41-24V Operator Interface
Omron R88D-UP08HA Servo Driver w/ R88M-U20030HA Motor
HP 81530A Optical Head Interface
Honeywell Eztrend V5 Electronic Chart Recorder
Omron R88D-UA20H R88DUA20H AC Servo Driver
Tabai Espec EL100-06T4 EL-40009 Paper Recording Chart
* Mecmesin AFG 25N AFG25N Advanced Force Gauge
Symbol DS DS3408-HD20011 DS3408HD20011 Barcode Scanner
OPTEK 316 Dual Channel Absorption Panel Meter
Panasonic MSD153A1WE AC Servo Driver
KEB Antriebstechnik 09.F0.R01-1228
Cisco 2950 WS-C2950G-24-EI Router S/N:F0C0751W4WMR
Merrick MKN39188-18 NOB
Crown Electronic Guidance 105824-004 Line Driver
RC RC-S6-M-50-G1-SU-CR-SP Slider w/ RCA-S-S6 Controller
Astec VS3-C8-C8-02 (-448) Power Supply Max Output Power
Omron 3G2T4-OC221 3G2T4OC221 Output Unit
Power-one HPF4A4A2S316 2000W Power Supply
Sinano Electric SE04-10WA Spindle Driver
Astec VS3-C8-A8-A8-02 (-451-CE) Power Supply 7.5V 120.0
Nemic-Lambda LNS-P-15-40066-4 Power Supply
在線咨詢 
