專利名稱：機械噪音抑制裝置、機械噪音抑制方法、程序和成像裝置的制作方法
技術領域：
該公開涉及機械噪音抑制裝置、機械噪音抑制方法、程序和成像裝置，且更具體地，涉及用于在包括具有聲音的視頻拍攝功能的成像裝置中的視頻拍攝期間在光學變焦時減小諸如馬達噪音的機械噪音的機械噪音抑制裝置等。
背景技術：
近年來，作為數碼相機等的成像裝置，提出了成像裝置，其包括除了拍照功能以外的具有聲音的視頻拍攝功能。所描述的類型的成像裝置具有的問題在于，在視頻拍攝期間在光學變焦時的諸如馬達噪音的機械噪音被混合到由麥克風收集的周邊聲音中，導致記錄的聲音的降級。作為移除在聲音信號中混合的噪音的技術，在S.F.Boll的“Suppression of acoustic noise in speech using spectral subtraction,” IEEE Trans Acoustics, Speech, and Signal Process，27 卷，No 2，113-120 頁，1979 (此后稱為非專利文獻 1)中， 已知且公開了頻譜減法方法。根據這種頻譜減法方法，在非聲音時間段內的頻譜被評估為噪音頻譜，且從輸入聲音頻譜中減去將噪音頻譜乘以預定系數、即通過減法系數而獲得的信號來移除噪音分量。通過評估在非聲音時間段內的頻譜作為噪音頻譜的方法，獨立于周邊聲音而生成的機械噪聲不能被移除作為在具有上述具有聲音的視頻拍攝功能的這種成像裝置中的噪音。因此，在日本專利特開No. 2006-279185(此后稱為專利文獻1)中提出了在視頻拍攝期間在光學變焦時預先保留機械噪音的頻譜，且在變焦操作時從輸入信號的頻譜中減去機械噪音的頻譜，來減小機械噪音。圖37示出具有在專利文獻1中公開的噪音移除功能的聲音記錄裝置的配置。參考圖37，馬達21在光軸方向上移動諸如變焦鏡頭的鏡頭光學系統。馬達驅動部分21a是用于驅動馬達21旋轉的驅動機構。控制部分32接收在按鍵輸入部分36中包括的變焦按鍵等的操作信號，并向馬達驅動部分21a輸出馬達驅動控制信號。另外，控制部分32在具有聲音的視頻拍攝期間，基于馬達21的驅動時序來控制改變部分56。聲音輸入部分51用預定增益來放大通過麥克風輸入到其的聲音信號Sa，并向分幀部分52供應放大的聲音信號Μ。在該例子中，例如，如果在具有聲音的視頻拍攝期間進行變焦操作，則在變焦操作期間生成的馬達噪音、即變焦噪聲與聲音信號& 一起通過聲音輸入部分51被輸入到分幀部分52。分幀部分52以預定時間段的幀的單位來劃分從聲音輸入部分51輸入到其的聲音信號Μ。傅里葉變換部分53將通過分幀部分52以幀為單位劃分的聲音信號Μ傅里葉變換為指示各個頻率的功率的輸入聲音頻譜Sb。在馬達噪音頻譜存儲部分M中，通過頻譜化作為噪音移除的對象的馬達噪音而獲得的馬達噪音頻譜&被存儲作為噪音頻譜。減法部分55基于由傅里葉變換部分53獲得的輸入聲音頻譜Sb和在馬達噪音頻譜存儲部分M中存儲的馬達噪音頻譜&來進行移除噪音分量的處理。具體地，減法部分陽從輸入聲音頻譜Sb中減去通過將在馬達噪音頻譜存儲部分M中預先存儲作為噪音頻譜的馬達噪音頻譜&乘以預定減法系數α而獲得的信號。頻譜改變部分56響應于從控制部分32輸出的選擇信號，進行在從傅里葉變換部分53獲得的輸入聲音頻譜Sb和在從減法部分55獲得的噪聲移除之后的聲音頻譜Sd之間的改變，來向逆傅里葉變換部分57供應輸入聲音頻譜Sb或聲音頻譜Sd。具體地，頻譜改變部分56在噪音移除之后，諸如在變焦操作期間，在驅動馬達21時向逆傅里葉變換部分57 供應聲音頻譜Sd，但在任何其他情況下向逆傅里葉變換部分57供應輸入聲音頻譜Sb。逆傅里葉變換部分57逆傅里葉變換了輸入聲音頻譜Sb或在通過頻譜改變部分56 輸入到其的在噪音移除之后的聲音頻譜S店，來獲得每個幀單位的原始聲音信號％。波形合成部分58合成通過逆傅里葉變換部分57獲得的各個幀單位的聲音信號％，來恢復在時間序列上連續的聲音信號Sf。聲音信號Sf被用于用于記錄的最終聲音信號，且與從成像系統獲得的視頻數據一起被記錄在諸如存儲器的記錄介質中。
發明內容
參考圖38描述了在專利文獻1中使用的頻譜減法方法。輸入信號X(t)通過快速傅里葉變換(FFT)被轉換為頻域的頻譜X(f，τ)。在此，(f, τ)表示第f個頻率的幀τ的頻譜。然后，進行從輸入信號x(t)減去功率譜|X(f，τ) I2減去功率譜|N(f，τ) I2的減法處理，且通過減法處理來獲得功率頻譜Iy(f，τ) |2。要注意，假設預先的噪音模型等，使用輸入信號X(t)通過評估來獲得噪音頻譜N (f，τ)。如果減法的結果呈現負值，則替換適當的值。根據以下表達式(1)來進行所述的減法處理其中，α是被設置為例如在1和2之間的值的固定系數，且β是被設置為在例如 0到0.1之間的值的固定系數。在減法之后，減法的結果的幅度頻譜|Y(f，τ) I乘以輸入信號x(t)的頻譜x(t) 的偏轉角arg{X(f，τ)}，如由以下表達式(2)表示的，以獲得頻譜Y (f，τ )作為減法的結果Y(f, τ) = arg{X(f, τ)} |Y(f, τ ) | ... (2)然后，頻譜Y(f，τ)通過逆快速傅里葉變換(IFFT)被轉換為時域的輸出信號 y(f)。圖39和40圖示頻譜減法。具體地，圖39圖示了其中獲得校正結果的頻譜減法。 輸入信號包括目標聲音分量和真實噪音分量。如果要從輸入信號減去的評估的噪音分量等于真實噪音分量，則輸出信號包括校正目標聲音分量。
另一方面，圖40圖示了其中獲得誤差結果的頻譜減法。輸入信號包括目標聲音分量和真實噪音分量。如果要從輸入信號減去的評估的噪音分量具有來自真實噪音分量的誤差，則輸出信號不包括校正目標聲音分量。在該例子中，發生過度擦除或不足的擦除。在專利文獻1中，使用頻譜減法方法，用于抑制上述機械噪音。但是，在該專利文獻1中，不考慮在輸入信號中包括的真實噪音分量和預先測量的機械噪音之間的誤差。因此，在減法部分55中出現機械噪音的過度擦除或不足擦除，且不能避免聲音質量的降級。大量因素導致在輸入信號中包括的真實噪音分量和預先測量的機械噪音之間的誤差。這些因素可以包括諸如以下(a)在機械裝配位置或螺絲緊固力中的差異(b)通過機械驅動來磨損或隨時間地變更部件(c)溫度變化(d)姿勢的變化(保持相機的方式或角度)(e)用于驅動相機變焦的馬達圖41圖示了由具有擁有聲音的視頻拍攝功能的三個成像裝置、包括組A、另一組B 和另一組C記錄的變焦噪音、即機械噪音的頻譜。如從圖41所示，變焦噪音或機械噪音的平的特征彼此很不同。因此，例如，如果在組B中，在專利文獻1中的減法部分55使用由組A 產生的噪音頻譜進行減法處理，則機械噪音的過度擦除或不足擦除隨減法部分55而發生， 導致聲音質量降級。以此方式，使用頻譜減法方法的機械噪音抑制不能足夠地應對機械噪音的偏差 (dispersion)。在此，為了便于描述，變換頻譜減法的表達式。具體地，前述描述旨在頻譜的減法、即“減法方法”，新介紹“乘法類型”的機構。以下表達式(3)是以上給出的表達式(2)的變換形式，其中，變換了右側
權利要求
1.一種機械噪音抑制裝置，包括分幀部分，適用于將輸入信號劃分為預定時間長度的幀；傅里葉變換部分，適用于將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用于基于機械噪音的頻譜信息來校正由所述傅里葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；逆傅里葉變換部分，適用于將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用于進行由所述逆傅里葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號； 所述機械噪音減小部分，包括功率比計算部分，適用于基于由所述傅里葉變換部分獲得的輸入信號的頻譜和機械噪音的頻譜信息對每個頻率計算在輸入信號的頻譜和機械噪音的頻譜之間的功率比，增益讀出部分，適用于對每個頻率、從增益函數表讀出對應于由所述功率比計算部分計算的功率比的增益，在該增益函數表中，存儲了對應于功率比的各種值的增益的設置值， 以及頻譜校正部分，適用于對每個頻率、將由所述傅里葉變換部分獲得的輸入信號的頻譜乘以由所述增益讀出部分讀出的增益來獲得校正后的頻譜。
2.根據權利要求1的機械噪音抑制裝置，其中，當功率比處于OdB附近時，在所述增益函數表中存儲的增益的設置值的每個都低，且隨功率比從OdB附近增大而平滑地增大，以便其坡度不會變得不連續。
3.根據權利要求2的機械噪音抑制裝置，其中，隨功率比從OdB附近降級，在所述增益函數表中存儲的增益的設置值的每個平滑地增大，以便其坡度不會變得不連續。
4.根據權利要求1的機械噪音抑制裝置，還包括頻譜信息改變部分，適用于基于關于輸入信號的信息來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息。
5.根據權利要求1的機械噪音抑制裝置，其中，所述機械噪音與成像裝置的具體成像操作相關聯地出現，該成像裝置具有周邊聲音記錄功能。
6.一種機械噪音抑制方法，包括分幀步驟，將輸入信號劃分為預定時間長度的幀；傅里葉變換步驟，通過傅里葉變換將由所述分幀步驟獲得的被分幀的信號變換為頻域的頻譜；機械噪音減少步驟，基于機械噪音的頻譜信息來校正由所述傅里葉變換步驟獲得的輸入信號的頻譜以抑制機械噪音；逆傅里葉變換步驟，通過逆傅里葉變換將由所述機械噪音減小步驟校正的頻譜返回為時域的被分幀的信號；以及幀合成步驟，進行由所述逆傅里葉變換步驟獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號； 所述機械噪音減小步驟，包括功率比計算步驟，基于由所述傅里葉變換步驟獲得的輸入信號的頻譜和機械噪音的頻譜信息對每個頻率計算在輸入信號的頻譜和機械噪音的頻譜之間的功率比，增益讀出步驟，對每個頻率、從增益函數表讀出對應于由所述功率比計算步驟計算的功率比的增益，在該增益函數表中，存儲了對應于功率比的各種值的增益的設置值，以及頻譜校正步驟，對每個頻率、將由所述傅里葉變換步驟獲得的輸入信號的頻譜乘以由所述增益讀出步驟讀出的增益來獲得校正后的頻譜。
7.一種用于使得計算機用作如下的程序 分幀部分，適用于將輸入信號劃分為預定時間長度的幀；傅里葉變換部分，適用于將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用于基于機械噪音的頻譜信息來校正由所述傅里葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；逆傅里葉變換部分，適用于將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用于進行由所述逆傅里葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號； 所述機械噪音減小部分，包括功率比計算部分，適用于基于由所述傅里葉變換部分獲得的輸入信號的頻譜和機械噪音的頻譜信息對每個頻率計算在輸入信號的頻譜和機械噪音的頻譜之間的功率比，增益讀出部分，適用于對每個頻率、從增益函數表讀出對應于由所述功率比計算部分計算的功率比的增益，在該增益函數表中，存儲了對應于功率比的各種值的增益的設置值， 以及頻譜校正部分，適用于對每個頻率、將由所述傅里葉變換部分獲得的輸入信號的頻譜乘以由所述增益讀出部分讀出的增益來獲得校正后的頻譜。
8.一種成像裝置，包括機械噪音生成源，其與具體成像操作相關聯地生成機械噪音，且該成像裝置具有周邊聲音記錄功能，包括分幀部分，適用于將由麥克風通過聲音收集獲得的周邊聲音的輸入信號劃分為預定時間長度的幀；傅里葉變換部分，適用于將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用于基于機械噪音的頻譜信息來校正由所述傅里葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；逆傅里葉變換部分，適用于將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；幀合成部分，適用于進行由所述逆傅里葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號；以及記錄部分，適用于記錄由所述幀合成部分獲得的輸出信號； 所述機械噪音減小部分，包括功率比計算部分，適用于基于由所述傅里葉變換部分獲得的輸入信號的頻譜和機械噪音的頻譜信息對每個頻率計算在輸入信號的頻譜和機械噪音的頻譜之間的功率比，增益讀出部分，適用于對每個頻率、從增益函數表讀出對應于由所述功率比計算部分計算的功率比的增益，在該增益函數表中，存儲了對應于功率比的各種值的增益的設置值， 以及頻譜校正部分，適用于對每個頻率、將由所述傅里葉變換部分獲得的輸入信號的頻譜乘以由所述增益讀出部分讀出的增益來獲得校正后的頻譜。
9.一種機械噪音抑制裝置，包括分幀部分，適用于將輸入信號劃分為預定時間長度的幀；傅里葉變換部分，適用于將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜；機械噪音減少部分，適用于基于機械噪音的頻譜信息來校正由所述傅里葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；頻譜信息改變部分，適用于基于關于輸入信號的信息來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息；逆傅里葉變換部分，適用于將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用于進行由所述逆傅里葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號。
10.根據權利要求9的機械噪音抑制裝置，其中，所述頻譜信息改變部分基于關于輸入信號的信息來校正在噪音表中存儲的機械噪音的頻譜信息，來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息。
11.根據權利要求10的機械噪音抑制裝置，其中，所述頻譜信息改變部分基于關于輸入信號的信息來計算代表周邊聲音的特征量的參數，基于計算的參數來獲取校正稀疏，且將在噪音表中存儲的機械噪音的頻譜信息乘以所獲取的校正稀疏來校正機械噪音的頻譜 fn息ο
12.根據權利要求11的機械噪音抑制裝置，其中，代表特征量的參數是代表輸入信號的頻譜的頻譜包絡的線性預測系數，以及所述頻譜信息改變部分基于代表頻譜包絡的線性預測系數來獲取每個頻率的校正系數，以便其值在對應的關系中降級到頻譜包絡的峰值部分，且對每個頻率、將機械噪音的頻譜信息乘以所獲取的校正系數來校正機械噪音的頻譜信息。
13.根據權利要求11的機械噪音抑制裝置，其中，特征量參數是輸入信號的平均功率，以及所述頻譜信息改變部分基于輸入信號的平均功率來獲取不同頻率公共的校正系數，以便其值當平均功率高時低，且將每個頻率的機械噪聲的頻譜信息乘以所獲取的校正系數來校正機械噪音的頻譜信息。
14.根據權利要求9的機械噪音抑制裝置，還包括多個噪音表，其在輸入信號的平均功率彼此不同的情況下使用的存儲機械噪音的頻譜信息，且其中所述頻譜信息改變部分基于輸入信號的平均功率來改變噪音表來改變要由所述機械聲音減小部分使用的機械噪音的頻譜信息，從該噪音表中，要讀取機械噪音的頻譜信息。
15.根據權利要求9的機械噪音抑制裝置，其中，所述機械噪音與成像裝置中的具體成像操作相關聯地生成，該成像裝置具有周邊聲音記錄功能。
16.一種機械噪音抑制方法，包括分幀步驟，將輸入信號劃分為預定時間長度的幀；傅里葉變換步驟，通過傅里葉變換將由所述分幀步驟獲得的被分幀的信號變換為頻域的頻譜；機械噪音減少步驟，基于機械噪音的頻譜信息來校正由所述傅里葉變換步驟獲得的輸入信號的頻譜以抑制機械噪音；頻譜信息改變步驟，基于關于輸入信號的信息來改變要在所述機械噪音減小部分步驟中使用的機械噪音的頻譜信息；逆傅里葉變換步驟，通過逆傅里葉變換將在所述機械噪音減小步驟中校正的頻譜返回為時域的被分幀的信號；以及幀合成步驟，進行由所述逆傅里葉變換步驟獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號。
17.一種用于使得計算機用作如下的程序分幀部分，適用于將輸入信號劃分為預定時間長度的幀；傅里葉變換部分，適用于將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用于基于機械噪音的頻譜信息來校正由所述傅里葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；頻譜信息改變部分，適用于基于關于輸入信號的信息來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息；逆傅里葉變換部分，適用于將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用于進行由所述逆傅里葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號。
18.—種成像裝置，包括機械噪音生成源，其與具體成像操作相關聯地生成機械噪音， 且該成像裝置具有周邊聲音記錄功能，包括分幀部分，適用于將由麥克風通過聲音收集獲得的周邊聲音的輸入信號劃分為預定時間長度的幀；傅里葉變換部分，適用于將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用于基于機械噪音的頻譜信息來校正由所述傅里葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；頻譜信息改變部分，適用于基于關于輸入信號的信息來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息；逆傅里葉變換部分，適用于將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；幀合成部分，適用于進行由所述逆傅里葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號；以及記錄部分，適用于記錄由所述幀合成部分獲得的輸出信號。
全文摘要
一種機械噪音抑制裝置、機械噪音抑制方法、程序和成像裝置，包括分幀部分，適用于將輸入信號劃分為預定時間長度的幀；傅里葉變換部分，適用于將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜；機械噪音減少部分，適用于基于機械噪音的頻譜信息來校正由所述傅里葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；逆傅里葉變換部分，適用于將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用于進行由所述逆傅里葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號。
文檔編號H04N5/225GK102347029SQ201110207319
公開日2012年2月8日 申請日期2011年7月22日 優先權日2010年7月30日
發明者關矢俊之, 大迫慶一, 安部素嗣, 熊倉俊之 申請人:索尼公司