專利名稱：檢測半透明物體表面特征的方法和裝置的制作方法
技術領域：
本發明涉及用于對物體表面特征和完整性進行形貌分析并根據這種表面分析將這些物體分出等級的方法和裝置，尤其涉及一種用于對水果特別是柑桔類水果的表面進行光學分析，使得能夠根據已選定的表面特性標準將水果分等(類)的方法和裝置。
用于根據假想的光線透光度自動評價柑桔類水果然后根據這種評價在傳送帶系統中有選擇性地分開水果的裝置和方法已由康韋(Conway)在轉讓給本發明的同一受讓人的美國專利3,930,994(1976)-“用于內部檢驗制品分出等級的方法和機構”中敘述過了。
康韋的目的是判斷水果果肉凍傷的范圍。為做到這一點，他將傳送帶上的水果定位在一對高強度光源(例如石英碘鎢燈泡、x射線發生器或激光器)和一對放置得騎跨水果核心的檢測器之間。檢測器就是光電倍增管，其對準的開口接收透過水果的(即在水果中未被吸收或散射的)光線。檢測器輸出的信號耦合到一個由定時傳感器控制的內部分析計算機，以將兩個檢測器的瞬時輸出相比較，從而測得(假定從兩個讀數的預選差)水果的內部損傷范圍，然后根據例如記錄的損傷范圍將水果分開來。
考慮到水果的表皮部分具有與果肉部分不同的光學吸收和散射特性，康韋認為當檢測器的讀數對應于從水果的果皮部分檢測的光線時由檢測器得到的信號是需要消除的誤差信號(參見第6欄，32-43行)。為避免從柑桔類水果的表皮得到任何讀數，康韋使用兩個定時傳感器，僅在一個檢測器停止接收在水果內部散射并從果皮部分投射的光線和開始接收透過水果的果肉部分的光線之后開始果肉部分的損傷測定，并且隨著水果在入射光束和透射光檢測器之間順著傳送帶向下行進，在檢測器再次接收到在果皮內部散射的光線之前結束測定。
但是，通過上述光學機構一致可靠地檢測柑桔類水果果內部分的光學特性已被證明是一個極為困難的任務。大多數頻率的光線并不像透過晶體球之類的透明物體那樣簡單地透過水果。相反，光線要受到水果吸收并在水果里面散射。因而，不能可靠地鑒定小的組織結構，只有大面積凍傷才能通過使用x射線(水果對它更透明些)檢測水果內部可靠一致地檢測出來，如在美國專利3,768,645中所一般敘述的那樣。
另外，雖然檢測和除去帶有損傷的果肉部分的水果具有重大的價值，但另一方面，甚至更大價值的分等功能則是根據水果表面結構特征或水果表皮或果皮的完整性將水果分成若干類的能力。例如，一箱果皮完好無損的桔子在市場上常比一箱顯示出各種表皮疵點與組織結構特征和/或缺陷的桔子賣得更高的價錢，盡管兩者的果肉部分都受歡迎并且甚至在某些水果的內部可能輕微損傷的情形也是如此。
可用雞蛋做一個類比，通過這一類比，如像前面用康韋的參考文獻舉例說明的現有技術和燈光照雞蛋的過程相似-即從高強度入射光線的對面觀察雞蛋來檢查蛋內的血點或其他缺陷。最重要的是雞蛋的里面即蛋黃和蛋白而非蛋殼。通過類比，康韋試圖檢查水果的內部而不是果皮或外表面。相反，本發明關心的不是被分類和分等級的物體里面的內容，而是物體外層“覆蓋物”的形象外貌和完整性。
當柑桔類水果或其他物體的外表面特征由質量控制操作員用肉眼判斷或人工評定時，這種人工分等的費用和可靠性因素在許多情形下會變得無法接受。而且，由于眼睛持久暴露在產生足夠的散射光線讓果皮放光到足以使果皮深層可見所需的高光強下所固的的健康風險，人工操作不能看見緊靠外表面的水果里層。并且人不能看見比可見光具有優越的深度穿透水果果皮的紅外光。
因而，所需要的是一個用于光學檢查本質上半透明或透明物體外表面或表面部位，判斷表面結構特征和表面部位的完整性，進而根據這種判斷作出篩選決定的智能化全自動機構。
本發明是一種用于將本質上為半透明的物體分出等級的方法和裝置。水果，尤其是柑桔類水果可以根據本發明分出等級。正如下文所要進一步討論的，許多其他型式的物體，只要這些物體對于所選特定頻率的光線本質上是半透明或透明的，都可以由此而分出等級。為方便起見，本文中常常要專門提到水果(尤其是提到柑桔類水果)。盡管所有這類物體不用說都是包括在內的。
水果分出等級，系根據其表面部位特征進行的。此方法包括照射每一個水果使得光線在其中散射并透過其表面部位。在水果的情形(本發明的優選實施例主要就涉及水果)，要如此照射每個水果，使得在水果中散射的光線引起水果發光。透射到表面部位之外的這一發光被檢測出來，從而得到整個發光圖案的圖像。
已經發現，在將本發明付諸實施的過程中，外表面上或靠近外表面處的缺陷顯得比前面忽略表面缺陷的康韋所找出的內部缺陷要清楚得多。因而，每一幅這樣的瞬時圖像都構成一個對應于水果表面或靠近表面處的特征的數據矩陣。每個檢得的圖像轉換成用于分析判斷是否存在要找的表面特征的數據。這一點可通過將該數據與所選定的標準相比較來達到，由此，基于所觀測到的表面特征數據，根據分析所得數據鑒定那些落在被排選的類別之內，可將水果進行分類。然后，分類后的水果可根據上述類別所選定義分出等級。這就使得有可能根據其表面部位特征將水果自動分類并分出等級。
圖像中的數據必須處理得能夠用圖案識別水果的表面特征。在上述數據處理之前，要將不是通過物體表面特征散射的光線的掃描數據除去。表面特征的統計學測度被用來判斷每個水果的大體整個表面上的表面特征的充分變化是否大到足以表示一個表面缺陷。
處理該數據一般還包括借助相對一個預定的頻率閾的頻率對數據濾波來選擇由表面特征掃描的數據。在某些上述情形，數據濾波僅通過高頻數據分量。在另一些上述情形，數據濾波僅通過數據的低頻分量。
掃描水果發光圖像一般用來收集必要的數據，如果這樣的話，其步驟通常包括沿橫切物體的一個預定的直線掃描水果。也有設想可以沿多條橫切線掃描水果。每次掃描可以定位得與物體成同一個或另一個橫切角度。
本方法還可包括光學形成一個水果圖象，該圖像同時包含其表面特征的全部或一個主要部分。在水果為一般的球形的場合，例如在許多種柑桔類水果的情形，形成圖像包括形成一個分開的大體各為半球形的圖像。
在所說明的實施例中，對水果攝像是通過將被照水果的圖像(即從中放出的輝光)反射到一個背向被照水果的攝像器上來完成，以避免直接發射的光進入攝像器。這一點也可以簡單地通過使攝像器與入射水果的照射光線的方向相對成一個角度做到。但是，應當指出，因為被攝像器檢測的光線的大部分都已經在水果里面散射，才產生出一個最后的輝光投射穿過其表面部位的關系，本發明的方法甚至在攝像器直接面向入射光線的場合也能使用。而在本實施例的情形，尤其是當光線由LED(發光二極管)或激光光源構成時，與之耦合的水果檢測和定時機構能用來防止直接檢測光線即沒有插進水果時可能造成的對攝像器的損害。
一般來說，本方法根據水果的表面形貌特征對水果分類。對于具有相對原果皮的柑桔類水果，這種分類可以包括根據孔隙率、鼓包和凹坑、隆脊和低谷、挫傷、腐爛以及其他挑選因素對其果皮進行分類。
掃描包括掃描一個二維陣列來提供水果表面形貌特征的一個二維圖形圖像。照射水果包括通過所選用的光發生機構投射出所選擇的頻率或頻率組合的光來照射水果。
數據的處理還包括將所掃描的圖像分離成一個背景和一個物體圖像，并從所掃描的圖像中去掉背景而基本留下物體圖像。
根據果皮孔隙率對柑桔類水果分類包括用高通數據濾波器從所掃描的圖像濾出高頻數據。設置所濾圖像的象素光強的一個門限值。將具有光強高于門限值的象素數字列入表格以鑒定果皮的孔隙率。
通過果皮外表面上的鼓包和凹坑對柑桔類水果進行分類包括使用低通/平滑數據濾波器由圖像濾出低頻數據。為所濾圖像設備一個象素光強門限值。將具有光強高于門限值的象素的數字和分布列入表格以鑒定果皮外表面上的鼓包和凹坑。
根據果皮中的V形隆脊和凹谷或挫傷分類包括有選擇地掃描圖像以得出象素光強中的躍遷。設置象素光強和躍遷率的一個門限值。將連接對應于光強躍遷的象素邊界的鄰域中具有高于所設置的門限值光強的象素的數字列入表格。這些領域就定為斑痕。將超過一預定特性參數的斑痕數字列入表格，以鑒定果皮中的V形隆脊和凹谷。特性參數是斑痕的一個預定最小面積，并且將斑痕的數字列入表格以鑒定果皮中的V形隆脊和凹谷包括將超過預定的最小面積斑痕數字列入表格。或者說，特性參數可以是一定形狀的并且因而將斑痕的數字列入表鑒定V形隆脊和凹谷包括將具有遵守預定形狀定義的形狀的斑痕數字列入表格。同樣地，根據光強中的狹窄的銳中斷鑒定挫傷。
通過表面腐爛分類包括掃描柑桔類水果的圖像得出象素光強中比較平緩的躍遷。設置一個預定的門限值。將連接具有平緩躍遷的象素邊界的鄰域中具有光強在預定門限值之上的象素數字列入表格。鄰域就定為斑痕。將超過一個給定的特性參數的斑痕數字列入表格以鑒定表面腐爛。
預定的門限值、形狀、面積、寬度和特性參數，作為前述各分等方法中的適用數字，可以有選擇地規定為柑桔類水果的尺寸(可根據已知的方法檢測和自動輸入)的一個函數。
本發明也可以表征為一種用于根據物體表面部位的特征，將本質上半透明的(例如柑桔類水果)或者本質上對所選一個光頻率(或一些頻率)透明的物體分出等級的裝置。這種裝置包括一個檢驗站和至少一個分等站。一條傳送帶將物體通過檢驗站并移向分等站。分等站的分等機構根據對物體表面特征的分類通過有選擇地分流傳送帶上的物體而將物體分成等級。計算機化的光學攝像器在檢驗站生成物體的一個圖形圖像，并根據表面特征的至少一種形貌特性評價物體的表面特征。從而將物體分類并根據表面特征分出等級。
在一個將柑桔類水果分等的實施例中，計算機化的光學攝像器包括檢驗站的兩個獨立的照射/掃描光源和攝像器組合。在該實施例中，計算機化的光學攝像器可以包括兩個棱鏡聚焦的鹵鎢燈光源，布置得與通過檢驗站的垂直平面近似成120度，用來照射水果，并且相應于每個光源有一個攝像器用于掃描水果，攝像器與任一光源都不在一直線上。在本實施例中，攝像器背對水果，并且計算機化的光學攝像器還包括多個用于將在水果內生成并透射出果皮的發光圖像反射到攝像器的反光鏡。
更一般地說，本發明包括一種用于根據至少用一個光源照向物體構成的散射光強圖案對物體進行分類的裝置。一個傳感元件將在物體里面散射并透射出其表面的光線轉換成數字數據。一臺數據整理計算機根據分析數字數據得出的物體表面形貌特征對物體進行分類。結果，物體被用光學方法分類，以備將它們分出等級。
現在，借助下面的附圖(其中同樣的元件用同樣的數字標出)可使本發明更具體化。
圖1是根據本發明使用一臺特征模式計算機的分類和分等裝置的簡化方框圖。
圖2a是用在圖1系統中的光學室的簡化概略截面視圖。
圖2b是用在圖1系統中的第二實施例的簡化等角平面視圖。
圖3a是用本發明生成的光滑水果果皮的計算機圖像，而圖3b則是沿著選定的掃描線掃出的水果表面的相應直方圖。
圖4a是用本發明生成的帶有酸性腐爛的水果的計算機圖像，而圖4bj也是沿著選定的圖4a的水果的掃描線掃出的直方圖。
圖5a用本發明生成的示出純腐爛水果的計算機圖像，而圖5b則是沿著選定的圖5a的水果的掃描線掃出的直方圖。
圖6a是具有如本發明所判斷的顆粒果皮的水果的計算機圖像，而圖6b則是沿著所選的掃描押線掃出的圖6a的水果的表面形貌特征的直方圖。
圖7a是呈現如像本發明檢測到的軟鼓包和凹坑的水果的計算機圖像，而圖7b則是沿著選定的掃描線掃出的圖7a的水果表面形貌特征的直方圖。
圖8a是帶有如像本發明判斷的隆脊和低谷缺陷的水果的計算機圖像，而圖8b則是沿著圖8a的水果的選定的掃描線掃出的直方圖。
圖9a果皮中具有根據本發明判斷的裂口或割傷的水果的計算機圖像，而圖9b則是沿著選定的掃描線掃出的圖9a的水果的特征的直方圖。
圖10a是帶有如像根據本發明判斷的純鼓包和凹坑的水果的計算機圖像，而圖10b則是沿著圖10a的水果的所選掃描線掃出的直方圖。
現在，可以借助以下的詳細敘述來理解本發明及其各種不同的實施例。
在這個時候，闡明某些在上文中可能已經用到以及在下文中可能會用到的專門術語，相信是重要的。
因此，“透射光”是本質上以光束的形式穿過介質的光，它通過介質的結果可能有也可能沒有“發散”。也可設想，這個專用名詞的內涵就是入射光線的剩余部分，它在入射光束中存在的一些光強被散射或吸收之后，繼續“前行”穿過介質。
為了本論述的目的，“散射”光是已經從入射光束的方向散開的光。基本上就是這個散射光造成了半透明物體中的輝光。
“吸收”光的意思是入射光束中既不透過介質也不在介質里面散射，但其能量則由介質代替保持的光。
本文中引用了“半透明”物體一詞。這些引用詞指的是一些物體，其中入射光束的選定頻率或頻譜的光可以有一部分被吸收以及一部分發散，不過從中至少有一些發散光由于穿出物體的表面部位而能夠從外部檢測出來。典型的例子有水果(例如南瓜、香瓜或柑桔類水果)、石蠟、某些陶瓷、某些塑料與復合材料(用可鑄性樹脂復合的纖維材料)，這里所選定的頻率一般可以是可見光譜、近紅外線，或者也許是別的頻率。
“透明”物體指的是允許一個選定頻率或多個頻率的入射光以光束的形式(可以發散)大體自由透射的物體，其透射光在物體中基本不被吸收和散射。一個典型的例子是普通的窗戶玻璃，其中的頻率為可見光譜和某些別的頻率。
至少其一部分表面部位是半透明或者吸收光線的透明物體，為了解釋本文的說明書、權利要求書以及摘要的目的，被認為是透明物體，這是因為某些散射或吸收光線可能會出現在這樣的物體中，至少會出現在它的表面部位，這就使得有可能應用本發明的方法的裝置。這樣一種物體的一個例子可以是塑料球，其內部-空氣-對可見光是透明的，而表面部位-塑料-對可見光則是半透明的。另一個例子可以是一張在表面帶有缺陷例如劃痕、凹凸不平或疵點的玻璃。這類缺陷會散射和/或吸收一些透過玻璃的光線。這就使得能夠根據本發明的理論將玻璃分類和分出等級。
因而，一般說來，比較熟悉本發明適合的技術的那些人員將會理解到，有許多類型的物體可以根據這些理論分類和分出等級。就我們的目的來說，一切這類物體都被認為包括在專用名詞“半透明”之內，并由此最后明確。
因而，文中提到物體均可理解為包括屬于前述定義的任何物體，包括但并不局限于柑桔類水果。同樣地，文中提及的水果或柑桔類水果均可理解為是指可以根據本發明的方法和裝置進行分類和分等級的一切物體。
物體的“表面部位”是指在其外周邊的物體部位，它可以有相當的厚度(例如柑桔類水果的果皮)，并且還包括這類物體的上表面。由此，“表面”和“表面部位”在本質上是同義的。實際上，一個水果的缺陷是僅存于外表面還是在表面“以里”，只要其證據能用肉眼在外表面上檢查得出來，在水果的市場價值上不會產生多少實際差別。
專用名詞“鼓包”、“凹坑”、“純腐爛”、“酸性腐爛”、“顆粒狀表面”、和其他形貌特征以及與本文使用的有關果皮完整性的特征在柑桔產業中是眾所周知的，僅作為可以檢測的特征的例子給出，并且可以根據本發明用它對水果(或其他物體)進行分類。
對物體的表面形貌特征，尤其是象帶果皮的柑桔類水果這樣的球形物體的表面形貌特征掃描和計算處理，使得有可能根據其表面特征對物體分等級。在柑桔類水果的情形，果皮的粗糙度或表面粒度、鼓包和凹坑、隆脊和低谷、割傷、刺傷、擦傷和裂口、純腐爛和酸性腐爛被用來通過象素掃描的數字分析進行光學鑒定并根據果皮表面部位的質量分出等級。
通過將所拍攝的物體圖像分離為背景圖像和物體本身的圖像將物體分類。然后去掉背景圖像。然后對作為包括兩個半球的一個整體物體的圖像進行統計學計算處理，以判斷是否有任何表面特征的變化可以看作一個缺陷或者是可作出分類評判的一個適當基礎。如果有，則物體圖像要受到高頻或低通濾波以及象素光強的門限值處理以導出一個凈化的圖像，然后將凈化圖像列成表格或者編進連接銳躍遷或平緩躍遷的鄰域以鑒定定義為斑痕的特定面積，當將斑痕與一個選定的最小面積、形狀要求和/或寬度比較時，可被鑒定為一個前面所述的表面缺陷。
圖1是一個分類和分等級裝置的方框圖，它將特征計算機與本發明的方法結合起來。分類和分等級裝置-本文中有時稱為“系統”并用標號10一般表示-包括一個常規的傳送帶12，多個物體14在帶上傳送。正如上面所指出的，所示實施例中的物體14可以是水果，或者說尤其是柑桔類水果、或者是任何型式的本質上半透明或透明的物體。任何這類物體，尤其是具有表面形貌特征的任何上述球形物體都可通過系統10同等處理。
傳送帶12將水果14輸送到一個光學室16，水果14在光學室16里的檢驗站18受到照射。傳送帶12輸送并將水果定位，控制水果的姿態以供攝像。傳送帶設計得能在檢驗站18提供水果14的最大曝光。所示的實施例中的傳送帶系統12包括旋轉水果14的驅動軸。在所示實施例中，水果14隨著移動通過攝像站18而反向旋轉，目的是至少部分地補償其順著傳送帶12向前的移動。換句話說，水果如此旋轉，使得在持續時間的曝光期間，同一個表面趨向于保持面對攝像器30，以提供完整可靠的成像條件。當然，這一點也可通過從所周知的技術進行時間同步。
光學室16也許在圖2a的簡化橫截面視圖中被描述得更清楚些，圖2示出傳送帶12將水果14載入光學室16中的檢驗站18，在檢驗站18用一對高強度光源22和24照射水果14。光源22和24從下方聚焦到水果14上，并且還可配備常規光源協助提供水果14表面的最佳照明。
另一方面，高強度光源22和24可以代之以兩根或多根光纖，或者側照水果14，或者放置得成一個較低的傾角向上伸出照射盡可能小的水果外表面。
作為另一個替代方案，光源24和24可以是激光光束或者是由LED形成的光束。此外，可以使用單一的光源，并且可用光學方法分成兩個光源22和24或更多。總之，不言而喻，這些光源22和24或者單一的光源都提供將在水果內部散射的入射光，使得水果發光。而且，正如前面所提出的，根據被檢驗的物體的光學特性選擇光的頻率或者頻譜，以在物體內產生所要求的散射以及最終投射出穿越水果表面的那種輝光。對柑桔類水果來說，普通的可見光譜就足夠了。
對于某些應用，可能會要求特定的入射光波長或頻譜，以使一種所要求的光學效應能增強監測的那種型式的物體中的特殊型式的缺陷。面對特殊型式的物體和缺陷，留給比較熟練的專業人員去決定入射光的正確頻率或頻譜。
檢驗站18按要求適當遮護，或者提供無反差的黑色不反射表面以避免虛假圖像，或者在要求增加對水果的入射光強時包括進反射面。在任何情況下，在圖2a所示的實施例中，水果內部散射并穿過果皮投射的輝光均從下部的鏡面26a和26b反射到上部的鏡面28a和28b。正如圖2a中所進一步示出的那樣，一個CCD矩陣或攝像器30得到其靠上反射鏡28a和28b聚焦的光，拍攝出一個單一的計算機圖像，實際上就是水果14的一個半球的整個外表面，如圖3a-10a所示。
如圖2b所示，實際上有兩個攝像器30a和30b。每個攝像器拍攝兩個半球之一的圖像。例如，正如在圖2b所看到的，水果14的第一半球圖像被在下方的鏡面27a反射到左上鏡面29a，隨后再到第一攝像器30a。該第一半球的圖像也通左下方的鏡面27b反射到右上方的鏡面29b進入第一攝像器30a。
于是，當水果繼續順傳送帶行進并經過同步旋轉露出其另一個半球之后，水果14的那個第二半球的圖像被右下方的鏡面27c反射到左上方的鏡面29c，并由左下方的鏡面27d反射到右上方的鏡面29d，兩者合成的圖像被反射到另一攝像器30b中。
如圖1所示，攝像器30耦合到一個特征模式計算機34。特征模式計算機34是一臺個人計算機，耦合到運行必要的傳送帶功能與分等級功能的遠程主計算機和一臺為用戶提供輸入和輸出訪問系統10的輸入/輸出計算機38。水果14的特征分析在特征模式計算機34里進行。根據用戶指令，通過輸入/輸出計算機38向遠程主計算機36的輸入將隨著特征模式計算機34發出的命令在多個分等級站40執行分等級操作，分等級站可包括驅動排放閥門(水果14就靠它動作)的電磁線圈，水果14通過閥門被從傳送帶12排放到適當的分等儲放器或二級傳送帶。這種排放已由拉瓦爾斯(Lavars)等人在美國專利號5,174,429(1992)-“傳送帶卸料裝置和方法”中敘述過了。
于是，通過觀察圖1就可明白，系統10的特征模塊由三個子系統構成，包括燈光和光學系統(包括光學室16、攝像器30與鏡面26a和26b以及28a和28b構成的成像系統)以及在特征模式計算機里的圖像處理。
中央輸入/輸出計算機38和遠程主計算機36都是普通的基本上與現有技術分類和分等級裝置中使用的是同一樣的計算機。為此，對系統10的這些部分，除了提供背景支持敘述特征模式計算機34的工作之外，將不進一步作任何詳細的敘述。中央輸入/輸出計算機38提供系統控制包括控制各種用戶接口、選擇輸入和輸出各種分類參數，在比圖1所示簡單的直線圖更復雜的陣列中傳送帶12配備有多條傳輸通道的場合決定系統10中的傳送帶路徑。
燈光系統使用兩只鹵鎢投射燈泡22和24，放在水果14兩側且位于水果的中心線以下。系統10的設計要求既不限制使用任何特殊型式的燈泡或照射系統，也不限制燈泡數量。唯一的要求就是燈泡(一只或多只)發射適當頻率或頻譜的光線入射到水果上，透射過水果14的果皮產生一個發光效應，能夠被攝像器檢測出來。換句話說，只要光線的定位、強度和頻率/頻譜使得有光線穿透水果14的果皮或表皮并在其中散射，提供一個穿過果皮的發光效應。
攝像器上沒有特別的濾光器，并且用電子學方法控制成像的曝光時間。電子控制曝光時間能補償由于水果尺寸和果皮厚度的不同而造成的發光強度的差別。這一補償可在運行開始階段確定，并且可通過輸入/輸出控制器38自動或人工輸入適當的校正數據。
自動控制可以通過使用一只光敏二極管44安裝在每個攝像器30上借助于一個頻率發生器(未示出)產生一個依賴于每個光敏二極管檢測到的光總量的輸出頻率來實現。通過使用受光敏二極管44控制的頻率發生器的輸出頻率，就控制了攝像器30中CCD芯片上的曝光時間。
不僅有大量的方法可以使水果14受到照射，而且有大量的方法可以用于拍攝水果14的計算機圖像，既可使用一架攝像器也可使用多架攝像器以及各種不同的光學系統和配置。現在只限于所示的光學系統、照射系統或成像系統并不意味著限制本發明范圍。相反，特意考慮了許多其他的變例和手段都可等效地用于得到本發明所要求的結果。在優選的實施例中，所要的一切就是提供每個水果14的一個大體完整的計算機圖像，使得下面討論的特征特性不致忽略水果表面的任何重要部分。實際上，對于某些應用來說，使用單個攝像器和簡化的光這系統，僅用一個半球的圖像就可能足夠了。
特征模式計算機34執行圖像并將分類信息送到系統的其他部分，用于按照眾所周知的方式進行最后的排料選擇。實施圖像處理的實際方法或運運算并不苛刻，可以根據特征模式計算機34中所用的處理器的能力和容量及其控制軟件廣泛變化。在所示實施例中，特征模式計算機34使用得克薩斯儀器公司制造的TMS 320 C40型微處理器，借助使用通用圖像處理開發包產生的運算來提供圖像處理。該圖像處理開發包系由馬里蘭州的亞美利尼克期(Amerinex)人工智能公司使用商標KB的版本銷售。
敘述過系統10的基本硬件之后，我們現在一般地研究一下如何處理所拍攝的圖像來提供表面形貌特征分等。在所示實施例中，處理的第一步是排除諸如來自光源22和24的反射光強度(它不構成來自水果14里面的散射光并射出果皮的輝光)之類的無用信息。轉到圖3a的例子，繪出了光滑水果果皮的實際計算機圖像的明亮部分46。水果14的兩個圖像示于大體上繪出了水果兩個半球的景像的圖3a。于是，圖形圖像的部位46，由于其顯然較高強度的電平，可作為不載有有關表面形貌特征信息的圖形信息信號區去除掉。
下一步，整個掃描水果表面以提供構成圖像的整個象素圖案的最大、最小以及標準的光強離差，提供指示圖像中是否存在可能構成要求進一步檢查的表面缺陷(例如鼓包和凹坑、割傷、扎傷或腐爛)的光強變化。
柑桔類水果的鼓包是果皮稍稍脫離下面果肉因而稍稍鼓起或膨脹的區域。凹坑則相反，其果皮表面的一部分較鄰近區域凹陷進去。
如果沒有檢測出缺陷，則圖形圖像受到例如表示水果表面粒度的高頻數據檢查。然后，由水果14得出的數據可反饋回到遠程主計算機36用于按照用戶標準分類的目的。
在一個例子中，水果表面球形統計分析表明存在果皮缺陷，缺陷的類型則可通過應用一系列的數據濾波器鑒定。高通數據濾波器可用于查找割傷和扎傷。帶斑痕分析、描跡和大光強面積縱橫比的低通濾波器對于鑒定鼓包和凹坑以及識別腐爛是很有用的。本文中斑痕被定義為具有一類表面形貌特征的果皮的鄰接區域。
分離出鼓包和凹坑數據之后，顯示超出標準離差數值的峰值光強的一系列檢查可用來鑒定一類缺陷(例如鼓包和凹坑)的缺陷程度。做完這一切處理之后，隨即將整個水果的尺寸與受損面積相比較以產生出受損表面的缺陷的百分比數值。其他的缺陷，例如腐爛和表皮破裂可以不計算百分比，不過不管水果受損面積的百分比率如何，都構成立即剔出該水果的一個原因。
這一處理的效果如何，現在可通過觀察圖3a-10a、比較其取自選定的掃描線上的象素光強直方圖(如在相應的圖3b-10b中分別所示)更好地評價。我們首先轉到圖3a，其中繪出了光滑桔子表皮的計算機圖像，示出由反射圖象提供給攝像器的兩個圖像。正如前面所討論的，來自照射源的明亮區46由于不含有關果皮狀況特性的信息而消除掉了。
然后，統計整個圖形圖像的信息，得出最大、最小以及標準離差來表示圖像象素的光強變化。在這一情形，統計離差表示水果光滑并且完全在合格范圍之內。此刻，進一步的統計分析成為不必要，并且水果位置被示蹤在系統10里，并順著選定路線的傳送帶12被載到適當分等級儲放器42或二級傳送帶，或者用于根據附加的方法和標準進行分析和分類。
為了說明的目的，典型的掃描線48橫切圖3a中二個半球圖像的一部分。然后，掃描線光強被繪成圖3b的直方圖，其中光強系對垂直軸作圖并沿順著水平軸的掃描線布置，使端50對應于圖3b直方圖的左端，掃描線48的端52對應于圖3b直方圖的右端。目視檢查圖3b的直方圖表明象素光強的變化維持在距平均值相當有限的離差數值范圍之內，提供一個完全不同于在圖4b-10b中所繪直方圖(其中示出各種不同的水果缺陷)的圖案。借助常規的統計方法。圖3b-10b的直方圖可用有意義的統計參數來表征，通過那些分成各個類別的參數來可靠地鑒定水果14的表面形貌特征。
此外，雖然圖3a中在水果14的一個半球圖像上繪出了一根掃描線，但不用說，完全可以使用在不同方向和位置橫切每個半球圖像的多根掃描線48，來求得水果14的表面形貌特征的平均統計定義。
圖4a示出一個受到稱作酸性腐爛的表面腐爛(在表面形貌特征上可看得出來)損害的水果14的計算機圖像。仍然是，明亮照射區46由于沒有關系而從圖像中除去。作全面的統計分析指出，在表面形貌特征當中存在有足夠的象素變化，要求對表皮損傷作進一步的數據處理。因此，用一根典型的掃描線48橫切水果14的一個半球圖像，其相應的光強直方圖(畫在圖4b中)示出從圖4a中掃描線的下底(即圖4b的直方圖的左端)在圖4a中掃描線48的上頂52(即圖4b中直方圖的右端)的光強變化。
比較圖3b和4b的象素光強直方圖，立刻顯出一個清楚明確的圖案特性差別。最大值和最小值之間存在一個更寬的變化，對平均值的離差比圖3b中大得多。對圖像進行處理以鑒定象素光強中的平穩躍遷區。自動地(基于統計測度)或者由用戶通過中央輸入/輸出計算機38設置一個預定的門限值。將在連接帶平穩躍遷的象素邊界的鄰域中具有高于預定門限值的充強的各象素的數字列入表格。這些鄰域就定義為斑痕。然后將超過用于鑒定表面缺陷的給定特性參數的斑痕數字列入表格。如果這一數字超過給定的果皮面積的最大百分數，水果就被打上標記并被分以便剔除。
直方圖的圖案形狀的識別也可借助常規的曲線符合技術在特征模式計算機34中進行。酸性腐爛直方圖的特征在于巨大的中央尖峰急刀劇跌向臺肩。需要的話可以采用多根掃描線48通過水果14的兩個半球圖像。然后對檢驗位置18上具有這一形狀的直方圖的水果可以打上酸腐爛損傷的標記，由傳送帶12運載并適當分等放進一個收集儲放器42或者在遠程主計算機36的控制下進到二級傳送帶上，遠程主計算機則根據中央輸入/輸出計算機的命令按照特征模式計算機34的特征模式特征給出的參數集合動作。
同樣地，圖5a是水果14的兩個半球的計算機圖像，水果的特征在于純腐爛表皮損傷。相應的直方圖示于圖5b，其特征在于巨大尖峰急速跌向掃描線上純腐爛以外其他地方的平均象素光強。而且，這一圖像與圖3b和4b的圖像截然不同，可通過常規的圖案識別清楚地識別出來，因而水果在系統10中打上標記并分出等級。對于純腐爛圖像的處理類似于上面對酸性腐爛所敘述的處理。
圖6a是具有高孔隙率或顆粒表面的水果14(在某些市場上可能會被消費者認為不大完美)的計算機圖像。相應的直方圖示于圖6b，它說明高象素光強的散射變化，其結果如像是林立的細寬度高煙囪被深谷隔開。圖6b的直方圖與圖3b-5b的圖案截然不同，通過統計和圖案識別，可對它做出鑒定并在系統10中將水果14適當分類并分出等級。尤其是，用一個高通數據濾波器將掃描圖像濾波并留下高頻數據。為所述濾波圖像的象素光強設置一個門限值，并將具有高出這一門限的光強的象素數字列入表格以評估果皮的孔隙率。
圖7a示出水果14的計算機圖像，其表面特征在于表面損傷是所謂的軟鼓包和凹坑，或者說其特征在于果皮形貌中的小山包和低谷。相應的直方圖示于圖7b(如像順著圖7a的典型掃描線48所看到的)。直方圖形狀與圖3b-6b截然不同，其特征在于多個高峰，一些帶有中間寬度的高峰被中間深度的低谷隔開。而且，圖7b的直方圖可以用統計學方法統計和圖案識別使得有可能將帶有軟鼓包和凹坑缺陷的水果14打上標記，從而允許選擇分等放入適當的收集儲放器42或系統10的二級傳送帶。尤其是，使用低通濾波器或者任何平滑并軟化象素數據光強的數據處理運算由圖像濾出低頻數據。為已濾得的圖像設置一個象素光強門限值，將具有高于那個門限值的象素數字列入表中，以鑒定果皮中的小山包和低谷。
圖8a示出水果14的兩個半球的圖形圖像，其表皮受到所謂隆脊和低谷缺陷的損害。這些都是生長期間在果皮外表面上形成的縱向低谷和隆脊。相應的直方圖示于8b，仍然是與圖3b-7b的直方圖截然不同的圖案，其特征在于又寬又高的尖峰之間帶有深谷，對應于形成在果皮中的隆脊和低谷。水果根據統計和圖案識別被相應分類并被系統10分出等級。尤其是，圖像被有選擇地掃描以得出象素光強的銳躍遷。設置象素光強的一個門限值。將在連接相應于銳躍遷的象素邊界的鄰域中具有高出所設門限值的光強的象素數字列入表格。鄰域被定為斑痕。然后將超過有于鑒定果皮中V形隆脊和凹谷的預定特性參數的斑痕數字列入表格。而且，如在圖3a-10a的所有情形一樣，對斑痕的絕對數字或斑痕中總果皮面積所占百分數提供一個判決標準，用來決定水果合格、剔出或作其他處理。
圖9a對一個呈現“挫傷”(一般定義包括裂口、割傷、扎傷和擦傷)的水果示出水果14的圖像。相應的直方圖示于圖9b，其特征在于很大很寬的尖峰帶有又深又寬的鄰接低谷，直方圖經目驗、統計分析，圖案與圖3a-8a所示的直方圖截然不同，使得有可能將水果14分類并在系統10中適當地分出等級。尤其，圖像被掃描得出象素光強銳躍遷。提供一個預定的門限值。將連接帶銳躍遷的象素邊界的鄰域中具有光強在預定門限值之上的象素數字列入表格。鄰域被定為斑痕。將超過預定面積的斑痕數字列入表格以鑒定所述果皮中的挫傷。
圖10a是水果14的兩個半球的計算機圖像，其特征于純鼓包和凹坑型表皮缺陷。相應的直方圖示于圖10b，提供了與眾不同的被深谷隔開的多個帶有窄項的中間寬度的高峰圖案，其統計和圖案與圖3b-9b所示的截然不同。因而，帶純鼓包和凹坑的水果14可被選擇分類并在系統10中分出等級。圖像處理基本上與上述對軟鼓包和凹坑所作的一樣。
系統10的硬件和圖像數據的處理現在都已經敘述了，我們來考慮用以實現數據處理的總體軟件結構。系統10的操作，尤是特征模式計算機34的軟件控制用圖11的軟件結構圖來說明。圖11的軟件構造示出了特征模式計算機34用來完成上述操作的主模塊。
實時核54提供所述的實施例的操作系統。主特征模塊56完成起動任務，管理耦合到特征模式計算機34的各種資源，對付要求特別處理的事件中斷，大量提出或指定必須執行的系統任務，在特征模式計算機34里的眾多各不相讓的軟件請求中指定優先權。
主特征模塊與多個其他模塊或資源并行通信。例如模塊56通過并行通信端口58控制并和遠程主計算機36數據通信。與中央輸入/輸出計算機38的通信通過一個局域網模塊60操縱。傳送帶12的移動和同步通過一個皮帶同步模塊62跟蹤，模塊62也與遠程主計算機36通信以接信有關傳送帶速度和位置的信息。
攝像器30在模塊64的控制下按一個高效圖形幀捕捉協議與特征模式計算機34通信，模塊64用于起動并監視視頻幀捕捉卡的工作，在所示實施例中，該卡是加拿大不列顛哥倫比亞州(British Co1umlia)的頻譜信號處理公司制造的SPECTRUM視頻卡。
已處理的圖形數據通過模塊66從視頻卡讀出，并在數據處理模塊68的控制下存到硬盤上歸檔。已處理的圖像數據(例如在圖3a-10a中所看到的)通過局域網轉移模塊70轉移到中央輸入/輸出計算機38作為用戶信息。這就使得操作員能夠在系統運行時看到與系統10中的特征模塊所見一樣的處理圖像。
外加的輔助性軟件任務通過配置模塊72管理，模塊72建立和監控與計算機36和38以及可能與系統10聯用的其他系統的通信。例如系統10的分類和分等級就可能與如像在美國專利5,164,795中所述的柑桔類水果的顏色和損傷分類系統聯用，與顏色和損傷分類機的通信就通過使用模塊72來建立。模塊74提供視頻卡的初始化并確認其可操作性。通用模塊76則類似地建立和確定局域網控制和操作。
不言而喻，軟件系統及其構造可以廣泛改變，而仍然完成同樣的收集圖形數據，將數據處理以表征表面形貌特征的類別或特性，以及將此特性數據提供中央計算機38和遠程主計算機36用于根據用戶的選擇標準適當判斷和確定分類路線。
一般熟悉這一技術的那些人員都可作出許多變例和修改，而不需脫離本發明的精神和范圍。因而必須明白，上面擺出的說明實施例僅僅是為了舉例，不應當作像下面的權利要求書規定的那樣限制本發明。
在敘述本發明及其各個實施例的說明書中所使用的單詞不僅應從其一般的意義上理解，而且應包含一般意義的范圍以外特別定義的結構、材料和行為動作。因而，下面權利要求書的單詞或要素的定義不僅是在本說明書中規定的包含逐字提出的要素的組合，而且包括用于以大體同樣的方式執行大體同樣的功能達到大體同樣的結果的一切等效結構、材料和行為動作。
除了所要求的要素的等效含義以外，一般熟悉這一技術的人員現在或以后知道的明顯替代詞也規定在其定義要素的范圍之內。
于是，權利要求書被理解為包括上面特別仔細說明和敘述的，在概念上等效的，顯然能夠替代的以及還有在本質上體現本發明的基本思想的東西。
權利要求
1.一種根據物體至少一種選定的表面特征將半透明物體分類的方法，包括的步驟是照射物體使得光線在物體里面散射；檢測透射出物體表面的上述散射光；將上述所檢出的光轉換為表示透過表面多個定義區域的每一區的光線的相對光強的數據；分析上述數據以判斷所選表面特征的存在；以及根據上述判斷將物體分類。
2.權利要求1的方法，其中所述分析步驟包括對物體的表面特征執行圖案識別的步驟。
3.權利要求1的方法，其中在執行所述圖案識別步驟前，還有一個去掉不是來源于由物體內部透出其表面的光的數據。
4.權利要求1的方法，其中所述分析數據的步驟包括導出數據的一個統計測度來判斷是否有表明存在表面特征的足夠強光變化。
5.權利要求3的方法，其中所述分析數據的步驟包括導出數據的一個統計i度來判斷是否有表明存在表面特征的足夠光強變化。
6.權利要求5的方法，其中所述轉換數據的步驟還包括相對于一個選定的截止頻率對數據進行頻率濾波的步驟。
7.權利要求6的方法，其中所述頻率濾波的步驟包括僅通過高頻數據分量。
8.權利要求6的方法，其中所述頻率濾波的步驟包括僅通過低頻數據分量。
9.權利要求1的方法，其中所述檢測步驟還包括光學形成一個從物體透射的散射光的圖像的步驟。
10.權利要求9的方法，其中所述檢測步驟包括掃描沿著一條橫截上述圖像的選定的線所形成的圖像的步驟。
11.權利要求10的方法，其中所述掃描步驟沿著多條橫截圖像的掃描線進行。
12.權利要求9的方法，其中所述物體為一般球形，并且光學形成所述圖像包括形成所述物體的大體兩個半球的圖象。
13.權利要求9的方法，其中所述光學形成圖像的步驟包括用光學方法將從物體透出的散射光的圖像反射到背向物體的攝像器。
14.權利要求1的方法，其中考慮多個表面特性，并且所述分析步驟包括判斷在物體上是否存在任何上述表面特性。
15.權利要求14的方法，其中物體是帶果皮的柑桔類水果，并且其中所述分析步驟包括判斷柑桔類水果果皮中孔隙率的范圍。
16.權利要求14的方法，其中物體是帶果皮的柑桔類水果，并且其中所述分析步驟包括判斷柑桔類水果果皮中鼓包和凹坑的范圍。
17.權利要求14的方法，其中物體是帶果皮的柑桔類水果，并且其中所述分析步驟包括判斷柑桔類水果果皮中隆脊和低谷的范圍。
18.權利要求14的方法，其中物體是帶果皮的柑桔類水果，并且其中所述分析步驟包括判斷柑桔類水果果皮中挫傷的范圍。
19.權利要求14的方法，其中物體是帶果皮的柑桔類水果，并且其中所述分析步驟包括判斷柑桔類水果果皮中表面腐爛的范圍。
20.權利要求9的方法，其中所述檢測步驟包括掃描一個二維陣列的圖像以提供至少一部分物體表面的二維圖形圖像的步驟。
21.權利要求1的方法，其中照射步驟包括以可見光照射物體。
22.權利要求1的方法，其中照射步驟包括以可見光譜以外的光照射物體。
23.權利要求22的方法，基中光線包括近紅外光。
24.權利要求9的方法，其中所述分析步驟包括將圖像分離為背景圖像和物體圖像；以及去掉背景圖像，留下物體圖像。
25.權利要求24的方法，其中物體是帶果皮的水果，并且其中所述分析步驟包括判斷所述果皮的孔隙率范圍，并且還包括掃描物體圖像；使用高通數據濾波器對所掃押的圖像濾波以得到高頻數據；設置所濾圖像象素光強的一個門限值；以及將具有高出門限值的光強的象素數定列入表格。
26.權利要求24的方法，其中物體是帶果皮的水果，并且其中所述分析步驟包括判斷果皮中小山包和低谷的存在，并且還包括掃描物體圖像；使用低通/平滑數據濾波器對所掃描的圖像濾波以得到低頻數據；設置所濾圖像象素光強的一個門限值；以及將具有高出門限值的光強的象素數字列入表格。
27.權利要求24的方法，其中物體是帶果皮的水果，并且其中所述分析步驟包括判斷果皮中V形隆脊和凹谷的存在，并且還包括有選擇地掃描圖像以得到象素光強的銳躍遷；設置象素光強的門限值；將連接對應于銳躍遷的象素邊界的鄰域中具有高過門限值的光強的象素數字列入表格，所述鄰域定為斑痕；以及將超過用以鑒定果皮中V形隆脊和凹谷的預定特性參數的斑痕數字列入表格。
28.權利要求27的方法，其中特性參數包括一個選定的最小斑痕面積，并且所述將斑痕數字列入表格的步驟包括將超過所選最小面積的斑痕數字列入表格。
29.權利要求27的方法，其中特性參數包括一個選定的斑痕形狀，并且所述將斑痕數字列入表格中的步驟包括將遵守所選形狀定義的斑痕數字列入表格。
30.權利要求24的方法，其中物體是帶果皮的水果，并且其中所述分析步驟包括判斷果皮表面中存在挫傷，并且還包括掃描物體圖像以得到象素光強和銳躍遷；設置物體圖像的象素光強的一個選定的門限值；以及將連接帶有銳躍遷的象素邊界的鄰域中具有高過所選門限值的光強的象素數字列入表格，上述鄰域就定為斑痕；以及將超過用以鑒定果皮中的挫傷的所選面積和寬度的上述斑痕數字列入表格。
31.權利要求24的方法，其中物體是帶果皮的水果，并且其中所述分析步驟包括判斷表面腐爛的存在，并且還包括掃描物體圖像以得出象素光強中的平緩躍遷；設置象素光強的一個選定門限值；將連接帶有平緩躍遷的象素邊界的鄰域中具有高過門限值的光強的象素數字列入表格，上述領域就定為斑痕；以及將超過用以鑒定表面腐爛的給定特性參數的上述數字列入表格。
32.權利要求31的方法，其中特性參數包括選定的上述斑痕的最小面積，并且所述列入表格的步驟包括將超過所選最小面積的斑痕數字列入表格。
33.權利要求31的方法，其中特性參數包括一個選定的形狀，并且所述列入表格的步驟包括將具有遵守所選形狀定義的形狀的斑痕數字列入表格。
34.權利要求1的方法，其中物體系由水果、塑料物品、石蠟物品、陶瓷物品、復合材料以及玻璃物品構成的組合中選出。
35.權利要求1的方法，其中將多個物體分類，并且還包括根據其類別將上述物體分成等級的步驟。
36.一種用于判斷半透明物體上存在至少一種選定的表面特征的裝置，包括用于照射物體使得光線在其里面散射的機構；用于檢測透過物體表面的上述散射光線的機構；用于將上述檢出的光線轉換為表示透過表面多個規定區域的每一區的相對光強的數據的機構；以及用于分析上述數據以判斷所選表面特征的存在的機構。
37.權利要求36的裝置，其中所述檢驗機構包括用于建立一個透射散射光圖像的機構。
38.權利要求37的裝置，還包括用于拍攝h述圖像的光學攝像機構。
39.權利要求37的裝置，其中所述檢測機構包括兩個獨立的檢測機構。
40.權利要求39的裝置，其中每個所述檢測機構都包括用于拍攝上述圖像的光學攝像機構，所述光學攝像機構用于拍攝上述圖像的不同部分。
41.權利要求40的裝置，其中物體大體是球形，并且每一個所述光學拍攝機構被用于拍攝大體相應于物體的一個半球的圖像。
42.權利要求38的裝置，還包括響應所述拍攝機構的輸出，將其輸出轉換為表示圖像的多個區域里面的相對光強的數據。
43.權利要求42的裝置，還包括用于分析數據以判斷物體的所選特征的存在的機構。
44.權利要求43的裝置，其中所述分析數據的機構包括數字計算機機構。
45.權利要求43的裝置，還包括響應所述數據分析機構用于根據上述判斷將物體分類的機構。
46.權利要求45的裝置，其中所述分類機構包括數字計算機機構。
47.權利要求43的裝置，其中所述數據分析機構包括用于將上述相對光強與一個選定的標準圖案相比較的機構。
48.權利要求47的裝置，其中所述比較機構包括用于將所述相對光強與多個選定的標準圖案相比較的機構。
49.一種用于判斷半透明物體上存在所選表面特征的裝置，包括至少一個朝著物體的光源；用于將在物體里面散射并透過物體表面的光轉換為數字信號的傳感機構；以及用于判斷上述特征是否存在的計算機構。
50.權利要求49的裝置，其中所述計算機構包括數字計算機機構。
全文摘要
拍攝半透明物體例如帶果皮的柑桔類水果的表面形貌特征以根據其表面特征進行分類。在柑桔類水果的情形，果皮的粗糙性或粒度、鼓包和凹坑、隆脊和低谷、割傷、扎傷、擦傷和裂口、純腐爛或酸性腐爛都可通過象素掃描的數字分析來鑒定和根據果皮的表面質量分出等級。通過將拍攝的水果圖像與背景圖像分開并去掉背景圖像而將水果分類。對整個物體圖像作統計分析，以判斷是否有可以當作缺陷或適于作分類評定基礎的任何表面特征變化。如果有，則物體圖像要受到高頻或低通濾波以及象素光強的門限值處理以得出一個凈化圖像。然后將凈化圖像列入表格或編為連接銳躍遷或平緩躍遷的鄰域以將特定的區域定為斑痕。將斑痕與給定的最小面積、形狀要求和/或寬度相比較就可被鑒定為一個被找的表面缺陷。
文檔編號G01N21/88GK1142205SQ95191836
公開日1997年2月5日 申請日期1995年9月6日 優先權日1994年11月3日
發明者理查德·D·赫克, 亨利·A·費爾特 申請人:新奇士種植者公司