紅外成像系統的制作方法

紅外成像系統的制作方法
【專利摘要】本實用新型提供了一種紅外成像系統，其具有改善的電子器件架構。在一個實施方式中，提供了一種包括用于捕獲紅外圖像數據的紅外成像傳感器和用于高效地處理捕獲的紅外圖像數據的主電子器件塊。主電子器件塊可以包括多個向量處理器，每個向量處理器配置成并行地對紅外圖像數據的多個像素進行操作，以高效地利用像素級并行性。每個向量處理器可以通信耦接到本地存儲器，本地存儲器為紅外圖像數據中由向量處理器進行操作的一部分提供高帶寬、低延遲存取。主電子器件塊還可以包括配置成管理至/來自本地存儲器的數據流和其他系統功能的通用處理器。本實用新型提供了高效、可縮放、靈活并且成本有效的紅外攝像機電子器件架構。
【專利說明】
紅外成像系統
[0001] 相關申請的交叉引用
[0002] 本申請要求2013年8月6日提交且題為"VECTOR PROCESSING ARCHITECTURES FOR INFRARED CAMERA ELECTRONICS"的美國臨時專利申請No. 61/862，923的優先權和利益，通 過引用將上述申請的全部內容并入本文中。
技術領域
[0003] 本實用新型的一種或多種實施方式大體上涉及用于成像設備的電子器件，并且更 具體地，例如涉及用于紅外攝像機的電子器件架構。
【背景技術】
[0004] 諸如紅外攝像機之類的紅外成像系統的普及性正在增加。隨著生產紅外成像傳感 器的成本降低并且圖像質量提高，紅外成像設備正越來越多地得到廣泛的應用。現代紅外 成像系統一般包括關聯的電子器件以執行"像素處理"，從而補償可能由紅外成像傳感器和 其他部件引入的各種類型的非均勻性和畸變。這樣的像素處理需要非常高的處理速度，尤 其是對于諸如紅外攝像機之類的實時應用來說，在紅外攝像機中需要在沒有顯著延時或其 他延遲的情況下捕獲視頻/圖像。然而，對于處理速度的這種要求對于具有常規圖像處理電 子器件架構的紅外成像系統經常導致不利的成本、尺寸和/或功率需求。
[0005] 例如，一般的紅外攝像機電子器件包括諸如現場可編程門陣列(FPGA)的可編程邏 輯器件(PLD)以執行像素處理。然而，由于PLD使用邏輯語言而被編程并且相比于專用電路 具有較差的邏輯密度，因此它們不是很適于實施復雜的像素處理算法(例如，分辨率增強 或其他高級像素處理算法)或高級功能(例如，聯網、壓縮、用戶接口、文件系統管理或紅外 攝像機的其他功能）。盡管一些常規的紅外攝像機電子器件包括通用處理器(例如，數字信 號處理器(DSP))來執行這樣的高級功能，但是DSP或其他類型的通用處理器一般不能高效 地為現代紅外攝像機中期望的像素處理類型提供處理速度。即，一般的通用處理器或是不 能滿足處理速度需求或者僅在伴隨不合意的大功率消耗和發熱的情況下（例如，運行在高 頻率)滿足處理速度需求。一些常規紅外攝像機電子器件包括硬連線的電子器件(例如，定 制的固定電路或芯片）用于像素處理。然而，硬連線的電子器件實施成本較高，并且更重要 地，其不提供可編程能力和可配置能力以按照需要更新或配置像素處理操作。
[0006] 由于對用于提供視頻分析、視頻壓縮、圖像增強和其他圖像/視頻處理的紅外成像 電子器件的增長的需求以及處置諸如用戶接口、網絡、圖像存儲和外圍接口功能的其他系 統功能的需要，加劇了這些困難。盡管一些常規紅外攝像機電子器件旨在通過組合通用處 理器、PLD、外圍控制器和其他部件來滿足對于處理速度的增長的要求，但是這樣的組合時 常導致成本、尺寸、重量和功率需求的增加。
[0007] 因此，常規紅外成像系統電子器件通常是高成本、低效的并且不能提供現代紅外 成像系統所期望的類型的圖像/視頻處理，同時需要非常大的電路板面積和功率。因此，存 在對于用于紅外成系統的改進的電子器件架構的需求。 【實用新型內容】
[0008] 為了提供一種低成本、高效并且能夠提供現代紅外成像系統所期望的類型的圖 像/視頻處理的電子器件架構，本文公開了用于各種實施方式的紅外成像系統。在一種實施 方式中，提供了一種紅外成像系統，其包括用于捕獲紅外圖像數據的紅外成像傳感器和用 于高效地處理捕獲的紅外圖像數據的主電子器件塊。主電子器件塊可以包括每個都配置成 并行地對紅外圖像數據的多個像素進行操作以高效地利用像素級并行性的多個向量處理 器。每個向量處理器可以通信地耦接到本地存儲器，所述本地存儲器為向量處理器要進行 操作的紅外圖像數據中的一部分提供高帶寬、低延遲的存取。主電子器件塊還可以包括配 置成管理至/來自本地存儲器的數據流和其他系統功能的通用處理器。主電子器件塊可以 實施為芯片上系統(SoC)，還包括外圍接口塊。
[0009] 在另一種實施方式中，一種紅外成像系統可以包括配置成提供包括復數個像素的 紅外圖像數據的紅外成像傳感器，和配置成接收紅外圖像數據的的主電子器件塊，所述主 電子器件塊包括至少一個向量處理器，所述至少一個向量處理器配置成根據與所述至少一 個向量處理器關聯的向量指令并行地對多個像素進行操作，其中所述多個像素選自紅外圖 像數據的復數個像素。
[0010]主電子器件塊還包括:與所述至少一個向量處理器通信耦接并配置成存儲紅外圖 像數據的至少一部分的至少一個本地存儲器，以及配置成管理到至少一個本地存儲器的數 據流的通用處理器。并且所述至少一個向量處理器配置成從至少一個本地存儲器存取多個 像素。
[0011] 主電子器件塊被實施為芯片上系統并且還包括配置成輔助通用處理器和一個或 多個外圍設備之間的通信的外圍接口塊。
[0012] 該紅外成像系統還包括與主電子器件塊通信耦接并配置成存儲紅外圖像數據的 全局存儲器，其中：主電子器件塊還包括響應于來自通用處理器的直接存儲器存取(DMA)傳 輸請求的DMA引擎;并且通用處理器被配置成通過請求DMA引擎執行紅外圖像數據中的至少 一部分從全局存儲器到至少一個本地存儲器的DMA傳輸來管理到至少一個本地存儲器的數 據流。
[00?3] 所述至少一個向量處理器包括多個向量處理器;所述多個向量處理器中的第一向 量處理器配置成根據與第一向量處理器關聯的第一向量指令并行地對第一多個像素進行 操作;所述多個向量處理器中的第二向量處理器配置成根據與第二向量處理器關聯的第二 向量指令并行地對第二多個像素進行操作;并且第一多個像素和第二多個像素選自紅外圖 像數據的復數個像素。
[0014] 第一向量處理器和第二向量處理器均被分派有用于處理紅外圖像數據的管線級。
[0015] 與第一向量處理器關聯的第一向量指令不同于與第二向量處理器關聯的第二向 量指令。
[0016] 主電子器件塊還包括多個本地存儲器;所述多個本地存儲器中的第一本地存儲器 與第一向量處理器通信耦接;所述多個本地存儲器中的第二本地存儲器與第二向量處理器 通信耦接;第一向量處理器配置成從第一本地存儲器存取第一多個像素;并且第二向量處 理器配置成從第二本地存儲器存取第二多個像素。
[0017] 所述至少一個向量處理器包括多個向量處理器;并且與所述多個向量處理器關聯 的向量指令包括用于并行地對多個像素執行偏移校正、增益校正、壞像素取代、自動增益控 制、光學畸變校正、圖像/視頻分辨率增強、圖像/視頻壓縮和/或視頻分析的像素級操作的 指令。
[0018] 該紅外成像系統還包括配置成提供可見光圖像數據的可見光成像傳感器，其中， 與所述多個向量處理器關聯的向量指令還包括用于并行地對多個像素執行紅外圖像數據 與可見光圖像數據的混合的指令。
[0019] 本實用新型的紅外成像系統提供了一種高效、可縮放、靈活并且成本有效的紅外 攝像機電子器件架構。
[0020] 在另一種實施方式中，一種提供紅外圖像的方法可以包括將接收的紅外能量轉換 為包括復數個像素的紅外圖像數據、將選自紅外圖像數據的復數個像素的多個像素提供給 至少一個向量處理器以及根據與所述至少一個向量處理器關聯的向量指令在所述至少一 個向量處理器并行地對所述多個像素進行操作。
[0021] 本實用新型的范圍由權利要求限定，權利要求通過引用而結合到本部分中。通過 考慮對一種或多種實施方式的以下具體描述，將給本領域內技術人員提供對本實用新型的 實施方式的更外完整的理解以及其附加優點的實現。將對附圖進行參考，首先將簡要描述 附圖。
【附圖說明】
[0022] 圖1示意了根據本公開的實施方式的用于捕獲并處理圖像的系統的框圖。
[0023] 圖2示意了根據本公開的實施方式的圖1的系統的一部分的框圖。
[0024] 圖3示意了根據本公開的實施方式的由圖1和圖2的系統的向量處理器進行的示例 像素處理的框圖。
[0025] 圖4示意了根據本公開的實施方式的用于圖1和圖2的系統的示例軟件架構的軟件 層示圖。
[0026] 圖5示意了根據本公開的實施方式的用于提供紅外圖像的過程的流程圖。
[0027]通過參閱下文的詳細說明將最佳地理解本實用新型的實施方式及其優勢。應該意 識到，類似的附圖標記用于識別一個或多個附圖中的類似元件。
【具體實施方式】
[0028]用于諸如紅外攝像機的數字成像設備的視頻(或圖像)處理鏈(例如，用于處理由 成像傳感器捕獲的原始視頻/圖像數據以產生可用的輸出視頻/圖像的一個或多個操作)在 本質上可能具有數據級并行性的高潛能，數據級并行性在常規數字成像設備中未得以利 用。例如，一般的紅外攝像機視頻處理鏈的許多操作涉及對于在視頻圖像幀中每個像素的 相同的獨立像素級操作的重復。除了基本的視頻處理鏈之外，其他更為復雜的視頻處理和 視頻分析算法也可以部分地涉及對于在視頻圖像幀中的每個像素獨立地重復的像素級操 作。對于多個數據元素(例如，多個像素)的這樣的重復操作潛在地能夠并行地執行。
[0029]本文公開的技術用于提供能夠有益地利用這種數據級（例如像素級)并行性的高 效、可縮放、靈活并且成本有效的紅外攝像機電子器件架構。根據本公開的各種實施方式， 一種紅外攝像機可以包括執行并行地對多個數據元素(例如，包含多個數據元素的向量） 進行操作的"單指令多數據"（SMD)的至少一個向量處理器。更具體地，向量處理器可以適 于如本文進一步描述的那樣并行地對數字圖像(例如，視頻幀）的多個像素進行相同的操 作，以利用在至少一些視頻處理和分析操作中可能是固有的像素級并行性。在一些實施方 式中，向量處理器可以包括適于臨時地存儲待由向量處理器進行操作或產生的多個數據元 素(例如，多個像素）。
[0030] 在一些實施方式中，諸如紅外攝像機的數字成像設備可以包括多個這樣的向量處 理器，每個向量處理器獨立地對多個像素執行SMD指令。多向量處理器架構可以使能可縮 放和靈活的圖像處理電子器件，其能夠處置苛刻的視頻/圖像處理和分析。例如，可以借助 更高級的視頻處理(例如，包括畸變校正、圖像混合、分辨率增強、編碼和/或其他處理)來擴 增基本的視頻處理鏈(例如，包括基本的像素校正操作），以限定擴展的視頻處理管線，所述 視頻處理管線的管線級可以根據期望的增強/校正和可用的處理功率而分布在多個向量處 理器上和在多個向量處理器上協調。在另一個例子中，可以在一些向量處理器中執行用于 不是視頻輸出鏈(或管線）的一部分的視頻分析或其他處理的像素級操作，而在其他向量處 理器中同時地執行視頻處理鏈(或管線）。在這個意義上，多向量處理器配置還可以利用另 一級的并行性(例如，線程級并行性）。
[0031] 本文公開的多向量處理器配置還可以提供隨著圖像/視頻分辨率的增加(例如，隨 著成像傳感器技術推進以提供更高的像素數)和/或幀率的增加而能夠很好地縮放的成像 設備電子器件。通過指派多個向量處理器中的更多個來處置關鍵路徑中的操作，可以適應 由于更高的分辨率和/或幀率而導致的對于像素處理功率的增加的要求，而不需要利用更 強力的處理器來重新設計成像設備電子器件。例如，通過將處置視頻處理鏈的向量處理器 的數量從兩個向量處理器增加到八個向量處理器，能夠適應熱成像傳感器分辨率從 640x512像素到1280x1024像素的增加（即像素數增加四倍）。
[0032]根據各種實施方式，可以提供了通信地耦接到向量處理器并由向量處理器存取的 一個或多個本地存儲器。在一些實施方式中，一個或多個本地存儲器中的每一個均可以與 一個向量處理器關聯。在一些實施方式中，一個或多個本地存儲器中的每一個均可以由一 個以上的向量處理器共享。每個本地存儲器可以適于存儲將由關聯的一個或多個向量處理 器消耗的數據。在這方面，每個本地存儲器可以適于存儲從全局處理器、其他本地存儲器 和/或其他存儲裝置預先傳輸(例如，轉發)的像素組(例如，在視頻/圖像的一個或多個行中 的像素），以使得選擇的像素組可以在本地存儲器中準備好用于由關聯的一個或多個向量 處理器存取和處理。要存儲在本地存儲器中的其他數據可以包括校準項中的相應部分、壞 像素分布圖、用于畸變校正的像素增量和權重、顏色查找表(LUT)、強度變換表（ITT)和/或 待用在處理選擇的像素群組中的其他數據。在一些情形中，每個本地存儲器可以適于存儲 由關聯的一個或多個向量處理器產生并傳輸到全局存儲器、其他本地存儲器和/或其他存 儲裝置的數據。通過給向量處理器提供局部數據存取和存儲，本地存儲器可以通過本文針 對各種實施方式進一步描述的向量處理器實現對像素數據的更快和更高效的處理。
[0033]在各種實施方式中，還可以提供了一種用以支持數字成像設備的向量處理配置和 其他管理功能的通用處理器。大體上，所述通用處理器可以利用諸如精簡指令集計算 (RISC)標量處理器的標量處理器或微控制器來實施，但是也可以設想諸如專用集成電路 (ASIC)實現方式或可編程邏輯器件(PLD)實現方式的其他合適電路實現方式。在各種實施 方式中，所述通用處理器可以適于處置整體系統配置管理、向量處理配置管理、數據和存儲 器管理、視頻分析的較高級處理部分(例如，不可向量化的操作）、操作系統功能(例如，包括 實時操作系統(RTOS)調度、網絡堆棧、外圍驅動器、文件系統處置和/或其他0S功能）。例如， 在一些實施方式中，可以通過通用處理器建立直接存儲器存取(DMA)傳輸來處置轉發到向 量處理器的本地存儲器的數據。在這方面，數字成像設備的一些實施方式還可以包括可由 所述通用處理器控制的一個或多個DMA引擎。
[0034] 在各種實施方式中，數字成像設備（例如，紅外攝像機)還可以包括控制數字成像 設備的各種部件界接并與數字成像設備的各種部件界接的其他電路。在一個例子中，這樣 的其他電路可以包括用于成像傳感器(例如，熱成像傳感器和/或可見光成像傳感器）的傳 感器接口、動態隨機存取存儲器(DRAM)控制器和各種外圍控制器(例如，用以提供用于USB 連接器、以太網模塊、顯示器、GPS模塊、藍牙模塊、閃存、串行外圍接口總(SPI)線和/或IC間 (I2C)總線的接口邏輯）。在一些實施方式中，本文描述的向量處理器、本地存儲器、通用處 理器、DMA引擎、成像傳感器接口、DRAM控制器及各種外圍控制器可以被集成到單個芯片上 系統（S0C)中。本文公開的成像設備電子器件架構的芯片上系統實現方式可以通過減少實 現數字成像設備所需的離散部件的數量來增加可靠性、減少成本以及允許較小的封裝。
[0035] 圖1示意了根據本公開的一個或多個實施方式的用于捕獲并處理圖像的系統100 (例如，紅外攝像機)的框圖。舉例來說，系統100可以表示數字成像設備(例如攝像機）以捕 獲并處理圖像，例如視頻圖像。系統100可以表示適于檢測紅外輻射、將檢測的紅外輻射轉 換為紅外圖像數據并處理紅外圖像數據以基于紅外圖像數據提供諸如紅外視頻圖像或其 他數據的輸出的任何類型的紅外攝像機。系統100可以包括單機便攜式設備(例如，手持式 紅外攝像機、可車載紅外攝像機或用于其他移動應用的紅外攝像機)或可以向主機設備(例 如，移動電話、平板設備、膝上型計算機或其他設備)提供成像能力(例如，紅外成像能力）的 成像模塊。系統100還可以是可能需要捕獲的圖像被處理、被存儲和/或被遠程地顯示并且 可以包括適于通過網絡(例如，無線和/或有線網絡，包括因特網)通信的分布式部件的非移 動設施。
[0036] 在各種實施方式中，系統100可以包括主電子器件塊102、紅外成像傳感器104、紅 外光學器件塊106、可見光成像傳感器108、全局存儲器110、非易失性存儲器112和/或時鐘 電路114。總體上，實施紅外攝像機的系統100可以包括紅外成像傳感器104。對于實施紅外 攝像機的系統100的一些實施方式，可見光成像傳感器108可以是可選的或者可以被包括并 且能夠被利用來補充紅外成像傳感器104,例如用來提供紅外和可見光圖像數據二者的融 合的視頻圖像。
[0037]主電子器件塊102可以包括給系統100提供圖像處理和系統控制（例如，攝像機控 制)功能的各種電路和部件。例如，主電子器件塊102可以包括一個或多個向量處理器以實 施本文進一步描述的向量處理電子器件架構。對于一些實施方式，主電子器件塊102的各種 電路和部件可以集成到單個芯片上系統實施中。主電子器件塊102可以包括適于與紅外成 像傳感器界接以控制和接收由紅外成像傳感器104捕獲的紅外圖像數據的電路。對于包括 可見光成像傳感器108的實施方式，主電子器件塊102可以包括適于與可見光成像傳感器 108界接的電路。
[0038] 在各種實施方式中，紅外成像傳感器104可以包括用于捕獲紅外成像數據(例如， 靜止圖像數據和/或視頻數據)的任何合適類型的多像素紅外傳感器，紅外成像數據表示由 紅外成像傳感器104經由紅外光學器件塊106觀看到的場景。例如，紅外成像傳感器104可以 包括具有關聯的讀出集成電路(R0IC)的測輻射熱計或其他合適的紅外檢測器的焦平面陣 列(FPA)，所述R0IC包括控制電路、時序電路、行和列尋址電路、放大器、模擬到數字轉換器 和適于輸出表示由測輻射熱計或其他合適的紅外檢測器檢測的紅外輻射的紅外圖像數據 的其他電路。例如，由FPA和R0IC捕獲和輸出的紅外圖像數據可以提供給如本文所述的主電 子器件塊102。
[0039] 對于一些實施方式，可以提供偏置發生和分布電路130以根據常規技術控制（例 如，通過提供控制位)諸如可變電阻器的可變部件、數字到模擬轉換器和/或FPA或R0IC的偏 置電路。偏置發生和分布電路130可以接收由主電子器件塊102的合適部件根據常規方法確 定的各種偏置校正數據字。可以被利用以實施紅外成像傳感器104的FPA和R0IC的進一步的 例子可以在下列專利中找到：題為"Methods and Circuitry for Correcting Temperature-Induced Errors in Microbolometer Focal Plane Array" 的美國專利 Νο·6,028,309、題為"Microbolometer Focal Plane Array Methods and Circuitry"的美 國專利No.6,812,465、題為"Microbolometer Focal Plane Array Systems and Methods" 的美國專利No.7,034,301、題為"Systems and Methods for Selecting Microbolometers Within Microbolometer Focal Plane Arrays"的美國專利No.7,679,048以及題為 "Microbolometer Heating Compensation Systems and Methods" 的美國專利No ·8,080， 794，將上述所有專利通過引用而整體并入本文。
[0040] 紅外光學器件塊106可以表示一個或多個光學元件，例如紅外透射透鏡、紅外透射 棱鏡、紅外反射鏡面、紅外纖維光學器件和/或用于合適地采集來自場景的紅外輻射并將其 按路徑發送到紅外成像傳感器104的FPA的其他元件。在一種實施方式中，可以對紅外光學 器件塊106的一個或多個光學元件進行絕熱化，即，能夠在變化的溫度上保持其光學特性。 對于一些實施方式，傳遞通過紅外光學器件塊106并由紅外成像傳感器104檢測的紅外輻射 可以包括熱紅外波段（3.5和20μπι之間的波長）中的輻射。換言之，如在特定實施中所期望 的，紅外光學器件塊106可以適于傳輸并且紅外成像傳感器104可以響應于中波紅外(麗IR) 輻射、長波紅外(LWIR)輻射和/或其他熱成像波段或其他紅外成像波段。
[0041] 可見光成像傳感器108可以利用用于捕獲可見光圖像并輸出可見光圖像數據的任 何合適類型的常規成像傳感器來實施。例如，可以利用電荷耦合器件(CCD)傳感器、互補金 屬氧化物半導體(CMOS)傳感器或者這樣的傳感器(包括其關聯的輸出電路）的其他變型來 實施可見光成像傳感器108。因此，可見光成像傳感器108主要響應于可見光，但是也可以響 應于一部分其他波段(例如，在0.7-1. Ομπι波長的近紅外譜中的光）。對于包括可見光成像傳 感器108的實施方式，由可見光成像傳感器108捕獲并輸出的可見光圖像數據可以提供給本 文描述的主電子器件塊102。
[0042] 全局存儲器110可以利用諸如DRAM的合適的存儲器來實施，并且其適于存儲由主 電子器件塊102在處理圖像數據或控制系統100時利用的數據。例如，全局存儲器110可以存 儲主電子器件塊102從紅外成像傳感器104接收的紅外圖像數據以及在主電子器件塊102進 行的處理的各個階段的被處理的圖像數據。全局存儲器110的實施可以包括第三代雙倍數 據率同步DRAM(DDR3 SDRAM)、第五代圖形DDR SDRAM(GDDR5 SDRAM)或對于特定應用可用 和/或期望的其他合適類型的DRAM。
[0043] 非易失性存儲器112可以適于存儲各種類型的預先確定的數據，以由主電子器件 塊102在處理圖像數據或控制系統100時利用。這樣的預先確定的數據可以包括但不限于： 校準項(例如，包括增益項、偏移項和通過在執行紅外成像傳感器104的非均勻校正(NUC)中 使用的校準過程而獲得的其他項）、壞像素分布圖、用于畸變校正的像素增量和權重、顏色 查找表(LUT)、極性和伽馬校正、攝像機配置數據和/或合適的其他數據。非易失性存儲器 112還可以用作非暫態計算機可讀介質，其存儲使系統100執行本文描述的各種過程的機器 指令。在一些情形中，存儲在非易失性存儲器112中的數據中的至少一些在被利用之前可以 被轉移(例如，復制)到全局存儲器110或其他存儲器。盡管在圖1中非易失性存儲器112示出 為閃存式R0M，但是取決于特定的實施應用，非易失性存儲器112可以表示一個或多個合適 的非易失性存儲器，例如閃存式ROM、一次性可編程(0ΤΡ)存儲器、EPROM、EEPR0M和/或硬盤 驅動器。
[0044] 時鐘電路114可以適于為系統100的各種部件(例如，主電子器件塊102)提供一個 或多個時序或時鐘信號。在一種實施方式中，時鐘電路114可以利用振蕩器(0SC)和關聯的 控制電路來實施。
[0045]取決于具體的實施方式，系統100還可以包括各種外圍部件，例如顯示屏116、GPS 模塊118、個人局域網絡(PAN)模塊120(例如，藍牙?模塊）、無線通信模塊122(例如，Wi-Fi?模塊）、有線通信模塊124(例如，以太網模塊）、USB連接器模塊126、用戶輸入部件128和/ 或其他外圍部件。顯示屏116可以包括圖像顯示設備（例如，液晶顯示器(LCD))或各種其他 類型的周知的視頻顯示器或監視器。主電子器件塊102可以包括合適的接口邏輯以傳輸合 適的視頻信號用于在顯示屏116上顯示期望的圖像(例如，經處理的紅外視頻圖像）APS模 塊118可以包括用于接收GPS信號的GPS接收器和適于將與系統100關聯的地理位置信息提 供給主電子器件塊102的關聯電子器件。主電子器件塊102可以包括合適的接口邏輯以從 GPS模塊118接收地理位置信息。
[0046] PAN模塊120可以包括一個或多個合適的無線收發器和控制電路以實施藍牙?標 準、ZigBee?標準或其他標準或專用短距離無線通信協議。無線通信模塊122可以包括一個 或多個合適的無線收發器和控制電路以實施無線LAN標準(例如，IEEE 802. llWiFi?標準）、 無線寬帶標準(例如，IEEE 802.16WiMax?標準）、蜂窩數據通信標準(例如，HSPA+、LTE或基 于蜂窩網絡的其他標準)和/或具有射頻(RF)、微波頻率(MWF)和/或紅外頻率(IRF)載波的 其他標準或專用無線通信協議。有線通信模塊124可以包括適于通過以太網絡、數字用戶線 路(DSL)、公共交換電話網絡(PSTN)、光纖網絡、電力線網絡或其他合適的有線聯網媒介提 供有線通信連接的合適硬件。在各種實施方式中，有線通信模塊124可以包括合適的物理連 接器以插入到這樣的有線聯網媒介中。在一些實施方式中，有線通信模塊124還可以包括合 適的接口邏輯以實施用于有線聯網的物理層協議(PHY)。在一些實施方式中，可以包括USB 連接器模塊126并且USB連接器模塊126可以利用適于支持與其他兼容USB的設備的通信的 合適硬件(例如，兼容USB的連接器和附帶電路)實施。
[0047]在各種實施方式中，主電子器件塊102可以包括適當的接口邏輯，其適于將處理的 圖像數據（例如，紅外視頻輸出）或基于捕獲的圖像的其他數據（例如，輻射測定的溫度數 據)經由PAN模塊120、無線通信模塊122、有線通信模塊124和/或USB連接器模塊126傳輸到 外部部件。根據一些實施方式，主電子器件塊102可以配置成經由網絡模塊120、無線通信模 塊122和/或有線通信模塊124遠程地發送和/或接收控制命令。例如，可以從遠程的監控站 接收命令以控制系統1 〇〇的監視攝像機實施。
[0048] 用戶輸入部件128可以包括一個或多個用戶致動的設備，例如按鈕、滑桿、可旋轉 旋鈕、鍵盤或適于響應于用戶的輸入產生一個或多個輸入信號的合適的輸入設備。在一些 實施方式中，用戶輸入部件128可以與顯示屏116集成，例如，作為疊置在配置為顯示用戶致 動的機構的一個或多個產生的圖像(例如，按鈕、旋鈕、滑動器的圖像或其他圖像)的顯示屏 116上的觸摸屏。主電子器件塊102可以配置成感測經由用戶輸入部件128產生的輸入信號 并響應感測的輸入信號。
[0049] 在各種實施方式中，按照期望或者取決于應用需求，系統100的一個或多個部件可 以或者可以不與示意了諸如紅外攝像機的數字成像設備的各種表示性功能塊的系統1〇〇結 合和/或一起實施。例如，系統100的各種外圍部件(例如GPS模塊118、無線通信模塊122、有 線通信模塊124)可以組合并集成為主電子器件塊102的一部分，該主電子器件塊102表不配 置成提供圖像處理和系統控制功能的各種電路和部件的群組。在另一個例子中，顯示為主 電子器件塊102的一部分的一個或多個部件可以實施為系統100的一個或多個離散部件。
[0050] 現在參考圖2,示出了系統100的一部分的框圖以示意根據本公開的實施方式的主 電子器件塊102的各種部件。如在上面參考圖1討論的，主電子器件塊102可以包括配置成接 收圖像數據并對接收的圖像數據執行各種圖像處理操作的各種電路和部件。例如，在各種 實施方式中，由紅外成像傳感器104捕獲的紅外圖像數據和/或由可見光成像傳感器108捕 獲的可見光圖像數據可以由主電子器件塊102接收以進行處理。
[0051] 在這方面，主電子器件塊102可以包括用于與系統100的一個或多個成像傳感器界 接的一個或多個傳感器接口電路。更具體地，對于一些實施方式，可以提供傳感器接口電路 202并且傳感器接口電路202適于接收由紅外圖像傳感器104捕獲的紅外圖像數據以供主電 子器件塊102的其他部件和電路進行處理。例如，傳感器接口電路202可以適于根據合適的 時序和格式接收、轉換和/或緩沖來自紅外成像傳感器104的輸出信號(例如，取決于實現方 式，由紅外成像傳感器104以模擬或數字信號的形式提供），其中所述輸出信號可以表示由 紅外成像傳感器104捕獲的紅外圖像數據。在一些實施方式中，傳感器接口電路202還可以 被利用來根據合適的格式和時序將命令(例如，控制位)傳輸到紅外成像傳感器104和/或偏 置生成和分布電路130。對于系統100的包括可見光成像傳感器108的實現方式，可以提供傳 感器接口電路204并且傳感器接口電路204適于與可見光成像傳感器108界接。
[0052]經由傳感器接口電路202接收的紅外圖像數據可以表示由紅外成像傳感器104的 紅外檢測器(例如，FPA中的測輻射熱計)觀看到的一個或多個紅外圖像。如果以特定時間間 隔連續地接收到多個這樣的圖像，則紅外圖像數據可以對應于能夠被用于構建紅外視頻的 紅外視頻幀。如技術領域內的人員將能夠理解的，每個這樣的圖像或幀可以包括多個像素， 其中"像素"指包含描述圖像或幀的具體幾何位置的特征的一個值或多個值的數據元素。舉 例來說，像素可以是指示紅外圖像或紅外視頻幀的位置(a，b)的熱紅外強度的值，其中圖像 或幀可以包括例如640x512個像素位置(也稱為圖像尺寸或分辨率）。由于像素可以是一個 值，因此其可以以使用任何期望數量的位的數字格式來表示（例如，16位表示65536個不同 的強度級別，或14位，或8位等）。
[0053]因此，經由傳感器接口電路202接收的紅外圖像數據可以包括多個像素，多個像素 中的每一個可以是包含使用特定數量的位來表示的值的數據元素。同樣地，對于包括可見 光成像傳感器108和相應的傳感器接口電路204的實施方式，可以接收包括多個像素的可見 光圖像數據。在一些實施方式中，傳感器接口電路202和/或204可以包括諸如RAM的易失性 存儲器(在此也稱為緩沖存儲器），以在圖像/視頻幀的一個或多個行的像素、一個或多個視 頻幀的像素或在其他粒度中的像素如本文進一步描述地那樣被主電子器件塊102的各種部 件處理之前緩沖(例如，臨時地存儲)這些像素。在另一情形中，"像素"還可以指代紅外成像 傳感器104中的每個紅外檢測器或可見光成像傳感器108中的每個可見光檢測器單元。 [0054]然而，經由傳感器接口電路202接收的紅外圖像數據可能包括畸變、噪聲、對應于 不發揮功能的檢測器的像素(也稱為"壞像素"）或可歸因于紅外成像傳感器104、光學器件 塊106或其他部件的其他像素非均勻性。如上面討論的，在一些實施中，可以由紅外成像傳 感器104和/或偏置生成和分布電路130執行一些校正以生成紅外圖像數據。盡管如此，在從 紅外成像傳感器104接收的紅外圖像數據中仍然存在一些殘余畸變和/或非均勻性。在這個 意義上，從紅外成像傳感器104接收的紅外圖像數據仍然還可以被稱為"原始"紅外圖像數 據，而不管紅外成像傳感器104和/或偏置生成和分布電路130是否已經執行過一些校正。
[0055] 根據各種實施方式，主電子器件塊102可以包括配置成處理經由傳感器接口電路 202接收的原始紅外圖像數據的各種部件和電路，以便對各種畸變和/或非均勻性進行補償 或以其他方式根據原始紅外圖像數據提供更合用的圖像和/或視頻。對于包括可見光成像 傳感器108的一些實施方式，可以對原始可見光圖像數據進行處理用于類似用途。在這方 面，原始紅外圖像數據和/或原始可見光圖像數據中的像素可以經受由主電子器件塊102的 一個或多個部件執行在其上的各種處理操作，以產生經處理的圖像或視頻，經處理的圖像 或視頻可以經由PAN模塊120、無線通信模塊122、有線通信模塊124、USB連接器模塊126和/ 或其他外圍部件最終輸出到例如顯示屏116、諸如閃存式ROM的非易失性存儲器112和/或其 他外部設備。出于便利，這樣的像素處理操作可以在本文中共同地稱為視頻鏈、視頻處理 鏈/管線、視頻輸出鏈/管線或像素處理鏈/管線。
[0056] 例如，原始紅外圖像數據中的每個像素可以通過添加偏移項、乘以增益項、添加平 場補償(FFC)偏移和/或應用其他非均勻校正項而針對非均勻性被校正。在一些應用中，偏 移和/或增益項可以包括依賴溫度并且通過執行溫度補償計算（例如，使用拉格朗日 (LaGrange)系數的曲線擬合操作)而獲得的項。經由應用偏移和增益校正項的非均勻性校 正(NUC)進一步描述于例如先前引用過的美國專利No. 6，812,465中。一些非均勻性校正項 可以預先確定(例如，當在工廠或在維護期間執行校準時），而其他非均勻性校正項可以在 系統100的操作過程中確定和/或更新。例如，可以執行基于場景的NUC過程以確定基于場景 的NUC項，所述基于場景的NUC項可以附加于或替代預先確定的工廠校準項而應用。基于場 景的NUC過程的例子可以在頒發給Hd_gast_en的題為"Scene Based Non-Uniformity CorrectionSystems and Methods" 的美國專利No · 8，208，755以及H0gilSt_en 等人的題為 "Non-Uniformity Correction Techniques for Infrared Imaging Device" 的PCT申請 PCT/US2012/41749中找到，將上述文獻通過引用全文并入本文。
[0057] 還可以執行其他像素處理操作以對非均勻性和/或畸變進行補償或以其他方式提 供更合用的圖像或視頻。由主電子器件塊102進行的這樣的其他像素處理的例子包括但不 限于："壞像素"取代操作、光學畸變校正(例如，包括縮放、去扭曲和/或旋轉以對由光學器 件塊106和/或其他源導致的畸變效應進行補償)和自動增益控制(AGC)。
[0058] 一般地，視頻鏈的這些和其他像素處理操作中的許多涉及對于多個像素的相同的 獨立像素級操作的重復。例如，NUC增益項的應用涉及對于每個像素利用對應的增益項重復 執行乘法操作。類似地，舉例來說，NUC偏移項的應用涉及對于每個像素(例如，原始圖像數 據中的像素或為了增益而被校正之后的像素)利用對應的偏移項重復加法操作。這種像素 級操作的重復在理論上可以并行地執行，并且因此具有數據級（例如，像素級）并行性的高 潛能。然而，常規攝像機電子器件和方法一般不會亦不能利用在視頻鏈的這些和其他像素 處理操作中可用的像素級并行性。
[0059] 如在上面討論的，可以在主電子器件塊102中提供并配置各種部件以實施高效、可 縮放、靈活并且成本有效的紅外攝像機電子器件架構，所述架構能夠有益地利用在各種像 素處理操作中可用的像素級并行性。在一個方面，主電子器件塊102包括適于執行向量指令 以并行地對多個數據元素進行操作的至少一個向量處理器206(1)。總體上，用于向量處理 器206(1)的向量指令指定對于多個數據元素待被獨立地重復的相同操作。換言之，用于向 量處理器206(1)的向量指令指定對于整個向量(例如，多個數據元素的集合)而不是對于單 個數據元素執行的操作。因此，通過向量指令的執行而進行的操作通常被稱為"向量操作"， 而對于單個數據元素的操作被稱為"標量操作"。同時，相比之下，主要適于用于標量操作的 處理器被稱為標量處理器。
[0060] 總體上，向量處理器206(1)包括多個向量寄存器(也共同地被稱為向量寄存器文 件），每個向量寄存器適于保持要被進行操作的向量或作為向量操作的結果而產生的向量， 如稍后參考圖3進一步描述。向量處理器206(1)還包括一個或多個向量功能單元，其可以包 括向量算數邏輯單元(ALU)、向量浮點計算單元(FPU)和/或適于對從提供操作數的向量寄 存器(也稱為"源"向量寄存器)接收的一個或多個向量進行操作和/或將結果存儲在向量寄 存器中的一個(也稱為"目的地"向量寄存器)中的其他合適的向量功能單元。
[0061 ]向量功能單元可以適于執行向量操作。即，例如，向量功能單元可以對保持在源向 量寄存器中的所有數據元素執行獨立地被重復的相同操作。在一些實施方式中，向量功能 單元可以適于對向量寄存器中的所有數據元素并行地同時執行相同操作。換言之，這些實 施方式中的向量功能單元可以提供多個"線道(lane)"，如將由本領域人員所理解的，每個 線道對應于向量寄存器中的每個數據元素。在其他實施方式中，由向量功能單元提供的線 道的數量可以少于向量寄存器中數據元素的數量。在這樣的實施方式中，向量功能單元仍 然可以對向量寄存器中的所有數據元素執行由向量指令指定的被重復的相同操作，但是可 以不對所有數據元素并行地同時進行操作。在另外的其他實施方式中，線道的數量和/或向 量中數據元素的數量可以可變地由向量處理器206 (1)提供。
[0062]在各種實施方式中，可以利用向量處理器206(1)執行視頻鏈中的一個或多個像素 處理操作(例如，包括偏移和增益校正操作、壞像素取代操作、AGC操作、畸變校正操作和其 他操作）。例如，每個像素處理操作可以被編碼、轉化或以其他方式轉變成指定對多個像素 (例如，在原始圖像數據或部分處理的圖像數據中）的向量操作的一個或多個向量指令，以 使得向量處理器206(1)可以一次對多個像素進行操作以執行像素處理。這樣，具有向量處 理器206(1)的系統100的各種實施方式可以高效地利用在像素處理操作中可用的像素級并 行性。
[0063] 根據一些實施方式，主電子器件塊102可以包括多個這樣的向量處理器206 (1 )-206 (η )，每個向量處理器適于一次對多個像素獨立地執行向量指令。在一個特定實施例中， 主電子器件塊102可以包括至少12個這樣的向量處理器206(1 )-206(12)。這樣的多向量處 理器架構實施方式可以實現能夠處置苛刻的視頻/圖像處理和分析的可縮放并且靈活的圖 像處理電子器件。作為例子，圖2示出了在兩個向量處理器206(1)和206(2)上分布并管線化 的視頻鏈(例如，包括偏移和增益校正操作、壞像素取代操作、AGC操作、畸變校正操作和其 他操作），從而獨立地利用兩個向量處理器提供較高的吞吐量。
[0064]因此，例如，多向量處理器架構實施方式可以實現隨著圖像/視頻分辨率增加和/ 或幀率增加能夠很好地縮放的成像設備電子器件。如可以理解地，成像傳感器技術的進步 或系統100的其他改變可能允許捕獲更高像素數和/或每秒更多的幀數，這轉而可能導致圖 像處理能力需求的相應增加。例如，熱成像傳感器分辨率從640x 512像素到1280x 1024像 素的增加可以導致待由視頻鏈處理的像素數量增加四倍。
[0065]在主電子器件塊102的多向量處理器架構實施方式中，待處理的像素數量的這種 增加可以通過按照需要指派更多的向量處理器以提供期望的吞吐量而得以適應。更具體 地，在一些實施例中，視頻鏈可以被水平地分散在多個有效的向量處理器上以便對像素的 更寬向量進行操作。即，多個向量處理器中的每一個均可以被指派圖像數據的一部分以對 其執行圖像處理操作(例如，每個向量處理器被分配其自己身的像素集合以進行操作）。例 如，假設一次能夠對八個像素的向量操作的一個向量處理器給基準情形提供了足夠的吞吐 量，則像素數四倍增加可以被共同并且有效地一次對三十二個像素的向量進行操作的四個 這樣的向量處理器所適應。在其他實施例中，可以垂直分散視頻鏈。換言之，視頻鏈中的操 作可以合適地被分割并分布在多個管線級上，其中多個向量處理器中的每一個均可以被指 派管線級。例如，如在圖2中示出并在上面討論的，視頻鏈可以在兩個向量處理器206(1)和 206(2)上管線化，與一個向量處理器206(1)或206(2)實施視頻鏈相比，這可以潛在地提供 兩倍的吞吐量。取決于期望的應用（例如，期望被用于視頻鏈的像素處理操作)和/或可獲得 的資源(例如，可獲得的存儲器帶寬），水平和垂直分散的組合也是可以的并且可以被利用。 例如，八個向量處理器可以被配置在兩個管線級中，其中四個向量處理器被指派成執行在 第一管線級中的操作而另外的四個向量處理器被指派給第二管線級。
[0066]在多向量處理器架構實施方式中提供的可縮放性和靈活性可以允許用于系統100 的視頻鏈能夠被擴展成包括非均勻性和/或畸變偏移操作或上面討論的其他基本視頻鏈操 作之外的附加像素處理操作。可以執行這樣的附加像素處理操作以根據期望的增強/校正 和可獲得的向量處理能力產生增強的或在其他方面更合用的圖像/視頻。例如，擴展的視頻 鏈可以附加地執行圖像混合(例如，將紅外圖像數據和可見光圖像數據混合以增強對比度、 分辨率和/或色彩）、分辨率增強（在本文中也稱為"超分辨率"）、視頻/圖像轉碼(例如，壓 縮、編碼和/或其他代碼化操作）和/或其他高級視頻/圖像處理。在下列專利申請中描述了 圖像混合的例子：2011年4月23日提交、題為"Infrared Resolution and Contrast Enhancement with Fusion"的美國專利申請No · 12/766,739以及2011年5月11日提交、題為 "High Contrast Fusion"的美國專利申請No. 13/105,765,將上述申請的全部內容通過參 考并入本文。
[0067]在圖2中示出的例子中，附加的圖像混合、分辨率增強和視頻壓縮管線級被分別指 派給向量處理器206(3)、206(5)和206(1〇并且由向量處理器206(3)、206(5)和206(11)執行， 以使得擴展的視頻處理鏈可以在向量處理器206(1)、206(2)、206(3)、206(5)和206(n)上分 布和協調。這樣，根據一些實施方式的多個向量處理器206(l)-206(n)可以允許靈活地將視 頻處理鏈擴展成包含系統100的特定應用所期望和/或取決于可獲得的向量處理能力或其 他因素(例如，電池壽命)的可選的圖像增強和/或校正操作。
[0068] 在主電子器件塊102的多向量處理器架構實施方式中的向量處理器206(1 )-206 (η)還可以用于執行一般不是視頻鏈的一部分的其他操作以根據原始圖像數據產生圖像/ 視頻。例如，系統100作為紅外攝像機或其他類型的監視攝像機的實現方式可以被配置成執 行各種類型的視頻分析，例如目標檢測、目標計數、虛擬泮索檢測(例如，檢測目標是否進入 感興趣的區域）、姿態檢測（例如，檢測人員是否倒下或可能需要輔助）、熱圖像分析(例如， 熱/冷點檢測、溫度分布分析或基于其中的熱信息對圖像進行的其他分析)和其他。這些和 其他類型的視頻分析可能部分地涉及各種像素級操作，例如圖像濾波操作、統計建模(例 如，像素計數和/或像素分組)操作或其他操作。
[0069] 在一些實施方式中，向量處理器206(1 )-206(η)中的一個或多個可以配置成：與執 行用于視頻鏈的各種像素處理操作或其他期望的處理的其他向量處理器并行地執行與各 種視頻/圖像分析關聯的這些像素級操作的向量處理。圖2以一個例子示出了配置成執行用 于視頻分析的像素級功能的向量處理器206(4)。向量處理器206(1 )-206(η)中的一個或多 個可以配置成執行的操作的另外的例子包括對于圖形用戶界面（"GUI"）的操作，例如生成 圖例、比例尺、標線、菜單、圖標或促進與系統100的用戶的交互的其他圖形特征。在圖2的例 子中，向量處理器206(5)可以配置成與執行用于視頻鏈或其他期望的處理的其他向量處理 器并行地執行用于GUI功能的操作。向量處理器206(l)-206(n)中的一個或多個可以配置成 執行的操作的其他例子可以包括用以獲得依賴溫度的偏移和/或增益校正項的拉格朗日 曲線擬合操作和用以獲得SBNUC項的操作。
[0070]因此，在各種實施方式中，主電子器件塊102可以包括一個或多個向量處理器206 (l)-206(n)，其可以被配置成提供用以處置像素處理和成像設備和系統(例如紅外攝像機） 中要求的其他功能的處理能力和靈活性。例如，在一個級別，一個或多個向量處理器206 (l)-206(n)均可以對多個像素或其他類型的數據元素執行向量操作，以利用數據級(例如， 像素級)并行性，用于在視頻鏈、視頻分析和/或其他期望功能中的各種操作的高吞吐量處 理。在另一級別，在多向量處理器實施方式中，例如用于視頻鏈、視頻分析、GUI和/或為成像 系統所期望的其他功能的各種類型的操作可以在多個向量處理器206(l)-206(n)之間分布 并且并行執行，以利用另一級別的并行性(例如，線程級并行性）。在又一級別，多個向量處 理器206(l)-206(n)可以被配置進行視頻鏈管線的水平和/或垂直擴展，以適應像素數或幀 率的增加和/或對于增強的、更高級的像素處理的要求。
[0071]相比之下，在用于成像系統(例如，紅外攝像機)的常規電子器件架構中，像素處理 一般由標量處理器(例如，包括各種類型的數字信號處理器(DSP))、諸如現場可編程門陣列 (FPGA)的可編程邏輯器件(PLD)或硬連線電子器件執行。常規成像設備電子器件中的標量 處理器一般執行一次作用于一個像素或者甚至在具有SMD擴展時至多作用于若干像素的 指令，并且因此不能如多個向量處理器206(l)-206(n)-般實現高吞吐量像素處理。被配置 用于常規成像電子器件中的像素處理的PLD(例如FPGA)固有地被限制為以較低的時鐘頻率 運行，并且因此也不能實現高吞吐量像素處理。例如，被配置用于紅外攝像機電子器件中的 像素處理的FPGA可以能夠以150MHz(盡管75MHz為典型)運行，而向量處理器206(l)-206(n) 可以能夠以800MHz到1.2GHz運行或者在非限制的實施例中運行在更高頻率。硬連線的電子 器件實現方式通過定制的固定電路執行像素處理并且因此可能能夠進行高吞吐量像素處 理。然而，硬連線的電子器件實施成本較高，并且更重要地，不提供向量處理器206(1)-206 U)的可編程性或可配置性，這種可編程性或可配置性提供了適應成像設備或系統的各種 期望應用的靈活性。
[0072]現在轉到主電子器件塊102的另一方面，根據本公開的實施方式，主電子器件塊 102可以包括通信耦接到一個或多個向量處理器206(l)-206(n)并且可以由一個或多個向 量處理器206(l)-206(n)存取的一個或多個本地存儲器208(l)-208(n)。在一些實施方式 中，本地存儲器208(1)-208(η)中的每一個均可以與向量處理器206(1)-206(η)中的一個關 聯。這樣的配置在本文中可以稱為指派的本地存儲器配置。在指派的本地存儲器配置中，向 量處理器206( 1 )-206(η)中的每一個可以直接存取其指派的一個或多個本地存儲器。例如， 如在圖2中示出的，本地存儲器208(1)-208(η)均可以經由本地總線210(1)-210(η)中的對 應一個通信耦接到向量處理器206(1)-206(η)中的對應一個。在指派的本地存儲器配置的 另一例子中，可以將兩個或更多個本地存儲器(例如，以并行的、層級的或其他布置)指派給 向量處理器206 (1 )-206 (η)中的一個或者可以由向量處理器206( 1 )_206(η)中的一個存取 兩個或更多個本地存儲器。在其他實施方式中，本地存儲器可以由向量處理器206(1)-206 (η)中的兩個或更多個共享。這樣的配置可以在本文稱為共享的本地存儲器配置。共享的本 地存儲器配置可以為Ν對1(即，Ν個多個向量處理器可以共享一個本地存儲器)或Ν對M(SP，N 個多個向量處理器可以共享存取Μ個本地存儲器中的任一個）。還可以預想到，共享的本地 存儲器可以在邏輯上被分區，其中每一個邏輯分區指派給向量處理器206(1)-206(η)中的 一個或多個。取決于主電子器件塊102的期望應用，指派的、共享的和/或分區的本地存儲器 配置也是可能的。
[0073]作為圖2示出的一個例子，本地存儲器208(1)-208(η)可以利用靜態隨機存取存儲 器(SRAM)實施以提供比一般的DRAM更快的存儲器存取時間。對于其他實施方式，也可以預 想使用諸如DRAM的其他類型的存儲器的本地存儲器208(1 )-208(n)的實現方式。本地存儲 器(例如，本地存儲器208(1 )-208(n))可以是多端口的以允許對存儲在本地存儲器上的數 據的同時或基本上同時的存取，或者可以是單端口的。總體上，具有共享的本地存儲器配置 的實施方式可以利用多端口存儲器以提供較高的存儲器帶寬供多個向量處理器存取，但是 利用多端口存儲器不是限制這樣的實施方式的要求。在一些實施方式中，本地存儲器(例 如，本地存儲器208(l)-208(n))可以提供可尋址存儲器空間（例如，可以通過存儲器地址可 尋址），而在其他實施方式中本地存儲器中的所有或一些可以實施用于向量處理器206 (l)-206(n)高速緩存存儲器(例如，具有適當的高速緩存邏輯）。由于其接近度、緊密耦接以 及在一些情形中使用的RAM的類型（例如，SRAM)，本地存儲器(例如，本地存儲器208(1)-208 (η))可以給向量處理器206(l)-206(n)中關聯的一個或多個提供高帶寬、低延遲的存儲器 存取。
[0074] 本地總線210(l)-210(n)可以利用將本地存儲器208(l)-208(n)通信耦接到向量 處理器206(1 )-206(n)中的適當的一個或多個的任何適當的互連來實施。例如，本地總線 210(l)-210(n)可以是串行總線、并行總線、交叉形狀開關或配置成將控制（例如，尋址)信 號傳遞到本地存儲器208 (1) -208 (η)并將數據傳遞到本地存儲器208 (1) -208 (η)和傳遞來 自本地存儲器208(1)-208(η)的數據的其他適當的互連。在一些實施方式中，本地總線可以 彼此組合和/或利用開關電路來增強以提供期望的存儲器帶寬和/或延遲。例如，對于一些 實施方式，除簡單總線之外或取代簡單總線，可以提供開關互連(例如，交叉開關）以促進1 對Μ、Ν對1或Ν對Μ的向量處理器-本地存儲器配置。
[0075] 在一個或多個實施方式中，一個或多個本地存儲器(例如，本地存儲器208(1)-208 (η))可以適于存儲待由向量處理器206(l)-206(n)中的關聯的一個或多個采用的數據。如 在本文中參考圖3進一步描述的，主電子器件塊102的各種部件可以配置成將待由向量處理 器206(l)-206(n)采用的數據傳輸(例如，轉發或預取)到其關聯的本地存儲器，以使得向量 處理器206(l)-206(n)可以從與之關聯的本地存儲器存取它們需要的數據。在一個或多個 實施方式中，在由向量處理器206(l)-206(n)中的關聯的一個或多個采用這樣的數據之前 或者當需要由向量處理器206(l)-206(n)中的關聯的一個或多個采用消耗這樣的數據時， 待消耗的數據可以從其他本地存儲器、全局存儲器110、非易失性存儲器112、傳感器接口 202和204的緩沖存儲器和/或其他存儲裝置傳輸到本地存儲器中適當的一個或多個。在這 方面，例如，被選擇的像素群組可以被預先傳輸到本地存儲器中適當的一個或多個并且在 其中準備好以供向量處理器206( 1)-206 (η)中的關聯的一個或多個存取和處理。例如，被選 擇的像素群組可以是例如視頻/圖像的一行個或多行個線中的像素、一個或多個存儲器行 線或塊中的像素或其他合適分組中的像素。待傳輸到并存儲在器本地存儲器中的其他數據 例如包括例如校準項、壞像素分布圖、用于畸變校正的像素增量和用于畸變校正的權重、顏 色查找表(LUT)和/或強度變換表(ITT)。按向量處理器206(1 )-206(η)中的關聯的一個或多 個的需要，可以將這樣的其他數據整體或部分傳輸到并存儲在本地存儲器中。
[0076] 在一些情形中，本地存儲器還可以存儲由向量處理器206(1)-206(η)產生的數據。 例如，由向量處理器206(1 )-206(η)產生的數據可以包括部分處理的像素（例如，在視頻鏈 的中間管線級的像素）、完全處理的像素(例如，表示輸出視頻/圖像中的像素）、視頻分析的 像素級功能的結果(例如，經濾波的像素、統計數據或取決于像素級功能的其他數據)和取 決于向量處理器206(1)-206(η)被配置成執行的操作的其他數據。存儲在本地存儲器中的 這種產生的數據隨后可以被傳輸到全局存儲器110、其他本地存儲器和/或其他存儲裝置以 進行進一步處理或產生輸出。
[0077]因此，在一個或多個實施方式中，向量處理器206(1)_206(η)可以從其關聯的本地 存儲器存取數據以及將數據存儲在其中，如上所述，所述本地存儲器由于其接近度、緊密耦 接和/或存儲器類型可以提供相對(例如，相對于全局存儲器110或本地存儲器中不關聯的 那些）較高的吞吐量和較低延遲的存取。相應地，在主電子器件塊102被配置成給向量處理 器206(1)-206(η)提供這樣的本地數據存取和存儲的實施方式中，可以實現向量處理器206 (1) -206 (η)的更快和更高效的處理。
[0078] 在另一方面，根據各種實施方式的主電子器件塊102可以包括通用處理器212。通 用處理器212可以利用任何適當的處理器設備來實施，例如精簡指令集計算(RISC)處理器、 復雜指令集計算(CISC)處理器、DSP、可編程微控制器或其他合適的可編程處理設備。這樣 的設備的多核實現也是可以預想用于通用處理器212。在圖2的例子中，對于通用處理器212 示出了Rise cpu。總體上，盡管可以提供一些smd處理能力（例如，通過snro擴展指令)和/ 或超標量處理能力（例如，通過進行無序執行和利用多功能單元以利用指令集并行性），可 以用來實施通用處理器212的RISC處理器、CISC處理器、DSP或微控制器是標量處理器，而 不是上面描述的向量處理器206(1)-206(1〇。通用處理器212的其他實現(例如431(：或?0)實 現)可以用于其他實施方式。
[0079]在各種實施方式中，通用處理器212可以被配置成執行支持系統100的總體操作的 操作。例如，通用處理器212可以配置成支持總體系統配置、向量處理配置、數據和存儲器管 理、視頻分析和系統100的其他功能的較高級別的處理部分(例如，串行代碼部段或不可向 量化部段）、用戶接口功能（例如，處理從用戶輸入部件128接收的用戶輸入和/或生成對這 樣的輸入的適當響應）、操作系統功能（例如，實時操作系統(RT0S)功能，其包括實時調度 器、文件系統、網絡協議堆棧、外圍驅動器和/或其他功能）和/或根據本公開各種實施方式 用于系統100的其他操作。
[0080] 通用處理器212可以被配置成處置的系統配置操作的例子可以包括設置系統100 的各種操作參數(例如，基于經由用戶輸入部件128的用戶的輸入或其他條件或信息）、功率 管理、系統初始化(例如，在上電之后）、系統測試和校準支持和/或用以支持系統配置和管 理的其他期望操作。向量處理配置操作的例子可以包括將各種向量處理任務指派并分配給 向量處理器206(l)-206(n)以設置上面針對向量處理器206(l)-206(n)討論的各種向量處 理配置。即，例如，在一個或多個實施方式中，通用處理器212可以配置成啟用、禁用或以其 他方式控制向量處理器206(l)-206(n)(例如，通過設置適當的控制位或發送適當的命令） 和/或將適當的指令提供到向量處理器206(l)-206(n)以根據用戶的輸入(例如，打開或關 閉某些像素處理操作）、應用需求(例如，期望吞吐量或幀率）、功率消耗(例如，在沒有被使 用時關閉向量處理器206(l)-206(n)中的一個或多個以節能)和/或其他因素來設置向量處 理配置。
[0081] 通用處理器212可以被配置成執行的數據和存儲器管理(在本文中也稱為緩沖管 理)包括例如用于按照向量處理器206(l)-206(n)中關聯的一個或多個的需要和/或在由向 量處理器206(l)-206(n)中關聯的一個或多個處理之前將像素和其他數據傳輸到本地存儲 器(例如，本地存儲器208(l)-208(n))的各種操作，如上面針對本地存儲器描述的一樣。在 一些實施方式中，通用處理器212可以配置成在適當的時間設置從傳感器接口202/204(例 如，從緩沖存儲器）、全局存儲器110、非易失性存儲器112或其他存儲裝置到本地存儲器或 本地存儲器之間的直接存儲器存取(DMA)傳輸，以使得可以從關聯的本地存儲器存取待由 向量處理器206(l)-206(n)使用的像素和其他數據。在一些實施方式中，通用處理器212還 可以配置成設置從本地存儲器到全局存儲器110、非易失性存儲器112或其他外圍設備（例 如，到外圍接口塊218)的DMA傳輸，例如以將經處理或部分處理的像素和其他數據傳輸到適 當的部件以進行進一步處理或輸出。
[0082] 在這方面，在一些實施方式中，主電子器件塊102可以包括配置成從通用處理器 212接收命令以執行DMA傳輸的一個或多個DMA引擎214 ΑΜΑ引擎214中的全部或一些可以實 施為在圖2中示出的主電子器件塊212的單獨部件，或者可以與傳感器接口 202/204、全局存 儲器控制器216、外圍接口塊218或主電子器件塊212的其他部件集成或實施為上述部件的 一部分。在一些實施方式中，至少一些DMA引擎214可以配置成附加地或替代地從主電子器 件塊212的部件而不是從通用處理器212接收DMA傳輸命令。
[0083] 在各種實施方式中，主電子器件塊102可以包括全局存儲器控制器216,其具有用 以例如通過生成適當的時序、控制和/或刷新信號輔助寫入數據到全局存儲器216(例如， DRAM的一個或多個分塊(bank))并從全局存儲器216讀取數據的邏輯電路。在各種實施方式 中，主電子器件塊102還可以包括外圍接口塊218,其具有配置成控制并與各種外圍設備界 接的各種邏輯電路和部件，所述各種外圍設備例如非易失性存儲器112、顯示屏116、GPS模 塊118、有線通信模塊124、USB連接器模塊126和/或其他外圍設備（例如，包括PAN模塊120、 無線通信模塊112、用戶輸入部件128和/或主電子器件塊102外部的其他設備或部件）。因 此，例如，外圍接口塊218可以包括用以實施非易失性存儲器接口（例如，閃存ROM驅動器接 口）、USB接口、以太網媒體接入控制(MAC)層協議、移動產業處理器接口（MIPI)(例如，用以 與其他移動設備界接以提供攝像機和其他功能）、顯示器接口、用于經由兼容集成電路間 (12C)標準的總線與其他部件通信的集成電路間（I2C)接口（例如，SMBus接口）、用于經由 兼容串行外圍接口（SPI)標準的總線與其他部件通信的串行外圍接口（SPI)和/或其他標準 或專有接口和協議。
[0084] 在一些實施方式中，主電子器件塊102可以包括硬連線的處理塊220,其具有用以 實施向量處理器206(l)-206(n)和/或通用處理器212的操作的固定(例如，不可編程的或具 有有限可配置性的）電路。在一些實施方式中，硬連線的處理塊220可以附加地或替代地利 用諸如FPGA的PLD實施。在一些實施方式中，硬連線的處理塊220可以經由本地總線224提供 和存取對應的本地存儲器222。
[0085] 在各種實施方式中，主電子器件塊102可以包括配置成與主電子器件塊102的各種 部件互連的主總線226。可以使用任何適合的總線架構來實施主總線226以對主電子器件塊 102的各種部件之間的通信提供期望帶寬。例如，取決于應用需求，主總線226可以是具有一 個或多個線道、層級結構的或平坦的串行總線或并行總線，并且可以包括或不包括總線控 制器、開關互連(例如，交叉開關)和/或其他邏輯。
[0086] 對于一些實施方式，上面描述的主電子器件塊102的各種部件可以集成到單個芯 片上系統(S0C)。因此，對于這樣的實施方式，主電子器件塊102可以表示集成了傳感器接口 電路202、傳感器接口電路204、向量處理器206(l)-206(n)、本地存儲器208(l)-208(n)、本 地總線210(l)-210(n)、通用處理器212、一個或多個DMA引擎214、全局存儲器控制器216、外 圍接口塊218、硬連線的處理塊220、本地存儲器222、本地總線224和/或主總線226的S0C。取 決于期望應用或實施，主電子器件塊102的一個或多個部件可以從實施主電子器件塊102的 S0C移除，并且/或者系統100的一個或多個其他部件可以集成到S0C。例如，在一些實施方式 中，傳感器接口電路202、204和/或全局存儲器控制器216可以實施成與實施主電子器件塊 102的S0C分離的離散部件。在另一例子中，GPS模塊118、PAN模塊120、無線通信模塊112和/ 或有線通信模塊124可以集成到實施主電子器件塊102的S0C。
[0087] 根據本公開的各種實施方式的主電子器件塊102的S0C實現可以通過減少需要用 以實現系統100的離散部件的數量有利地增加可靠性、減少成本并允許較小的封裝。在這方 面，根據本公開的各種實施方式將主電子器件塊102實施為S0C可以產生單個廉價的部件， 其提供向量處理能力以為系統100的各種應用賦予期望功能和吞吐量。
[0088] 現在轉到圖3,示意了根據本公開的實施方式的向量處理器306的像素處理的例子 的框圖。具體地，圖3示出了向量處理器306使用向量操作一次對多個像素進行操作以根據 本公開的實施方式執行視頻鏈的偏移和增益校正操作。向量處理器306可以表示上面描述 的向量處理器206(1 )_206(n)中的任一個。
[0089] 如參考向量處理器206(l)-206(n)描述的，向量處理器306可以包括多個向量寄存 器，在圖3中示出了其中的五個(例如，向量寄存器330A-330E)。可以提供特定應用所期望的 任何數量的向量寄存器，其中典型實施一般具有8到256個中的任何數量的向量寄存器。向 量寄存器(例如，包括向量寄存器330A-330E)每一個都可以適于保持(例如，臨時存儲)待被 進行操作的向量或作為向量操作的結果產生的向量。在圖3的例子中示出的向量寄存器 330A-330E每一個都保持具有八個數據元素的向量（即，具有八的向量長度）。總體上，可以 基于各種因素選擇向量長度，例如，取決于每個數據元素的位的數量(例如，字寬度）、向量 功能單元的實施和/或其他因素。在一個具體實施例中，向量寄存器(例如，包括向量寄存器 330A-330E)每一個都可以是128位寬并且可以適于保持八個16位的數據元素，其可以良好 地適于用于以16位數字格式表示的像素的向量處理。在一些實施方式中，可以可變地提供 向量寄存器的向量長度和數據元素寬度。例如，在一個具體實施中，取決于為特定應用期望 的適當的數據元素寬度，每個向量寄存器可以是128位寬并且可以選擇成保持十六個8位數 據元素（16 X 8配置）、八個16位元素(8 X 16配置）、四個32位元素(4 X 32配置)或兩個64位元 素(2X64配置）。
[0090] 如在上面也參考向量處理器206(1 )-206(n)描述的，向量處理器306可以包括一個 或多個向量功能單元332,其可以包括一個或多個向量算數邏輯單元(ALU)、一個或多個向 量浮點單元(FPU)和/或適于對從源向量寄存器接收的一個或多個向量進行操作和/或將 結果存儲在目的地向量寄存器中的一個或多個其他合適的向量功能單元。在一些實施方式 中，向量功能單元332可以被管線化具有適當數量的級以取得更高的吞吐量。
[0091] 如在之前針對向量處理器206(1 )-206(n)描述的，向量功能單元332可以提供用于 處理數據元素的一個或多個線道。在一些實施方式中，由向量功能單元332提供的線道的數 量可以對應于向量寄存器的向量長度。例如，向量寄存器330A-330E可以具有八的向量長度 并且向量功能單元332可以提供對應于該向量長度的8個線道，以使得可以并行地一次對每 個源向量寄存器的八個數據元素進行操作，如圖3的例子所示。在一些實施方式中，可以可 選地提供用于向量功能單元332的線道的數量。在這樣的實施方式中，向量功能單元332可 以可選擇地重新配置成支持向量寄存器(如上面所討論的，其也可以是可選擇的）的向量長 度和數據元素寬度。例如，向量功能單元332可以可選擇地重新配置用于對應于4x32位向量 寄存器配置的四個線道(示出在向量功能單元332的備選配置332A中）、用于對應于2x64位 向量寄存器配置的兩個線道(示出在備選配置332B中）或用于對應于16x8位向量寄存器配 置的十六個線道(示出在向量功能單元332備選配置332C中）。
[0092]向量處理器306可以包括向量處理器控制單元334,其可以包括向量指令獲取和解 碼邏輯，向量指令獲取和解碼邏輯適于控制向量處理器306的各個方面，以根據向量指令 336使用向量功能單元332執行向量操作。盡管圖3象征性地示出了以高級語言描述的向量 指令336,然而本領域技術人員將理解向量指令336可以是機器指令，并且可以存儲在適當 的部件中并從中獲取，所述適當的部件例如向量處理器306的指令高速緩存、本地存儲器 308、全局存儲器110和/或其他合適的存儲器/存儲裝置。在圖3中示出的例子中，向量指令 336可以配置向量處理器306以使用上面描述的向量處理器306的向量處理能力來執行視頻 鏈的偏移和增益校正操作。
[0093]現在將根據本公開的各種實施方式描述向量處理器306的像素處理，其中視頻鏈 的偏移和增益校正操作作為非限制例子。如參考本地存儲器208(l)-208(n)在上面描述的， 可以將待由向量處理器306處理的像素傳輸（例如，轉發或預先獲取)到與向量處理器306 關聯的本地存儲器308(其可以表示本地存儲器208(l)-208(n)中的任一個），以使得被選擇 的像素群組可以被預先傳輸到并且準備好在本地存儲器308中供向量處理器306存取和處 理。在圖3中示出的例子中，作為通用處理器212可以配置成執行的數據和存儲器管理的一 部分，通用處理器212可以在由向量處理器306對選擇的視頻線的像素執行增益和偏移校正 操作之前，設置一個或多個選擇的視頻線的像素的從全局存儲器110到局部存儲器308的 DMA傳輸338。增益和偏移校正項也可以在適當時間傳輸到局部存儲器308并且準備好供向 量處理器306存取。
[0094] 在其他例子中，如在上面參考DMA引擎214討論的，可以附加地或備選地由向量處 理器306、傳感器接口電路202/204和/或系統100的部件而不是通用處理器212設置DMA傳輸 338。在其他例子中，如在上面參考本地存儲器208(1 )-208(n)討論的，DMA傳輸338可以傳輸 根據其他合適分組的像素，例如在一個或多個存儲器行或塊中的像素。在其他例子中，如在 上面參考圖2描述的，DMA傳輸338可以被設置成從傳感器接口電路202/204(例如，從緩沖存 儲器）、從非易失性存儲器112(例如，以傳輸校準項）和/或在本地存儲器208(l)-208(n)之 間（例如，以在被指派給向量處理器206(l)-206(n)的管線級之間傳輸經部分處理的像素） 傳輸像素。
[0095]為了根據向量指令336執行增益和偏移校正操作，存儲在本地存儲器308中的像素 可以經由向量加載操作340而被加載到向量寄存器中的一個(例如，向量寄存器330A)上。還 可以分別經由向量加載操作342和344將待應用到向量加載的像素的對應的增益校準項(例 如，增益因子)和偏移校準項加載到向量寄存器(例如，在圖3的例子中分別為向量寄存器 330B和330C)上。本領域技術人員可以理解，可以由包含在向量處理器中306中的一個或多 個向量加載/存儲單元（未示出）根據向量指令336中的向量加載指令實施向量加載操作 340、342和344。
[0096]隨著向量寄存器330A、330B和330C被加載了進行操作的像素和對應的校正項，可 以通過向量功能單元332根據向量指令336執行用以對加載的像素校正增益和偏移的向量 操作。例如，在向量寄存器330A中的八個像素（出于示意的目的被標記為"像素i+Ο"到"像 素i+7"）每個均可以由向量功能單元332的向量乘法單元并行地一次乘以在向量寄存器 330B中被標記為"因子i+Ο"到"因子i+7"的八個增益校正項中的對應的一個。產生的校正了 增益的像素可以保存在向量寄存器中的一個(例如，向量寄存器330D)中作為標記為"增益 的i+Ο"到"獲得增益的i+7"的八個元素。然后，在向量寄存器330D中的校正了增益的像素 "獲得增益的i+Ο"到"增益的i+7"可以由向量功能單元332中的向量加法單元并行地一次被 加以偏移項"偏移i+Ο"到"偏移i+7"中的對應的一個，產生的校正了增益和偏移的像素被作 為標記為"輸出i+Ο"到"輸出i+7"的八個元素而存儲在向量寄存器330E中。產生的校正了增 益和偏移的像素可以由向量加載/存儲單元的向量存儲操作346存儲在本地存儲器308中。 校正了增益和偏移的像素可以從本地存儲器308傳輸到與另一向量處理器關聯的另一本地 存儲器用以進行進一步的像素處理(例如，執行下個管線級)或傳輸到本文在上面描述的系 統100的其他部件(例如，用以生成視頻/圖像輸出）。
[0097]盡管由向量處理器306對像素的向量處理在上面是利用偏移和增益校正操作為一 個例子來進行描述的，然而本領域技術人員將理解，視頻鏈的其他操作(例如，壞像素取代 操作、AGC操作、畸變校正操作、圖像混合操作、分辨率增強操作、視頻壓縮或其他操作)或視 頻分析或GUI的像素級操作也可以由向量處理器306以與本公開的精神和范圍一致的方式 執行。因此，通過如參考圖3的各種實施方式所描述地并行地對多個像素執行向量操作，可 以高效地利用像素級并行性以在視頻鏈、視頻分析、GUI和/或系統100的其他期望功能中賦 予對各種操作的高吞吐量處理。另外，如在上面參考本地存儲器208(l)-208(n)描述的，對 于各種實施方式，本地存儲器308可以給其關聯的向量處理器306提供較低延遲和/或較高 吞吐量的數據存取。因此，通過提供如在上面對于各種實施方式示意的高效緩沖管理（例 如，通過在適當時間將像素和其他數據傳輸到與向量處理器306關聯的本地存儲器308)，可 以進一步支持向量處理器306的高吞吐量處理。
[0098]圖4是示意根據本公開的實施方式的用于主電子器件塊102的示例軟件架構的軟 件層400的框圖。各種系統級和應用級部件在圖4中示出為分層。在圖4中還示出了各種硬件 抽象層，其可以表示主電子器件塊102的各種硬件部件的軟件視圖，并且可以或者可以不代 表創建特定實施所期望的硬件部件的抽象的實際軟件例程和/或數據。
[0099]用于主電子器件塊102的軟件層400可以包括表示通用處理器212的軟件視圖的通 用處理器硬件抽象層(HAL)412和表示外圍接口塊218和可以經由外圍接口塊218進行控制 和/或界接的各種設備的軟件視圖的外圍設備HAL 418。與由HAL 412和418表示的通用處理 器212、外圍接口塊218和各種外圍設備交互的操作系統450位于這樣的HAL 412和418的頂 部。如可以由本領域技術人員理解的，操作系統450可以管理各種硬件資源（例如，由HAL 412和418表示的硬件資源)并且給其他系統級和應用級軟件系統提供公共服務以利用各種 硬件資源。例如，操作系統450可以提供調度和多任務功能、文件系統處置、網絡堆棧、虛擬 存儲器管理和/或其他操作系統功能。
[0100]在一些實施方式中，執行操作系統450的調度功能的調度器可以配置成通過調度 任務(例如，包括工作、過程、線程和/或執行的其他單位）以基本上或確定性地滿足實時要 求(例如，也被稱為硬實時調度)或大體上滿足實施要求(例如，也被稱為軟實時調度)來支 持實時應用。這樣的實施方式中的操作系統450可以稱為實時操作系統450(RT0S)，如針對 圖4的實施方式所表明的。同時，在這樣的實施方式中，其他部件(例如操作系統450的中斷 處置器和/或存儲器分配器)可以進一步適于支持實時調度。
[0101]操作系統450可以提供通過調度器和/或其他操作系統內核功能支持線程452的創 建、調度和/或其他管理。在各種實施方式中，如本領域技術人員將會理解的，操作系統450 可以一次管理多個線程452以提供多線程能力。在操作系統450可以是RT0S的實施方式中， 線程452中的至少一些能夠被指派實時優先級并且可以被調度和/或以其他方式被管理以 滿足應用級和/或系統級軟件例程的硬或軟實時要求。這樣的線程可以稱為RT0S或實時線 程，如針對圖4中一個例子所示出。
[0102]在各種實施方式中，用于主電子器件塊102的軟件層400可以包括緩沖管理例程 454,其配置成在適當時間設置和/或以其他方式管理像素和/或其他數據到/從本地存儲器 208(1 )-208(n)、全局存儲器110、非易失性存儲器112、傳感器接口 202/204緩沖存儲器和/ 或其他存儲裝置的傳輸(例如，包括DMA傳輸），如本文上面參考本地存儲器208(1 )-208(n)、 通用處理器212和圖3詳述的那樣。在一些實施方式中，緩沖管理例程454可以配置成作為相 對于其他軟件例程的較高優先級線程(例如，實時線程)運行。在圖4中示出的一個例子中， 緩沖管理例程454可以作為多個實時線程運行以便例如由向量處理器206(1 )-206(n)存取 的像素和其他數據可以確定性地、基本上或大體上在預定的調度時間內被傳輸到并準備好 在本地存儲器208 (l)-208(n)中適當的一些中。
[0103]在較高的層，還可以提供其他軟件部件，其可以與軟件層400的其他部件交互并且 在通用處理器212上執行。在各種實施方式中，這樣的其他軟件部件可以包括向量處理配置 例程456,所述向量處理配置例程456適于使通用處理器將各種向量處理任務指派并分布給 向量處理器206(l)-206(n)，以設置在上面針對向量處理器206(l)-206(n)討論的各種向量 處理配置。例如，向量處理配置例程456可以適于與其他軟件和/或硬件部件交互以按照上 面參考向量處理器206(1 )-206(n)和通用處理器212描述的那樣設置視頻分析的各種像素 級操作和向量處理器206(l)-206(n)的視頻鏈的各種操作。因此，向量處理配置例程456在 一個例子中還可以被稱為視頻鏈設置例程。大體上，向量處理配置例程456可以例如在系統 100上電（例如，被啟動)時、在各種條件(例如，功率消耗、電池壽命和/或系統100的其他條 件)改變時和/或響應于用戶的輸入(例如，用以打開或關閉某些像素處理操作)執行。相應 地在一些實施方式中，向量處理配置例程456可以被指派一個或多個非RT0S線程。
[0104] 在較高層的軟件部件還可以包括GUI部件458、視頻分析部件460和/或設備驅動 器。GUI部件458可以包含用以生成圖例、比例尺、標線、菜單、圖標或輔助與系統100的用戶 交互的其他圖形特征。盡管總體上GUI部件458的高級別例程(例如，串行代碼段或不可向量 化段)可以在通用處理器212上執行，然而根據各種實施方式，GUI部件458的像素級操作可 以指派給如上所述的向量處理器206(l)-206(n)中的一個或多個并且由向量處理器206 (l)-206(n)中的一個或多個執行。視頻分析部件460可以包括用于各種類型的視頻分析的 各種例程，例如目標檢測、目標計數、虛擬泮索檢測、熱圖像分析和/或其他。盡管總體上視 頻分析部件460的高級別功能可以在通用處理器212上執行，然而視頻分析部件460的像素 級操作可以指派給并且由向量處理器206(l)-206(n)中的一個或多個執行，如上面根據各 種實施方式描述的那樣。如可以為本領域技術人員理解的，設備驅動器462可以包括經由外 圍接口塊218控制并與各種外圍設備界接的各種例程。在各種實施方式中，軟件層400可以 進一步包括用戶接口部件464，用戶接口部件464包含軟件例程以與GUI部件458、視頻分析 部件460和/或設備驅動器462交互，以處理用戶輸入和/或生成對于這樣的輸入的適當響 應。
[0105] 在各種實施方式中，主電子器件塊102的軟件層400還可以包括表示向量處理器 206(1)-206(η)的軟件視圖的向量處理器HAL 406(1)-406(η)，其又可以表示各種設備（例 如，向量功能單元332)、存儲器(例如，本地存儲器308)和/或與每個向量處理器206(1)-206 (η)關聯的寄存器(例如，向量寄存器330A-330E)。如上面討論并且可以由本領域技術人員 理解的，圖4中提供的HAL(例如，包括向量處理器HAL 406 (1) -406 (η))沒有必要對應于實際 軟件例程、數據和/或其他軟件實現。即，對于一些實施方式，向量處理器HAL 406(1)-406 (η)可以僅是向量處理器206(l)-206(n)的用于示意整體軟件層架構的用途的表示，而對于 其他實施方式，向量處理器HAL 406(l)-406(n)可以包括實際軟件例程、數據和/或其他軟 件實現，以創建用于其他軟件部件的向量處理器206(l)-206(n)的抽象。
[0106]在各種實施方式中，可以提供一個或多個像素處理例程466以供向量處理器206 (1 )-206(η)(表不為圖4中的向量處理器HAL 406(1)-406(η))執行。像素處理例程466可以 包括在上面關于向量處理器206(1)-206(η)描述的用于偏移和增益校正、壞像素取代、AGC、 畸變校正、圖像混合、分辨率增強、視頻/圖像轉碼和/或用于處理像素的其他操作的軟件例 程。每個像素處理例程466可以對應于這些操作中的每一個、這些操作的組合或這些操作 中的一部分。在各種實施方式中，還可以提供一個或多個圖像分析原語468(例如，像素級操 作）和/或GUI原語(在圖4中未示出）供向量處理器206(1)-206(η)執行，如上面關于向量處 理器206(1)-206(η)所討論的那樣。
[0107] 在一些實施方式中，還可以將各種其他非圖像處理原語分配給向量處理器206 (1)-206(η)中的一個或多個以進一步利用數據級和線程級并行性。可以將用以處理到/來 自GPS模塊118、ΡΑΝ模塊120、網絡模塊122和/或124的數據的各種可并行化操作分派給(例 如，通過操作系統450和/或向量處理配置例程456)向量處理器206(1 )-206(η)中沒有被利 用用于像素處理例程466或視頻分析原語468的那些向量處理器并由其執行，以使得可以利 用可用的向量處理資源（例如，向量處理器206 (1) -206 (η)和本地存儲器208 (1) -208 (η)中 可用的那些）。還可以預想到，可以和像素處理例程466-起提供實施系統100的紅外攝像機 模塊，以能夠進行紅外視頻/圖像處理，而同時終端用戶、系統集成商(例如，使用紅外攝像 機模塊的具體設備的制造商)或其他下游用戶可以進一步定制化紅外攝像機模塊以利用剩 余向量處理資源執行期望的視頻分析原語468和/或其他數據處理原語。
[0108] 這樣，如也在本文中描述的，可以由不同的獨立向量處理器206(1 )-206(η)執行像 素處理以產生輸出視頻/圖像并且可選地處理其他數據。在這方面，當像素在主電子器件塊 102被接收并且處理時，可以由不同的獨立向量處理器206(1)-206(η)存取和/或修改像素 和其他數據。主電子器件塊102的其他部件，包括通用處理器212、傳感器接口電路202、傳感 器接口電路204、DMA引擎214、硬連線的處理塊220和/或其他部件，還可以按本文在上面描 述的那樣存取和/或修改像素和其他數據。
[0109] 如可以由本領域技術人員認知的，多個獨立部件的這種存取和/或修改可能需要 同步(例如，串行化）。相應地，在各種實施方式中，可以給主電子器件塊102的各種軟件部件 提供各種軟件和/或硬件原語470,以同步(例如，串行化)其對于像素和其他數據的存取和/ 或修改。這樣的同步化原語的軟件實現可以包括例如信號量(semaphore)、鎖（lock)、屏障 (barrier)和/或由操作系統450提供的其他原語。這樣的串行化原語(也稱為硬件互斥或 "互斥量(mutex)"原語）的硬件實施可以包括可以由通用處理器212和/或向量處理器206 (l)-206(n)提供的各種原子操作，例如測試并置位、比較并交換或其他原子指令。這樣的硬 件原語可以被利用來實施軟件同步化原語或者可以直接被軟件例程利用以實現互斥。 [0110]因此，系統100可以包括具有根據上面對于各種實施方式描述的軟件架構而配置 的各種軟件部件的主電子器件塊102。這樣的軟件部件可以促進主電子器件塊102的各種部 件的高效、可縮放和靈活的像素處理，如上所述。將可以理解，在不背離本公開的精神的情 況下，本文對于軟件層400所描述的各種軟件部件可以組合成更大的部件或分離成子部件。 將可以理解，本文對于軟件層所描述的各種軟件部件可以使用硬件或硬件和軟件的組合實 施而不背離本公開的精神。
[0111] 現在轉到圖5,示意了根據本公開的實施方式的用以提供紅外圖像的過程500的流 程圖。例如，可以由具有具備本文在上面描述的向量處理能力的主電子器件塊102的系統 100的各種實施方式執行過程500的全部或部分。由過程500提供的紅外圖像可以包括例如 紅外視頻和靜態圖像。
[0112] 在框502,可以接收紅外能量。在各種實施方式中，可以在紅外成像傳感器104的 FPA處接收來自場景的紅外能量。在一些實施方式中，來自場景的紅外能量可以穿過一個或 多個紅外光學元件(例如，紅外光學器件塊106)并且傳送到紅外傳感器104的FPA。在一些實 施方式中，穿過紅外光學器件塊106并且在紅外成像傳感器104的FPA處接收的紅外能量可 以包括在熱紅外波段中的輻射(例如，3.5和20μπι之間的波長）。
[0113] 在框504,可以從接收的紅外能量捕獲紅外圖像數據。例如，在紅外成像傳感器104 的FPA處接收的紅外能量可以由紅外檢測器檢測并且由上文參考本公開的各種實施方式的 紅外成像傳感器104所描述的關聯R0IC轉換成紅外圖像數據。根據一些實施方式，到紅外圖 像數據的轉換可以部分地由主電子器件塊102的適當部件(例如傳感器接口電路202)執行。 根據各種實施方式，捕獲的紅外圖像數據可以包括多個像素，其按上面關于傳感器接口電 路202所描述的那樣以使用期望數量的位的數字格式呈現。
[0114] 在框506,根據一些實施方式，可見光可以被接收并被捕獲為可見光圖像數據。例 如，可見光可以在系統100的可見光成像傳感器108處接收，并且由可見光成像傳感器108的 關聯電路和/或由傳感器接口電路204轉換成包括多個可見光像素的可見光圖像數據，如本 文在上面進一步描述的那樣。對于其中不提供可見光成像傳感器108的其他實施方式，可以 省略框506。
[0115]在框508,可以將來自捕獲的紅外圖像數據的像素的群組提供到向量處理器（例 如，向量處理器206(l)-206(n)中的任一個）以根據像素處理操作（例如，對于視頻鏈)或其 他像素級操作(例如，對于視頻分析或GUI)進行處理。例如，在一些實施方式中，可以以本文 在上面關于本地存儲器208(1 )-208(n)、通用處理器212、DMA傳輸338和緩沖管理例程454所 詳細描述的各種方式，將選擇的像素群組傳輸到與向量處理器關聯的本地存儲器。在一些 實施方式中，可以如針對向量加載操作340描述的那樣將多個像素加載到向量處理器的向 量寄存器上，以使得例如由向量功能單元332并行地對多個像素執行向量操作。
[0116]在框510,可以按照像素處理操作或像素級操作的需要將其他數據提供到向量處 理器。例如，在一些實施方式中，可以將校準項中的相應部分、壞像素分布圖、用于畸變校正 的像素增量和權重、顏色查找表(LUT)、強度變換表（ITT)、可見光像素和/或待用于處理選 擇的像素群組的其他數據以本文在上面關于本地存儲器208(1 )-208(n)、通用處理器212和 緩沖管理例程454所詳細描述的各種方式傳輸到與向量處理器關聯的本地存儲器。在一些 實施方式中，可以按針對向量加載操作342和344描述的那樣將來自這樣的其他數據的適當 的數據元素加載到向量處理器的一個或多個其他向量寄存器上，以使得可以應用或者按向 量操作的需求以其他方式使用適當的校正項、位置圖或其他數據域。對于不需要這樣的其 他數據的那些像素處理操作，可以省略框510。
[0117] 在框512,可以將另一像素群組連同所需要的其他數據提供給另一向量處理器(例 如，向量處理器206(l)-206(n)中除在框508參考的向量處理器之外的任一個）以根據像素 處理操作或其他像素級操作進行處理。如在上面參考向量處理器206(l)-206(n)詳細描述 的，根據一些實施方式的用于主電子器件塊102的多向量處理器架構可以允許像素處理管 線的垂直和/或水平擴展以及像素處理和其他像素級操作的并行執行。因此，過程500的一 些實施方式可以涉及將另一像素群組以及所需要的其他數據傳輸到與其他向量處理器關 聯的本地存儲器，如本文在上面關于本地存儲器208(l)-208(n)、通用處理器212、DMA傳輸 338和緩沖管理例程454所詳細描述的那樣。如可以理解的，取決于多個向量處理器的是否 可用以及所述多個向量處理器期望的并行執行的級別，可以重復框512。相反，如果沒有多 個向量處理器可用和/或如果不期望多個向量處理器的并行執行，則可以省略框512。
[0118] 在框514,通過向量處理可以并行地對多個像素進行操作。例如如上面針對向量處 理器206(l)-206(n)/306描述的，可以通過利用向量功能單元332并行地對存儲在向量寄存 器(例如，向量寄存器330A)中的多個像素執行各種像素處理操作，例如偏移和增益校正、壞 像素取代、AGC、畸變校正、圖像混合、分辨率增強或視頻/圖像轉碼或用于視頻分析或GUI的 各種像素級操作。對于在其中可以利用多個向量處理器的實施方式，多個向量處理器中的 每一個都可以通過向量處理并行地對其相應的像素群組進行操作，從而例如利用像素級和 線程級并行性二者。
[0119] 在框516,可以將處理過的像素收集并輸出為紅外圖像。對于一些實施方式更具體 地，由向量處理器206 (1) -206 (η)中的一個或多個處理的像素可以組合、格式化或以其他方 式集聚成一個或多個紅外圖像/視頻幀（或者，如果執行圖像混合操作的話為紅外-可見光 混合的圖像/視頻幀）。然后，舉例來說，可以將生成的紅外圖像/視頻幀經由PAN模塊120、無 線通信模塊122、有線通信模塊124、USB連接器模塊126和/或利用外圍接口塊218的其他外 圍設備輸出到顯示屏116、諸如閃存ROM的非易失性存儲器112和/或其他外部設備。
[0120]在適用的情況下，可以利用硬件、軟件或硬件和軟件的組合來實施本公開提供的 各種實施方式。同樣在適用的情況下，本文列出的各種硬件元件和/或軟件元件可以組合到 復合元件中，該復合元件包括軟件、硬件和/或二者，而不脫離本公開文本的精神。在適用的 情況下，本文列出的各種硬件元件和/或軟件元件可以分離成子部件，包括軟件、硬件或二 者，而不脫離本公開文本的精神。此外，在適用的情況下，可以預期的是，軟件元件可以實施 為硬件元件，反之亦然。
[0121] 根據本公開文本的軟件(例如非臨時性指令、程序代碼和/或數據)可以存儲在一 個或多個非臨時性機器可讀介質中。還可以預期的是，本文認同的軟件可以利用一個或多 個通用或專用的計算機和/或計算機系統、網絡和/或其他方式實現。在適用的情況下，本文 描述的各種步驟的順序可以發生變化、組合到復合步驟和/或分割成若干子步驟以提供本 文描述的特征。
[0122] 上文描述的實施方式是示例性的，并非限制本實用新型。應該理解，根據本實用新 型的原理，眾多改進和變化是可能的。因此，本實用新型的范圍僅由隨附權利要求限定。
【主權項】
1. 一種紅外成像系統，其特征在于，包括： 紅外成像傳感器，該紅外成像傳感器配置成提供包括復數個像素的紅外圖像數據；以 及 配置成接收紅外圖像數據的主電子器件塊，主電子器件塊包括至少一個向量處理器， 所述至少一個向量處理器配置成根據與所述至少一個向量處理器關聯的向量指令并行地 對多個像素進行操作，其中多個像素選自紅外圖像數據的復數個像素。2. 根據權利要求1所述的紅外成像系統，其特征在于， 主電子器件塊還包括： 與所述至少一個向量處理器通信耦接并配置成存儲紅外圖像數據的至少一部分的至 少一個本地存儲器，以及 配置成管理到至少一個本地存儲器的數據流的通用處理器;并且所述至少一個向量處 理器配置成從至少一個本地存儲器存取多個像素。3. 根據權利要求2所述的紅外成像系統，其特征在于，主電子器件塊被實施為芯片上系 統并且還包括配置成輔助通用處理器和一個或多個外圍設備之間的通信的外圍接口塊。4. 根據權利要求2所述的紅外成像系統，其特征在于，還包括與主電子器件塊通信耦接 并配置成存儲紅外圖像數據的全局存儲器，其中： 主電子器件塊還包括響應于來自通用處理器的直接存儲器存取傳輸請求的直接存儲 器存取引擎;并且 通用處理器被配置成通過請求直接存儲器存取引擎執行紅外圖像數據中的至少一部 分從全局存儲器到至少一個本地存儲器的直接存儲器存取傳輸來管理到至少一個本地存 儲器的數據流。5. 根據權利要求1所述的紅外成像系統，其特征在于， 所述至少一個向量處理器包括多個向量處理器； 所述多個向量處理器中的第一向量處理器配置成根據與第一向量處理器關聯的第一 向量指令并行地對第一多個像素進行操作； 所述多個向量處理器中的第二向量處理器配置成根據與第二向量處理器關聯的第二 向量指令并行地對第二多個像素進行操作;并且 第一多個像素和第二多個像素選自紅外圖像數據的復數個像素。6. 根據權利要求5所述的紅外成像系統，其特征在于，第一向量處理器和第二向量處理 器均被分派有用于處理紅外圖像數據的管線級。7. 根據權利要求5所述的紅外成像系統，其特征在于，與第一向量處理器關聯的第一向 量指令不同于與第二向量處理器關聯的第二向量指令。8. 根據權利要求5所述的紅外成像系統，其特征在于， 主電子器件塊還包括多個本地存儲器； 所述多個本地存儲器中的第一本地存儲器與第一向量處理器通信耦接； 所述多個本地存儲器中的第二本地存儲器與第二向量處理器通信耦接； 第一向量處理器配置成從第一本地存儲器存取第一多個像素;并且 第二向量處理器配置成從第二本地存儲器存取第二多個像素。9. 根據權利要求1所述的紅外成像系統，其特征在于， 所述至少一個向量處理器包括多個向量處理器;并且 與所述多個向量處理器關聯的向量指令包括用于并行地對多個像素執行偏移校正、增 益校正、壞像素取代、自動增益控制、光學畸變校正、圖像/視頻分辨率增強、圖像/視頻壓縮 和/或視頻分析的像素級操作的指令。10.根據權利要求9所述的紅外成像系統，其特征在于，還包括配置成提供可見光圖像 數據的可見光成像傳感器，其中，與所述多個向量處理器關聯的向量指令還包括用于并行 地對多個像素執行紅外圖像數據與可見光圖像數據的混合的指令。
【文檔編號】G06T1/20GK205680129SQ201490001097
【公開日】2016年11月9日
【申請日】2014年8月5日 公開號201490001097.1, CN 201490001097, CN 205680129 U, CN 205680129U, CN-U-205680129, CN201490001097, CN201490001097.1, CN205680129 U, CN205680129U, PCT/2014/49828, PCT/US/14/049828, PCT/US/14/49828, PCT/US/2014/049828, PCT/US/2014/49828, PCT/US14/049828, PCT/US14/49828, PCT/US14049828, PCT/US1449828, PCT/US2014/049828, PCT/US2014/49828, PCT/US2014049828, PCT/US201449828
【發明人】P·布朗熱, R·羅伯茨
【申請人】菲力爾系統公司