Reading Note

Realization_of_Quantized_Neural_Network_for_Super-resolution_on_PYNQ.pdf

I. Introduction

單張影像超解析度（SISR） 是指從低解析度影像建立高解析度影像。它廣泛應用於監控、人臉辨識、行動影像處理等方面。

2014 年，Dong 使用**卷積神經網路（CNN）**取代傳統演算法，顯著提升了 SR 問題的效能，該網路被稱為 SRCNN。然而，SRCNN 帶來了大量的浮點參數和計算，這不適用於資源受限的平台。

在本文中，我們在邊緣運算平台 PYNQ 上實現了用於超解析度的量化神經網路。

• 首先，我們將 SRCNN 中的 32 位元浮點數據量化為較低數據位寬。
• 然後，我們使用 im2col 在 PYNQ 的可程式邏輯上加速卷積計算。這種記憶體展開（memory unroll）過程可以有效提高數據吞吐量和計算速度。
• 最後，我們在 ARM-FPGA 異質架構中改變了數據流的順序，以實現更快的卷積操作和更少的數據互動。

II. Proposed Method and Result

量化解析度對卷積神經網路（CNNs）的結果有很大的影響，特別是在影像超解析度任務中。我們使用均勻仿射量化（uniform affine quantization），透過固定範圍的線性轉換來量化變數。SRCNN 中的浮點數卷積運算可以透過計算量化後的卷積來獲得。 「Im2col」將特徵圖（feature map）擴展為行向量，因此卷積可以轉換為矩陣乘法。儘管 Im2col 本質上透過複製數據增加了特徵圖的記憶體使用量，但這種操作有效地提高了演算法的平行性。

透過調整數據流的傳輸順序，我們可以獲得更快的卷積運算和更少的記憶體數據互動，如圖 1 所示。我們可以發現，當使用 12 位元的數據寬度來量化權重時，量化神經網路和卷積神經網路在視覺感知上基本一致，如圖 2 所示。當我們將輸入尺寸設定為 80*80 時，FPGA 可以實現高達 122 倍的加速效能。並且隨著操作頻率的提高，FPGA 的加速會顯著增強。表 I 顯示了不同輸入尺寸下 ARM-CPU 和 FPGA 之間的執行時間比較和加速比。