在壽險、產險理賠自動化（Claims Automation）或是企業報支系統的實際開發中，我們經常遇到一個非常討厭的輸入場景：保戶或業務員為了省事，會將多張醫療收據、計程車收據貼在一張 A4 白紙上進行掃描；或者直接將三、四張收據平鋪在桌上，用手機拍一張照片就傳上來。

如果此時直接將整張 A4 影像丟給傳統的 OCR 或是大語言模型，常常會因為多個項目的文字雜亂交錯，導致表格欄位解析（Table Parsing）與關鍵資訊擷取（Key-Value Extraction）的排版完全對錯行，甚至根本無法識別。

因此，在進入 OCR 辨識引擎之前，我們先利用 Python + OpenCV 進行影像預處理（Image Preprocessing），自動定位出影像中的多個收據區塊、進行角度修正（透視校正）並自動分割裁切成獨立的乾淨影像，是生產環境落地中不可或缺的「前處理管線（Preprocessing Pipeline）」。

實戰任務：A4 貼片影像的多收據自動切割

我們的預處理管線目標是：輸入一張含有多個傾斜收據的影像，輸出數張拉直且獨立的收據圖檔。

生產環境落地的三大隱藏坑

  • 背景對比度不足：在真實世界中，發票的紙張常有折痕、泛黃，背景不一定是乾淨的白色。如果背景的 A4 紙與下方的掃描平台（通常是白色或淺灰色）對比度太低，外輪廓偵測就會失效。
  • 收據邊界重疊與黏連：保戶貼收據時可能貼得太近，導致邊緣黏在一起。此時需要調整膨脹（Dilation）的核大小（Kernel Size），或是在尋找輪廓時加上長寬比限制。
  • 多物件階層關係：如果收據內部含有大量的黑框或圖表，cv2.findContours 會把收據內部的表格也當成獨立物件偵測出來。解決策略是採用 cv2.RETR_EXTERNAL，只檢索最外層的輪廓，忽略收據內部的局部線條。

影像前處理管線設計

影像處理的基本概念就像濾鏡的堆疊。為了在複雜的背景中精確抓出收據的邊緣，我們需要經過以下幾個標準步驟：

  1. 灰階化（Grayscale）與高斯模糊（Gaussian Blur）：去除色彩雜訊，並平滑化影像以減少紙張紋路干擾。
  2. 邊緣檢測（Canny Edge Detection）：找出影像中亮度變化劇烈的邊界。
  3. 形態學膨脹（Morphological Dilation）：將斷裂的邊緣線條連接起來，形成封閉的輪廓。
  4. 尋找最外層輪廓（Find Contours）：篩選出面積足夠大、長寬比合理的收據矩形區塊。
  5. 透視變換（Perspective Transform）：針對傾斜的收據進行「拉直」與「去畸變」，還原成正面向上的矩形。

完整 Python 實作程式碼

以下是完整的 Python 實作，您可以直接複製並在安裝了 opencv-python 與 numpy 的環境下執行：

import cv2
import numpy as np

def order_points(pts):
    # 整理四個角點的順序：依序為左上、右上、右下、左下
    rect = np.zeros((4, 2), dtype="float32")
    s = pts.sum(axis=1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]
    diff = np.diff(pts, axis=1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]
    return rect

def get_perspective_transform(image, pts):
    # 執行透視轉換，將傾斜的收據影像拉直轉正
    rect = order_points(pts)
    (tl, tr, br, bl) = rect

    # 計算新影像的寬度與高度
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    maxWidth = max(int(widthA), int(widthB))

    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA), int(heightB))

    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]
    ], dtype="float32")

    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    return warped

def process_receipt_image(image_path):
    # 主處理邏輯
    image = cv2.imread(image_path)
    orig = image.copy()
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    
    # 1. 高斯模糊去除雜訊
    blurred = cv2.GaussianBlur(gray, (5, 5), 0)
    
    # 2. Canny 邊緣檢測
    edged = cv2.Canny(blurred, 50, 150)
    
    # 3. 膨脹運算連接斷線
    kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 9))
    dilated = cv2.dilate(edged, kernel, iterations=1)
    
    # 4. 尋找輪廓
    contours, _ = cv2.findContours(dilated, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    
    receipt_count = 0
    for c in contours:
        # 計算輪廓面積，過小者判定為雜訊直接忽略
        area = cv2.contourArea(c)
        if area < 50000:  # 依解析度調整此門檻值
            continue
            
        # 近似多邊形，收據應為四邊形
        peri = cv2.arcLength(c, True)
        approx = cv2.approxPolyDP(c, 0.02 * peri, True)
        
        if len(approx) == 4:
            receipt_count += 1
            # 轉換為 (4, 2) 的 NumPy 陣列
            pts = approx.reshape(4, 2)
            
            # 透視校正拉直收據
            warped = get_perspective_transform(orig, pts)
            
            # 儲存裁切結果
            output_name = f"receipt_{receipt_count}.png"
            cv2.imwrite(output_name, warped)
            print(f"[SUCCESS] 偵測到收據！已儲存為 {output_name}")
            
            # 在原圖標記綠色框以便視覺化確認
            cv2.drawContours(image, [approx], -1, (0, 255, 0), 3)
            
    cv2.imwrite("marked_source.png", image)
    print(f"處理完成，共分割出 {receipt_count} 張收據，標記圖已儲存為 marked_source.png")

# 使用範例
# process_receipt_image("source_receipt_sheet.jpg")

演算法參數調整心得與經驗談

在將此段程式碼推上生產環境時，請記得根據實際場景調整以下參數以達到最穩定的分割效果：

  • Canny Thresholds：在一般白紙收據場景，50 與 150 能提供非常穩定的邊緣抓取。如果遇到熱感紙或背景對比極低的情境，可調降至 30 與 100。
  • Contour Area Threshold：程式碼中的 50000 是防錯門檻值，用來過濾原子筆劃記、污漬等小面積雜訊。若收據影像的解析度較低，應調降此閥值，避免小發票被過濾掉。
  • Dilation Kernel Size：若發現收據邊緣斷裂（例如虛線撕裂處），可將膨脹核心從 (9, 9) 擴大到 (15, 15)，強行將虛線邊界連接在一起。