MF-LPR2
Multi-Frame License Plate Restoration & Recognition 블랙박스 영상에서 흐릿한 자동차 번호판을 고화질로 복원하는 딥러닝 기반 화질 개선 시스템입니다.
GitHub →주요 기능
DeepLabV3 기반 번호판 세그멘테이션
블랙박스 영상에서 번호판 영역을 정확하게 추출
FlowFormer++ 기반 Optical Flow 추정
프레임 간 움직임을 정확하게 추정하여 정렬
시공간적 일관성 보정
프레임 정렬을 통한 안정적인 영상 처리
CLAHE를 통한 대비 향상
영상의 대비를 개선하여 가독성 향상
TCDM 기반 후처리
Scene Text Prior를 활용한 번호판 복원
기술 스택
Languages & Frameworks
ML Models
Hardware
핵심 알고리즘/기술
License Plate Region Extraction
DeepLabV3로 번호판 영역 추출 → 고정 비율(4:1)로 업샘플링, Homography를 이용해 시점 보정, 최종적으로 1장의 Pseudo-GT + 31장의 LR 번호판 프레임으로 구성
Optical Flow Estimation & Refinement
FlowFormer++를 통해 각 프레임의 움직임 추정, Temporal/Spatial Smoothness 기반 오류 보정 수행, 기준 프레임으로 모든 프레임 정렬 (De-warping)
Aggregation & Post-processing
정렬된 프레임들을 집계하여 하나의 이미지로 생성, CLAHE로 대비 개선, TCDM으로 Scene Text Prior를 활용한 복원 향상
개발자 역할
DeepLabV3 기반 번호판 세그멘테이션
번호판 영역 검출 모델 구현 및 최적화, Precision 89%, Recall 87.5% 달성, Homography 기반 시점 보정 알고리즘 개발
TCDM 기반 후처리
Scene Text Prior를 활용한 번호판 복원 모델 구현, Hallucination 현상 제거 및 복원 정확도 향상, ESRGAN, SwinIR 등 기존 모델 대비 우수한 성능 달성
성능 평가
성능 평가
결과 예시
프로젝트 결과
ESRGAN, SwinIR, TATT 등 최신 모델들과 비교하여 Hallucination 현상 없이 번호판 복원 정확도 우수
프로젝트 구조
프로젝트 구조
모듈화된 구조로 각 컴포넌트의 독립적인 개발과 테스트가 가능
. ├── Data/ # 입력/출력 데이터 ├── DT_core/ # 번호판 Detection (DeepLabV3) ├── FF_core/ # Optical Flow 보정 (FlowFormer++) ├── FlowFormerPlusPlus/ # FlowFormer++ 원본 코드 ├── TCDM/ # 후처리용 텍스트 기반 복원 모델 ├── scripts/ # 실행 스크립트 모음 └── main.py # 메인 실행 스크립트
설치 및 실행
환경 요구사항
- Python 3.8+
- PyTorch
- OpenCV
- CUDA 11.3 이상
설치 방법
Conda 환경 설정: conda env create -f environment.yaml모델 다운로드: model_v2.pth → DT_core/에 저장실행: python main.py
주의사항
- GPU 지원이 필요합니다
산학협력 성과
NC&
- 실제 블랙박스 데이터 기반 모델 검증
- 기업 요구사항에 맞춘 시스템 최적화
- 성공적인 산학협력 프로젝트 완료
발표자료
MF-LPR2 발표 자료
