Wetext: Scene text detection under weak supervision (ECCV 2017)


  • 논문 제목: Wetext: Scene text detection under weak supervision
  • 연구 기관: Infocomm, Nanyang Technological Univ., National Univ. of Singapore


본 연구는 문자 인식 시, 학습 데이터가 부족할 경우 semi-supervised or weakly supervised learning 을 통해 인식 성능을 향상시킬 수 있음을 보여주는 기술에 관한 것이다 (어찌보면 굳이 테스트 해보지 않아도 당연히 성능이 올라갈 것으로 유추할 수 있어 보인다. 물론 성능 향상 폭이 어느 정도인지는 해 봐야 알 수 있겠지만...).

문자 인식은 크게 2 가지 방식의 기술이 존재한다. 첫째는, 본 연구에서 채용한 것과 같이 단위 문자 (character) 를 검출한 후, 이들의 조합으로 단어 (text line 또는 word) 를 생성하는 방식이다. 둘째는, 단어를 한번에 검출하고 인식하는 방식이다. 본 연구는 첫번째 방법의 인식 기술을 채택하여 실험하였다. 

  • 문자열 검출 기술
    • 단위 문자 검출 (Character detection and recognition)
      • 1 stage object detection 기술인 SSD (Single Shot multibox Detecto) 를 채용하여 단위 문자 검출
      • Backbone 은 VGG-16 구조를 채용하고, 마지막 fully connected layer 는 additional conv. layer 로 대체
      • Base feature + additional feature 적용 (-> multi-scale feature)
      • 각 feature point 에서 6 개 값을 추정 (bounding box 4 offsets + 2 text/background scores) 
      • Inferencing stage 에서 NMS (Non-Maximum Suppression) 적용 (1,000 개 후보 box 를 500개로 축소)
    • 단어 검출 (text line extraction)

본 연구에서 의미있는 부분은 semi-supervised 또는 weakly supervised learning 시 OCR 성능이 얼마나 향상될 수 있는가에 관한 것이다. 아래에 각 학습 방법에 대한 설명을 기술하였다.

  • Semi-supervised learning
    • Character 단위로 레이블 정보가 있는 소규모 annotated DB 를 이용하여 'light model' 을 학습
    • Light model 을 이용하여 레이블 정보가 없는 대규모 unannotated DB (R) 를 인식하여 학습 후보 character box 를 생성
    • 학습 후보 character box 중,  confidence score 가 threshold (S = 0.5) 이상일 경우 학습 DB 에 추가
  • Weakly supervised learning
    • Character 단위로 레이블 정보가 있는 소규모 annotated DB 를 이용하여 'light model' 을 학습
    • Light model 로 weakly annotated data (R’) 을 인식하여 학습 후보 character box 생성
      • Weakly annotated DB: Character 단위 레이블은 없으나, word 단위 레이블이 존재하는 대규모 DB
    • 학습 후보 character box 중 confidence score 가 threshold (S’ = 0.2) 보다 크고, 후보 character box 와 ground truth word box overlap 이 0.8 이상일 경우 학습 DB 에 추가
굳이 실험 결과를 직접 보지 않더라도 semi-supervised learning 보다 weakly supervised learning 이 더 좋은 결과를 얻을 수 있음을 예상할 수 있다. Semi-supervised 방식은 레이블 정보가 아무것도 없는 DB 를 사용하며, weakly supervised  방식은 그나마 word 레이블이 존재하므로, weakly supervised 방식이 학습에 추가할 DB 를 선정함에 있어 true positive sample 을 선택할 확률이 더 클 수 밖에 없다. 이러한 이유로 weakly supervised learning 방식의 confidence score threshold 를 semi-supervised learning 방식의 threshold 보다 훨씬 작은 값으로 설정한 것으로 추정된다.

[ 실험 결과 ]

  • Test DB 구성
    • ICDAR 2013 dataset (light model 학습에 사용)
      • Character level bounding box
      • 229 training image + 233 testing images 
    • FORU dataset
      • Flickr website 에서 수집, word/character level bounding box label
      • 1162 images, 14888 annotated characters 
    • COCOText dataset
      • 14712 images
      • Word level bounding box label
    • SWT dataset
      • 307 images (텍스트 가독성 떨어짐)
      • Word level bonding box label

  • Training details
    • ImageNet DB 를 이요하여 VGG-16 을 pre-training
    • Initial learning rate 10-3, 10K iteration 후 learning rate 10-4 변경, 총 15K iteration
    • SGD (batch size 32) + Momentum optimizer (rho = 0.9)
    • weight decay 5 * 10-4
    • Batch size 32
    • Training input image size 512 x 512
    • Inferencing input image size 600 x 600
실험 결과는 예상대로 weakly supervised learning 방식이 가장 우수하다. 아래 그림 및 테이블 참고.





[ Reference ]

Comments

Post a Comment

Popular posts from this blog

EAST: an efficient and accurate scene text detector (CVPR 2017)

Image
논문 제목: EAST: An Efficient and Accurate Scene Text Detector 연구 기관: Megvii Word box detection 의 정확성을 높이는 기술에 촛점을 맞춘 연구 논문이다 (인식 기술 자체는 본 논문의 연구 대상이 아니다). 저자는 지금까지의 word box detection 은 많은 프로세스 단계를 거쳐야 하므로, error propagation 문제가 있음을 지적하고 있다 (아래 그림에서 다른 기술들과 본 기술의 프로세스 구조를 비교하고 있다). 본 연구에서는 3 단계 프로세스 만으로 가장 우수한 multi-oriented word box detection 성능을 확보하였다고 주장하고 있다 (아래 그림 (e) 가 저자가 제안하는 기술 구조이다). Multi-oriented word box detection 은 문자열이 가로 방향이 아닌, 임의 방향으로 존재하여도 문제없이 검출하는 것을 의미한다 (가로 방향만 검출하는 것은 horizontal box detection 이다). [ Data Annotation ] Word 를 둘러싸는 임의 형태 사각형의 꼭지점 (직사각형 아님, 아래 그림 (a), 노란색 점선은 word 크기에 딱 맞는 사각형이며, 녹색 실선은 margin 을 두어 크기를 줄인 사각형), 임의 형태 사각형의 안쪽 영역을 나타내는 text score map (일종의 heat map, 아래 그림 (b)), 임의 형태 사각형을 둘러싸는 가장 작은 크기의 직사각형 (아래 그림 (c) 의 분홍색 선), heat map 영역 내의 각 포인트에서 직사각형 4변 까지의 거리 (아래 그림 (d)), 직사각형이 기울어진 각도 (아래 그림 (e)) 를 ground truth annotation 정보로 만들고 이를 추정한다. 임의 형태 사각형 정보는 word 크기에 딱 맞는 사각형 (아래 그림 (a) 노란색 점선) 및 margin 을 두고 축소시킨 사각형 (아래 그림 (a) 초록색 실선) 정보가 존
Read more

Towards Accurate Multi-person Pose Estimation in the Wild (CVPR 2017)

Image
논문 제목: Towards Accurate Multi-person Pose Estimation in the Wild 연구 기관: 구글 본 연구는 Faster R-CNN 으로 사람 영역의 rectangular bounding box 를 찾고, box 영역 내에서 pose estimation 을 처리하는 2단계 기술 구조를 제안한다 (아래 그림 참조). [ Network Architecture ] Person detection 을 위한 faster R-CNN 은 ResNet101 을 backbone 으로 사용하였다. Person detection 에 의해 검출된 영역은 가로 또는 세로 길이를 변환하여 가로/세로 비율이 일정 비율을 가지도록 하였다  (위 그림 (1) 의 person detection 결과인 붉은 색 box 가 (2) 에서는 세로 방향으로 축소된 모습을 볼 수 있다) . 학습 시의 데이터 증강을 위해 person detection 결과 box 영역을 1.0 ~ 1.5 사이의 scale factor 값을 무작위 선정하여 조금 더 넓은 person box 를 학습 데이터로 추가하였다. 추론 시에는   scale factor 값을 1.25로 고정시켰다. 이와 같은 image cropping 및 re-sizing 을 통해 최종적으로 353 x 257 크기의 이미지를 생성하여 pose estimation module 로 전달한다. 또한, activation feature point 의 이미지 분석 대상 영역을 넓히기 위해서 atrouse convolution 을 적용하였다. Atrouse convolution 은 convolution kernel 의 분석 포인트를 일정 간격을 두고 배치한 kernel 이다. 아래 그림에서 (a) 가 일반적인 convolution kernel 이고, (b) 와 (c) 그림이 각각 convolution point 를 일정 간격을 두고 convolution point 를 배치한 atrouse
Read more

Realtime multi-person 2d pose estimation using part affinity fields (CVPR 2017)

Image
논문 제목: Realtime multi-person 2d pose estimation using part affinity fields 연구 기관: Carnegie Mellon University 본 리뷰 글은 CMU 에서 발표한 pose estimation 논문 시리즈 중 마지막 리뷰 글이다 (물론 본 글 게재 이 후에도 CMU 는 새로운 pose estimation 논문을 계속 발표하겠지만...). 두 개의 선행 연구 논문은 아래와 같으며, 여기를 클릭하면 ( Pose Machine ,  Convolutional Pose Machine ) 리뷰 글을 볼 수 있다. 선행 연구 논문 Ramakrishna, V., Munoz, D., Hebert, M., Bagnell, J. A., & Sheikh, Y. (2014, September). Pose machines: Articulated pose estimation via inference machines. In European Conference on Computer Vision (pp. 33-47). Springer, Cham. Wei, S. E., Ramakrishna, V., Kanade, T., & Sheikh, Y. (2016). Convolutional pose machines. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4724-4732). 본 연구 역시 선행 연구들에서 채택하였던 cascaded stage architecture 를 그대로 유지하고 있다. 다만, feature extraction 및 belief map 을 생성하는 CNN 구조를 조금 바꾸고, 'part affinity field' 라는 새로운 개념을 도입하여, part 사이의 상관 관계를 보다 명시적으로 (explicitly) 네트워크에 반영하였다 (이전
Read more