Recurrent models of visual attention (NIPS 2014)


  • 논문 제목: Recurrent models of visual attention. In Advances in neural information processing systems
  • 주 저자: Volodymyr Mnih (구글 딥마인드)
  • 연구 기관: 구글 딥마인드


    일반적으로 CNN (Convolutional Neural Network) 은 이미지 내의 모든 영역에 대해 convolution kernel, pooling, non-linear activation function, normalization 등을 계층적으로 적용하여 최종 feature map 을 생성한 후, 최종 feature map 에 대해 classification, detection, segmentation 등을 적용한다. 이 경우, 분석해야 할 영역 이 외의 나머지 모든 영역들에 대해서도 CNN 을 적용함으로써 과다한 연산량이 소모될 뿐 아니라, 중요한 정보가 있는 영역 외의 정보들이 최종 레이어로 전달되므로 분석에 있어 일종의 'noise' 요인이 될 수 있다.

    본 연구는 attention model 을 단문자 인식에 적용한 것으로써, 문자 라인을 형성하는 주요 영역들을 순차적으로 찾아내고, 주요 영역에 국한되는 'local CNN' 을 적용하는 기술이다. 이렇게 함으로써 배경 영역에 대한 분석을 제거하여 불필요한 연산량을 과도하게 소모하지 않고, 주요 영역에 집중하여 분석을 수행할 수 있게 한다. 이러한 처리 과정은 인간이 이미지 내의 객체를 바라볼 때, 배경에 신경쓰지 않고 보고자 하는 객체 영역의 여러 국지적 모양을 훑어보는 것을 모방한 것이다.  

    기술 구조는 크게 세 가지로 구성된다. 

    • Glimpse Sensor
      • 이전 시점의 location 정보 (lt-1) 및 이미지를 입력받아서 그 위치에 해당하는 'local' image patch ⍴(xt, lt-1) 생성 (아래 그림의 A)
    • Glimpse Network
      • Glimpse sensor 에서 생성한 local image patch 와 location 정보를 조합하여 최종 glimpse representation (gt) 생성 (아래 그림의 B)
    • Model Architecture
      • Glimpse representation 을 입력받아서 다음 시점에서 분석해야 할 location 정보 (lt) 및 lt-1 위치의 action at 출력하는 RNN architecture (본 연구에서의 action 은 숫자 classification 임) (아래 그림의 C)


     상기 네트워크는 일련의 decision sequence 를 출력하는 것으로 볼 수 있다 (매 시점마다 action 과 location 정보를 출력함). 파라메터 최적화는, 일련의 decision sequence 에 따른 보상 (reward R) 이 최대화 될 수 있도록 하는 것이다. 즉, 정답을 출력하는 decision sequence (episode) 는 큰 보상을 할당하고, 오답을 출력하는 decision sequence 는 보상을 할당하지 않는다. 모든 episode 에 대한 보상을 계산하는 것은 너무 많은 연산량이 필요하므로 현실적으로 어렵다. 따라서 Monte Carlo sampling 을 통해 유의미한 episode 를 sampling 하고, 유의미한 episode 에 대한 gradient 평균을 통해 근사화 하여 최적화를 진행한다. 이러한 최적화 과정은 reinforcement learning 과정과 일치한다.


    본 연구는 숫자 1개에 대한 인식을 수행하는 것에 적용하였으나, 후속 연구에서는 본 연구보다 진보한 attention + RNN 구조를 여러 문자로 구성된 문자열 인식에 적용하였다. 본 연구와 관련된 자세한 내용은 후속 연구인 아래 논문 리뷰에서 다루기로 한다.

    본 블로그에 아래 후속 논문에 대한 자세한 리뷰를 게재하였으며, 여기를 클릭하면 볼 수 있다.

    Comments

    Post a Comment

    Popular posts from this blog

    EAST: an efficient and accurate scene text detector (CVPR 2017)

    Image
    논문 제목: EAST: An Efficient and Accurate Scene Text Detector 연구 기관: Megvii Word box detection 의 정확성을 높이는 기술에 촛점을 맞춘 연구 논문이다 (인식 기술 자체는 본 논문의 연구 대상이 아니다). 저자는 지금까지의 word box detection 은 많은 프로세스 단계를 거쳐야 하므로, error propagation 문제가 있음을 지적하고 있다 (아래 그림에서 다른 기술들과 본 기술의 프로세스 구조를 비교하고 있다). 본 연구에서는 3 단계 프로세스 만으로 가장 우수한 multi-oriented word box detection 성능을 확보하였다고 주장하고 있다 (아래 그림 (e) 가 저자가 제안하는 기술 구조이다). Multi-oriented word box detection 은 문자열이 가로 방향이 아닌, 임의 방향으로 존재하여도 문제없이 검출하는 것을 의미한다 (가로 방향만 검출하는 것은 horizontal box detection 이다). [ Data Annotation ] Word 를 둘러싸는 임의 형태 사각형의 꼭지점 (직사각형 아님, 아래 그림 (a), 노란색 점선은 word 크기에 딱 맞는 사각형이며, 녹색 실선은 margin 을 두어 크기를 줄인 사각형), 임의 형태 사각형의 안쪽 영역을 나타내는 text score map (일종의 heat map, 아래 그림 (b)), 임의 형태 사각형을 둘러싸는 가장 작은 크기의 직사각형 (아래 그림 (c) 의 분홍색 선), heat map 영역 내의 각 포인트에서 직사각형 4변 까지의 거리 (아래 그림 (d)), 직사각형이 기울어진 각도 (아래 그림 (e)) 를 ground truth annotation 정보로 만들고 이를 추정한다. 임의 형태 사각형 정보는 word 크기에 딱 맞는 사각형 (아래 그림 (a) 노란색 점선) 및 margin 을 두고 축소시킨 사각형 (아래 그림 (a) 초록색 실선) 정보가 존...
    Read more

    Realtime multi-person 2d pose estimation using part affinity fields (CVPR 2017)

    Image
    논문 제목: Realtime multi-person 2d pose estimation using part affinity fields 연구 기관: Carnegie Mellon University 본 리뷰 글은 CMU 에서 발표한 pose estimation 논문 시리즈 중 마지막 리뷰 글이다 (물론 본 글 게재 이 후에도 CMU 는 새로운 pose estimation 논문을 계속 발표하겠지만...). 두 개의 선행 연구 논문은 아래와 같으며, 여기를 클릭하면 ( Pose Machine ,  Convolutional Pose Machine ) 리뷰 글을 볼 수 있다. 선행 연구 논문 Ramakrishna, V., Munoz, D., Hebert, M., Bagnell, J. A., & Sheikh, Y. (2014, September). Pose machines: Articulated pose estimation via inference machines. In European Conference on Computer Vision (pp. 33-47). Springer, Cham. Wei, S. E., Ramakrishna, V., Kanade, T., & Sheikh, Y. (2016). Convolutional pose machines. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4724-4732). 본 연구 역시 선행 연구들에서 채택하였던 cascaded stage architecture 를 그대로 유지하고 있다. 다만, feature extraction 및 belief map 을 생성하는 CNN 구조를 조금 바꾸고, 'part affinity field' 라는 새로운 개념을 도입하여, part 사이의 상관 관계를 보다 명시적으로 (explicitly) 네트워크에 반영하였다 (이...
    Read more

    Towards Accurate Multi-person Pose Estimation in the Wild (CVPR 2017)

    Image
    논문 제목: Towards Accurate Multi-person Pose Estimation in the Wild 연구 기관: 구글 본 연구는 Faster R-CNN 으로 사람 영역의 rectangular bounding box 를 찾고, box 영역 내에서 pose estimation 을 처리하는 2단계 기술 구조를 제안한다 (아래 그림 참조). [ Network Architecture ] Person detection 을 위한 faster R-CNN 은 ResNet101 을 backbone 으로 사용하였다. Person detection 에 의해 검출된 영역은 가로 또는 세로 길이를 변환하여 가로/세로 비율이 일정 비율을 가지도록 하였다  (위 그림 (1) 의 person detection 결과인 붉은 색 box 가 (2) 에서는 세로 방향으로 축소된 모습을 볼 수 있다) . 학습 시의 데이터 증강을 위해 person detection 결과 box 영역을 1.0 ~ 1.5 사이의 scale factor 값을 무작위 선정하여 조금 더 넓은 person box 를 학습 데이터로 추가하였다. 추론 시에는   scale factor 값을 1.25로 고정시켰다. 이와 같은 image cropping 및 re-sizing 을 통해 최종적으로 353 x 257 크기의 이미지를 생성하여 pose estimation module 로 전달한다. 또한, activation feature point 의 이미지 분석 대상 영역을 넓히기 위해서 atrouse convolution 을 적용하였다. Atrouse convolution 은 convolution kernel 의 분석 포인트를 일정 간격을 두고 배치한 kernel 이다. 아래 그림에서 (a) 가 일반적인 convolution kernel 이고, (b) 와 (c) 그림이 각각 convolution point 를 일정 간격을 두고 convolution point...
    Read more