[Optical Flow] 옵티컬 플로우2 - Motion field 개념 이해

이전에 영상 분석에서 많이 사용되는 용어를 정리해보았다. 

2023.06.30 - [study/Algorithm] - [Optical Flow] 옵티컬 플로우

[Optical Flow] 옵티컬 플로우

이번에는 이전 게시글에 마지막에 언급된 Motion field에 대해서 개념 정리를 해보려고 한다. 

참조 : https://gaussian37.github.io/vision-concept-optical_flow/#

참조 : https://searching-fundamental.tistory.com/16?category=1040000 

1. Motion Field 란? 

• 움직임이 발생한 모든 점의 모션 벡터로 얻어낸 2차원 모션맵이다. 
• 물체의 모든 움직임을 포착한다고 생각하면 된다. 

아래 그림으로 보면, 초록색 삼각형 ( t )이 파란색 삼각형 ( t+1 )으로 이동했을 때, 픽셀들이 일관성 있게 이동한 것을 확인할 수 있다. 

이런 경우, 이상적으로 motion field를 구할 수 있다. 

motion field를 구하면 아래와 같이 움직인 픽셀에 대한 정보를 추정할 수 있다. 

 하지만, 현실 이미지에서는 구체 회전과 광원 이동으로 Motion field를 정확하게 구하기 어려울 수도 있다.

그리고 실제 움직임은 3차원에서 일어나지만 Motion field를 구하는 이미지는 2차원 데이터이기 때문에 많은 정보가 손실되어 Motion field를 정확하게 구하는게 어려울 수도 있다. 

< 구체 회전 vs. 광원 이동 >-------------------------------------------------------------------------------------

• (구체 회전) 좌측 이미지는 실제로 회전이 일어났지만, 2차원 데이터에서는 아무런 변화가 없는 것처럼 보일 수 있다. 
• (광원 이동) 우측 이미지는 실제로 회전이 일어나진 않았지만, 광원의 이동으로 인해서 명암의 변화가 생겨 2차원 이미지에서는 변화가 있는 것처럼 보일 수 있다. 

--------------------------------------------------------------------------------------------------------------

즉, 실제로 움직였지만 모션 벡터가 발생하지 않은 경우 (FN, ex 구체 회전), 실제로는 움직이지 않았지만 모션 벡터가 발생하는 경우 (FP, ex 광원 이동)가 문제가 되곤 한다. 

 

반면, 움직이는 물체의 경우엔 Temporal Feature (시간의 흐름에 따라 변화하는 특징)를 구하는 것이 중요하다.

 

픽셀의 움직임을 Motion 이라고 하는데, Motion을 나타낼 때는 대표적으로 

1. 움직임의 크기 (이전 프레임보다 얼만큼 크게 움직였는지?)

2. X, Y방향의 움직임 (X, Y축?)

3. Dominant Motion (픽셀이 어디로 움직였는지? = 픽셀 움직임 방향?)

여기서 Optical Flow의 개념을 이해할 수 있다. 

 

다음 게시글 : 2023.07.03 - [study/Algorithm] - [Optical Flow] 옵티컬 플로우3 - Optical Flow 개념 이해