Unity에서 사물인식을 위한 테스트

지난번 참고사항들을 토대로 몇몇 테스트를 진행했다.

참고사항의 Git 자료들은 대부분이 내가 원하는 버전이 아니었기 때문에 그대로 사용할 수 없고, 코드만 가져와서 참고하여 테스트해 볼 수밖에 없었다.

그리고 잘 안된 부분들은 결국 상위버전을 설치하여 테스트하였다.

상위버전들을 잘 안쓰는 이유 중 하나는 apk 빌드 용량이 20% 정도 크게 나온다. 아무리 줄여도 안된다.

 

사물인식은 Unity의 barracuda를 사용하며 모델 데이터는 onnx를 사용하였다. 

추후 나머지 한가지도 테스트해 볼 예정이다. 원래는 Autoit에서 사용하던 ImageSearch인데 이것을 Unity에서 활용해 보고자 한다.

안드로이드 테스트 이미지 1

 

 

결과적으로 테스트에서는 잘 되긴 하는데, 프레임 드롭이 심하다. 

아무래도 안드로이드에서 실행되다보니 성능이 더 떨어지는 것 같다. 실제로 사용할 스마트폰은 이거보다 더 떨어지는데... 

당연한 것이지만 추론 연산은 디바이스가 고성능일수록 좋다고 하니 어쩔 수 없는 것 같다.

여기에 추가적으로 음성인식과 제어기능까지 넣어야 하니 어떻게 될지 아직은 감을 잡을 수 없을 것 같다. 일단은 계속해보는 수밖에..

 

다음 테스트로는 카메라를 통해 현재 인식된 사물의 위치를 파악하는 것이다. 이 화면 위치를 통해 나의 물리적 위치를 보정하고 이동하는 것이다. 가까이 가야 더 확인할 수 있으니까 대략적인 것을 파악하는 것이다. 

 

단순하게 중심에서 좌측에 있냐 우측에 있냐 정도만 확인해도 될 것 같다. 이동하면서 화면상에서 벗어날 수 있으니 주기적으로 위치를 파악해야 할 것 같다.

 

어느 정도 가까이 가고, 사물 인식의 데이터 값이 높다면 거리센서를 통해 세부적인 작동으로 넘어가게 하면 될 것 같다.

 

우선은 사물의 위치를 파악하고 화면에 표시를 해보도록 할 것이다.

안드로이드 테스트 이미지 2

 

추가 한 사항으로 녹색점은 화면 중앙에서 인식된 사물의 좌표 중심의 거리값이다. 이를 통해 좌측에 있는지 우측에 있는지 확인이 가능하다. 

해당 크기 값이 크다면 우측으로 회전하여 좀 더 가까이 이동할 수 있는 값을 제공할 수 있다.