[Unity] Install Barracuda in Unity

개요

GPT-4o의 극적인 도움으로 기본적인 카메라 예제를 다뤄보았고, 이제는 카메라를 활용한 컴퓨터 비전 분야의 첫 단추인 Barracuda 라이브러리를 설치하여 환경을 구축한다.

Barracuda 설치

우선 유니티 에디터에 Barracuda 를 설치하기 위해 Window > Package Manager를 열고 Barracuda 패키지를 검색하여 설치한다. 아래와 이미지와 같다. 그러나 검색 결과가 나오지 않았다.

아래 Stackoverflow 링크 및 GPT에게 물어본 결과 종합적으로 2020년 이후 Unity 정책이 바뀌어 패키지를 기본적으로 숨기고 있으며 git url을 통해 받을 수 있다고 한다. 또한 manifest.json 파일을 수정하여 가져올 수 도 있다.

Manifest 수정하여 설치

• 유니티 에디터 프로젝트의 Packages 폴더 내에 manifest.json 파일을 수정한다. 해당 파일이 없다면 생성해준다.
• 아래와 같이 작성한다. 아래는 단순 예시일 뿐이다.

  {
  "dependencies": {
    "com.unity.barracuda" : "https://github.com/Unity-Technologies/barracuda-release.git[#<revision>]", 
    // ... 기타 의존성
  }
  }
  

• 혹은 해당 리포지토리를 로컬에 다운로드 받았다면 아예 로컬 경로로 주어도 된다.

  {
  "dependencies": {
    "com.unity.barracuda" : "file:<PATH_TO_BARRACUDA_FOLDER>/UnityProject/Assets/Barracuda", 
    // ... 기타 의존성
  }
  }
  

• 하지만 본인은 manifest.json 파일을 직접 만들어서 하진 않고 아래의 Git URL 을 통하여 설치하였다.

Git URL을 통한 패키지 설치

• Window > Package Manager를 열고 창의 왼쪽 상단에 있는 + 버튼을 클릭한다.
• Add package from git URL... 을 선택.
• Barrcuda 패키지의 Git URL을 입력한다.

  https://github.com/Unity-Technologies/barracuda-release.git
  

설치 확인

Barracuda는 유니티 버전이 2019.1 이상의 버전에서만 지원된다고 한다. 유니티 버전을 잘 확인하자. 설치가 완료되면 아래와 같이 확인된다.

머신러닝 및 딥러닝 모델 위치하기

본인은 카메라 영상에 대해서 AI 딥러닝 기반의 객체감지 모델을 적용하는 예제를 최종적으로 만들어보려고 한다. 그러기 위해 우선 유니티가 딥러닝 모델을 인식할 수 있는 형태로 변환하여야 한다. 유니티는 딥러닝 모델을 ONNX 프레임워크의 모델로 제공해주어야 사용가능하다.

• pytorch 에서 학습한 .pt 혹은 .pth 파일이라면 torch.onnx.export 라이브러리를 활용하여 변환한다.
• tensorflow도 .pb 파일을 tf2onnx 모듈을 사용하여 변환한다.
• keras 또한 .h5 파일에 대해서 keras2onnx 모듈이 있다.
• 자세한 사용법은 각 프레임워크의 API 문서를 확인하자. 또한 각 모델에 따라 추가적으로 해줘야할 작업들이 있을 수 있으니 본인이 활용하려는 모델 소스도 잘 확인하자.

파일 위치

그래서 결론적으로 본인은 YOLOv8 객체감지 모델의 .onnx 버전을 테스트 해보려고 하였다.

• Project의 Assets > Models 라는 폴더를 만들고 해당 폴더 내에 본인의 모델을 드래그 앤 드롭으로 옮겨주었다.
• .onnx 파일을 옮기고 마우스로 클릭하면 Inspector 정보를 볼 수 있다.

Unity - Getting started with Barracuda
Unity - Barracuda docs
Stackoverflow - Can’t find Barracuda package in Unity Registry