[EdgeAI] TFLite on google coral

1. On-device ML

일반적으로 머신러닝이라 하면, 센서나 개인용 디바이스 (혹은 다른 서버) 에서 데이터를 받아와서 서버에서   학습하여 모델을 구축하는 것으로 생각한다.

google coral 개발보드를 이용을 통해, 서버에 데이터를 전송하지 않고 모바일 혹은 센서 자체에서 머신러닝이 가능하다.

2. Google Coral

구글 코랄은 로컬AI 환경을 위한 하드웨어 부품, 소프트웨어 도구, 그리고 로컬AI로 장치를 만드는 사전에 학습된 모델들로 구성된 플랫폼을 제공하는 기업이다.

동전보다 작지만 고성능의 신경망을 처리하는 Edge TPU프로세서를 갖고 있다.

라인업(시리즈)은 크게 두 가지이다. SBC(single board computer) 형태로 제공되는 dev board 와 SoM(system on module) 형태로 제공되는 모듈이다.
개발보드는 Debian 계열의 Linux를 이용해 모든 device driver를 활성화 할 수 있으므로, 초기 개발 단계에서 evaluation cost를 줄일 수 있다.
SoM 은 양산에 적합하도록 TPU 칩을 포함한 기본 모듈로만 구성되어 있다.

Google Coral 시리즈(Dev Board, Edge TPU)의 가장 큰 특징은 TPU를 가지고 있다는 것이다.
TPU는 Tensor Processor Unit으로 Tensor 계산에 최적화된 연산장치이다.
Dev Board는 CPU, 메모리, 각종 인터페이스(USB, 이더넷 등)를 가지고 있어 독립적으로 사용이 가능하다.
Edge TPU는 usb로 연결 가능한 연산기로 라즈베리파이같은 장치에 연결하여 사용할 수 있다.

3. Convert Pytorch to TensorflowLite

pytorch는 AI에 필요한 잘 디자인된 모듈과 클래스를 제공하므로, 논문연구에서는 거의 pytorch를 주로 사용한다.
하지만, google coral에서는 tensorflow 라이브러리르 사용해야하므로, pytorch로 구축된 모델을 tensorflow 모델로 변환하고자 한다.

pytorch를 tensorflow로 변환하는 프로세스가 있지만 (pytorch > ONNX > tensorflow > TFLite),
버전 호환성 문제, 데이터 특성과 모델에 따른 에러 문제가 있기 때문에 수동으로 바꾸었다.

	GPU Allocation	class inheritance	data processing	fully connected layer	forward method	model allocation
PyTorch	cuda.is_available()	nn.Module	torch.utils.data.Dataset torch.utils.data.DataLoader	nn.Linear	call()	model.to()
Tensorfflow	auto	keras.Model	tf.keras.utils.Sequence	keras.layers.Dense	forward()	model()

*Tensorflow는 tf.debugging.set_log_device_placement(True) 코드를 통해서 어디에 할당되어있는지를 확인할 수 있다.
PyTorch는 GPU 탑재 여부를 담은 변수 device를 모델 객체에 할당할 때 포함시킵니다. model = NeuralNetwork().to(device)

*torch.utils.data.Dataset를 상속 받아 custom dataset을 만들 때 사용한다. tk.keras.utils.Sequence도 이와 같이 사용하면 된다. DataLoader는 따로 tf에 대응되는 라이브러리가 없으므로 자신의 데이터셋에 맞게 따로 class 등으로 만들어서 사용해야 한다.

Reference

[1] https://m.blog.naver.com/roboholic84/221850320761
[2] https://voidint.com/2020/09/25/google-coral-edge-inference-platform/
[3] https://velog.io/@2innnnn0/What-is-Coral-Dev-Board-USB-Accelerator
[4] https://acdongpgm.tistory.com/231