졸업 프로젝트로 부분해설을 지원해주는 도슨트 어플리케이션을 제작하고 있습니다. 도슨트 어플리케이션이라고 하면.. 해설 정보를 번역하고 오디오 해설을 들을 수 있도록 해주어야겠지요. 웹앱으로 제작하고 있으니 react와 google cloud API를 이용해 구현하는 방법을 알아볼까요? 목차 이번 글은 다음과 같은 순서로 이루어져 있어요. 구현해야 할 사항 파악하기 서버에서 해설 데이터 받아오기, react-query를 이용해 받아온 데이터 캐싱 translate API를 이용해 캐싱한 해설 번역해 표시 text-to-speech API를 이용해 해설 음성 데이터로 받아오기 Audio 컴포넌트 제작, 일시정지/배속 등 기능 구현 결과 확인! 👍 전체적인 흐름을 그림으로 표시하면 다음처럼 될 거예요. 1. ..

Index Roboflow를 이용한 yolov5 custom training tflite로 변환 리얼타임 카메라로 그림의 중요한!부분을 감지한 뒤 부분별 해설을 제공하는 모바일 어플을 제작하고자 합니다. 관람객이 그림을 카메라로 비추면, 그 그림 안의 부분들을 object detection으로 찾으려고 합니다. 우선 custom training을 위해 colab으로 yolov5 학습을 시키는 과정입니다. 결과물은 pt 파일로 나오는데, 이걸 tflite로 변환시켜 flutter에서 플러그인을 이용해 리얼타임 카메라와 연결할 예정입니다. Custom Object Detection 다양한 곳에서 많고 훌륭한 데이터셋을 제공하고 있지만... 미술작품을 부분별로 감지하려면 그리고 원하는 부분에 대한 설명을 하려..

YOLO (You Only Look Once) is a popular real-time object detection algorithm that can be used to detect objects in images and video. 모바일 환경에 custom object detection model 적용하기 object detection 모델 트레이닝 TensorFlow / PyTorch 이용 mobile-friendly format으로 모델 변환 TensorFlow Lite / Core ML 등 사용 앱에 적용 테스팅 최적화 size reducing / speed improvement Cross-platform development framework에 ML model 적용 데스크탑이나 서버 환경에 ..