이 뉴스는 안드로이드 온디바이스 LLM 개발에 있어 성능 향상이 이루어졌다는 점에서 기술 발전을 보여줍니다.
whisper.cpp는 음성 인식 모델로 사용되지만 GPU 가속이 지원되지 않아 속도에 한계가 있었습니다.LiteRT-LM은 최근 공개된 모델로, MTP 기술이 적용되어 속도가 개선되었습니다.LiteRT Community에서 다양한 모델의 벤치마크 결과도 확인할 수 있습니다.
기사 요약
LiteRT-LM을 활용한 유니티 안드로이드 래퍼 개발 소식으로, 속도 개선을 위해 기존 whisper.cpp 대신 해당 모델을 포팅하였다는 내용입니다.