로컬 AI 모델의 황금기

요새 로컬 모델 돌리는 맛이 참 좋다. 지금 내 최애 로컬 모델은 단연 0528 Qwen3 8b다. 맥북 M2 Max에서도 충분한 속도로 돌아가고 내가 자주 질문하는 내용에 대해 뻘대답하는 케이스가 거의 없다.

음성인식은 요새 엔비디아 파라킷이 성능이 제일 좋다지만 솔직히 2년 전에 나온 위스퍼 모델로도 내 후진 영어 독일어 한국어 발음 다 잘 인식하고 아이폰에 임베딩해도 성능 잘 나오는 small Q5 잘 쓰고 있어서 더 조사하지 않고 있다.

음성합성은 얼마 전에 나온 Chatterbox가 최고다. 그전까지는 좀 비싼 OpenAI mini TTS 쓰고 있었는데 채터박스 써보고 바로 버렸다. 아직 영어만 되는 게 좀 아쉽지만 이 정도 품질이면 그냥 내가 영어로 들어도 된다. 엔비디아 L4 장비에서 10초짜리 음성 만드는데 제로샷 클로닝해도 4초라 스트리밍에 문제없고, 맥북에서 하면 16초쯤 걸려서 살짝 부담인 상태. 근데 어제 구글 클라우드에 엔비디아 L4 지원 들어갔고 Scale to zero도 있으니 이런 건 GCP에서 돌릴까 한다. 많이 써봐야 한 달에 $10 나오겠지.

물론 개발업무에는 로컬 모델 절대 안 쓴다. Claude Code에 Opus 4로 돈 플렉스 하면 된다. 내 입맛대로 설계 코딩 리팩토링까지 거의 완벽하게 해줘서 더 이상 바라는 게 없다. 이제 전직이 필요해보이니 각잡고 AI/ML 엔지니어로 다시 태어나야겠다. 아 조금 더 빨리 들어갈걸 너무 우려먹었네 🥹