May's Brain Dump

이 포스트의 더 적절한 제목은 'OpenAI의 LLM API에 알맞은 prompt를 넘겨서 내가 의도한대로 대답하는 챗봇 만드는 법' 이다. 드디어 업무상 OpenAI의 LLM을 써볼 기회가 생겼다. 기억용으로 간이 공부한 내용을 기록해본다. 사실 올초 ChatGPT가 등장하자마자 고맙게도 회사에서 ChatGPT를 제공해주었고, (Azure를 통해 사용한다^^) 그동안은 주로 syntax 점검, 리팩토링, 심심풀이(?)에 사용해오긴 했었다. 용어정리 OpenAI: 회사 이름 ChatGPT: OpenAI에서 제공하는 애플리케이션 이름. 즉 interface. LLM: Large Language Model. OpenAI가 개발한 언어 모델들을 통칭한다. GPT-4가 한 종류이고 2023년 10월 현재 Cha..

몇 주전 사용자 6만명을 대상으로 Batch 처리를 하는 이벤트가 있었다. 그나마도 모수는 30만명+ 이었고 그중에서 6만명을 추려서, 추린 사용자 대상으로 특정 작업을 수행하는 것이 Task... 9월달에 완성해놓고도 틈틈이 잘못된 것은 없나 확인할 정도로 매우매우 신경이 쓰였었는데, 드디어 몇 주전 처음 운영환경에서 수행한 날, 결론적으로 기능은 정상적으로 잘 작동했다! 그러나 그 배치 작업이 생각보다 느리게 돌았다. 어느정도냐면 밥 먹고 밖에 나가서 커피 뜨거운 거 한잔 호호호 천천히 불어먹고 들어와서, 거기다 드라마 한 편 봐야 작업이 완료되는 속도. T.T 개선이 시급해서 병렬 처리 방법을 미리 정리해둔다. (잘 적용되면 좋은 Before & After가 되겠지..?) 우선은 나만 알아보게끔 요..