Tag: llm
All the articles with the tag "llm".
-
AI가 쓸 도구는, 만드는 것보다 깎는 게 일이었다
AI에게 도구를 쥐여주려면 기능만 만들면 끝날 줄 알았다. 하지만 opsgate를 만들어 실제로 붙여보니, 진짜 일은 기능 구현이 아니라 응답을 줄이고, 실패 이유를 설명하고, 다음 요청을 유도하는 데 있었다. AI용 도구를 만든다는 건 결국 도구의 출력을 계속 깎는 일이었다.
-
모델이 바뀔 때마다 코드를 고치고 싶지는 않았다
모델의 가격, 입력 한도, 과금 방식이 자주 바뀌는 상황에서, 내부 도구와 작은 서비스의 모델 호출 정책을 코드 밖으로 빼기 위해 llmgate를 만든 과정을 정리한다.