비용을 줄이기 위해 반드시 알아야 하는 토큰(Token)의 역할

이전 수업에서 문장을 단어, 구두점, 숫자 등으로 나눈 의미 단위인 토큰(Token)에 대해 알아보았습니다.

참고 : 생성형 AI가 프롬프트를 이해하는 원리

챗GPT와 같은 AI 모델은 텍스트를 토큰 단위로 처리하며, 이를 통해 문장을 이해하고 생성합니다.

예를 들어, Hello, my name is CodeFriends!라는 문장은 다음과 같이 토큰화됩니다.

복사
- Hello
- ,
- my
- name
- is
- Code
- Friends
- !

AI 모델은 이러한 토큰들 사이의 관계를 확률 통계적으로 이해하고, 입력 프롬프트를 바탕으로 새로운 텍스트를 생성합니다.

생성형 AI는 프롬프트 이해를 위한 입력 토큰, 답변 생성을 위한 출력 토큰을 고려해 비용이 산출됩니다.

예를 들어 특정 모델의 비용 구조가 1,000 토큰당 20원라고 가정해 보겠습니다.

AI가 특정 프롬프트를 이해하기 위해 400토큰, 답변을 생성하기 위해 1,100토큰이 필요했다면, 총 비용은 다음과 같이 계산됩니다.

• 입력 토큰: 400토큰 x 20원 / 1,000토큰 = 8원

• 출력 토큰: 1,100토큰 x 20원 / 1,000토큰 = 22원

따라서, 총 비용은 8원(입력) + 22원(출력) = 30원이 됩니다.

원하는 답변을 얻기 위한 토큰의 수를 줄이려면 아래와 같이 프롬프트를 작성하는 것이 좋습니다.

일반적으로 입력 토큰보다 출력 토큰이 많이 소모되므로, 출력 토큰을 최적화하는 것이 특히 중요합니다.

1. 출력 길이 제어: AI의 답변 출력 길이를 제한하여, 제한된 길이 내 필요한 정보만 포함되도록 요청합니다.

복사
전 세계적인 저출산 가속화 원인을 200글자 내로 설명해 주세요.

2. 답변 형식 제시: 답변 형식을 제시하지 않을 경우, AI가 원하는 분량에 비해 너무 긴 답변을 생성할 수 있습니다.

따라서, 원하는 답변 형식을 예시와 함께 제공하는 것이 좋습니다.

복사
아래 형식에 따라, 전 세계적인 저출산 가속화 원인을 설명해 주세요.

1. 경제적 요인: [100글자 이내]

2. 사회적 변화 요인: [100글자 이내]

3. 정책적 요인: [100글자 이내]

프롬프트 예제를 보내고 AI의 답변을 비교해 보세요.