키 분당 토큰 한도를 10만에서 100만으로 올린다 - #27
Merged
Merged
Conversation
논문 세 편을 첨부한 문서 턴은 호출당 4만, 분당 6만~13만 토큰을 쓴다(09-06 측정). 10만에서는 그런 턴이 다음 창까지 기다리거나 장을 떨어뜨렸다. 처리량은 vLLM 과 동시성 게이트가, 지출은 사용자 예산이 막으므로 토큰 한도는 걸림돌이 되지 않을 만큼 둔다. 운영의 config.yaml 과 기존 키 41개에는 같은 값을 이미 적용했다.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
바뀐 것
upperbound_key_generate_params.tpm_limit을 100000에서 1000000으로 올린다. KloudChat은 키를 만들 때 tpm_limit을 넘기지 않으므로 이 상한이 새 키의 기본값이 된다.왜
Limit type: tokens … Limit resets at)로 다음 창까지 기다리거나 슬라이드가 빠졌다.max_internal_user_budget)이 막는다. 토큰 한도는 걸림돌이 되지 않을 만큼 둔다. rpm 500은 그대로.이미 적용된 것
config.yaml(gitignored)에 같은 값을 적고 LiteLLM을 재시작했다./key/update로 1,000,000으로 맞췄다.