AI 모델과 추론 레벨은 무엇을 바꾸는가
모델 선택과 추론 강도를 구분하고 OpenAI·Claude·Gemini의 설정 차이, 속도·비용·품질의 관계와 작업별 선택 기준을 정리한다.
코딩 에이전트에서 모델을 고른 뒤에도 low, medium, high, auto 같은 선택지가 남는다. 모델을 바꾸는 설정인지, 답변을 길게 쓰게 하는 설정인지부터 헷갈리기 쉽다.
모델 선택은 어떤 모델에 작업을 맡길지, 추론 레벨은 그 모델이 작업을 풀 때 얼마나 많은 추론을 하도록 유도할지 정하는 별개의 선택이다. 같은 모델에서도 추론 강도를 바꿀 수 있지만, 지원 단계와 실제 동작은 제공사·모델·호출 경로에 따라 다르다.
이 글은 특정 모델의 순위나 모든 설정값을 모은 매뉴얼이 아니다. 어떤 값을 바꿔야 하는지 판단하기 위한 공통 개념을 다룬다. 전체 개발 도구의 관계는 AI 개발 지형, Claude API의 구체적인 요청 예제는 Claude API의 실행 구조로 이어진다.
모델·제공사·하네스는 서로 다르다
모델 이름만 같다고 같은 사용 경험이 보장되지는 않는다. 먼저 선택 대상을 나눈다.
| 선택 대상 | 결정하는 것 | 바꿔도 자동으로 해결되지 않는 것 |
|---|---|---|
| 모델 | 학습된 능력, 지원 입력·도구 호출, 컨텍스트 등 모델의 특성 | 저장소 파일이나 최신 자료를 알아서 모두 읽는 것 |
| 제공사·호출 경로 | 접근 가능한 모델·옵션, 인증, 제한, 과금 정책 | 같은 이름의 모델에 모든 경로가 같은 옵션을 제공하는 것 |
| 하네스 | 지침·컨텍스트 관리, 도구 실행, 승인, 세션·반복 작업 | 모델이 제안한 변경의 정확성 보장 |
| 추론 레벨 | 지원 모델에서 추론에 쓰는 작업량을 조절하는 신호 | 모델 교체, 지식 갱신, 테스트 통과 보장 |
하네스는 모델을 호출하고 도구 결과를 다시 전달하는 실행 환경이다. OMP, Pi 같은 코딩 에이전트가 여기에 해당한다. 같은 모델과 같은 추론 강도를 골라도 하네스가 읽어 주는 파일, 사용할 수 있는 도구, 시스템 지침이 다르면 결과가 달라질 수 있다.
따라서 두 코딩 도구를 비교하면서 한쪽만 높은 추론 강도로 실행하면, 모델이나 도구 자체의 차이와 추론량의 차이를 분리하기 어렵다.
추론 레벨은 학습량이나 정답률 설정이 아니다
추론 모델은 최종 답을 만드는 과정에서 문제를 나누고, 대안을 비교하고, 중간 결과를 검토하는 데 추가 연산을 쓸 수 있다. 제공사는 이 과정의 토큰을 Reasoning Tokens 또는 Thinking Tokens 등으로 구분한다. 도구 호출 사이에 추론이 이어지는 모델도 있으므로, 반드시 첫 답변 전에만 일어나는 단계는 아니다.
추론 레벨을 높이는 것은 요청을 처리하는 시점의 작업량을 조절하는 것이다. 모델을 다시 학습시키거나 가중치를 바꾸는 설정이 아니다. 알지 못하는 최신 사실이나 주어지지 않은 저장소 정보를 자동으로 채워 주지도 않는다.
또한 high는 “정확도 90%”, “30초 동안 생각”, “정확히 10,000토큰 사용” 같은 보장이 아니다. 같은 강도에서도 요청의 난도와 모델의 동작에 따라 사용량이 달라진다. Claude 공식 문서도 effort를 엄격한 토큰 예산이 아닌 행동을 유도하는 신호로 설명한다.
속도·비용·품질은 함께 보되, 비례한다고 가정하지 않는다
추론에 더 많은 작업량을 허용하면 어려운 문제에서 대안과 제약을 더 검토할 여지가 생긴다. 대신 지연과 토큰 사용량이 늘 수 있다. 그렇다고 강도를 한 단계 올릴 때마다 품질이 일정하게 좋아지지는 않는다.
| 작업의 성격 | 먼저 시도할 선택 | 확인할 결과 |
|---|---|---|
| 범위가 명확한 설명·국소 수정 | 낮은 강도 | 필요한 조건을 빠짐없이 처리하는가 |
| 여러 파일에 걸친 일반 구현 | 모델 권장 기본값 | 기존 계약을 유지하고 실제 동작을 완성하는가 |
| 재현이 어려운 버그·복잡한 설계 | 기본값과 더 높은 강도를 비교 | 원인·반례·실패 조건을 더 잘 찾는가 |
| 장시간 분석·고난도 검토 | 지원되는 높은 단계들을 평가 | 추가 지연·사용량에 비해 유효한 발견이 늘어나는가 |
이 표는 공통 출발점이지, 모든 모델에 medium을 고정하라는 뜻이 아니다. 기본값 자체가 모델별로 다르다. 단순한 추출 작업에 최고 강도를 쓰면 결과가 좋아지지 않은 채 느려지거나 출력 예산을 소진할 수 있다.
비용도 답변 길이만으로 판단할 수 없다. 예를 들어 OpenAI API는 화면에 보이지 않는 reasoning tokens도 출력 토큰으로 과금한다. 구독형 코딩 도구는 별도 사용량 제한을 적용할 수 있으므로, API 토큰 비용과 구독 잔여 한도를 같은 값으로 보지 않는다.
답변 길이·토큰 상한·Thinking 표시는 다른 설정이다
짧은 답을 받았다고 적게 추론한 것은 아니다. 복잡한 검토 뒤 한 줄로 답할 수도 있고, 낮은 추론 강도로 긴 설명을 만들 수도 있다. 다만 일부 제공사에서는 effort가 최종 답변이나 도구 호출의 길이에도 영향을 준다. 서로 영향을 줄 수 있다는 것과 같은 설정이라는 것은 다르다.
| 조절값 | 목적 | 혼동하기 쉬운 점 |
|---|---|---|
| 추론 레벨·effort | 문제 해결에 투입하는 추론·작업 강도 유도 | 답변의 글자 수를 지정하는 옵션이 아님 |
| 답변 길이 지시·verbosity | 사용자에게 보여 줄 설명의 분량 조절 | 짧게 답하라고 해도 내부 추론이 반드시 줄지는 않음 |
| 출력 토큰 상한 | 생성 가능한 총량 제한 | 내부 추론 포함 여부 등은 API 계약을 확인해야 함 |
| Thinking 숨기기·요약 표시 | 추론 관련 정보를 화면에 어떻게 보여 줄지 결정 | 화면에서 숨긴다고 연산이나 과금이 사라지지 않음 |
OpenAI Responses API의 max_output_tokens와 Claude Messages API의 max_tokens는 내부 추론을 포함하는 출력 상한이다. 값을 지나치게 낮추면 추론 도중 예산을 써서 최종 답변이 잘리거나 충분한 답을 받지 못할 수 있다. 강도를 낮추는 것과 출력 한도를 작게 잡는 것은 같은 최적화가 아니다.
같은 이름의 단계가 같은 동작을 뜻하지 않는다
아래 API 필드와 지원 범위는 2026-11-18 공식 문서 확인 기준이다. 실제 요청에서는 선택한 모델과 API의 최신 계약을 확인한다.
| 제공사·실행 환경 | 조절 방식 | 의미와 경계 |
|---|---|---|
| OpenAI Responses API | reasoning.effort | 모델별 추론 강도. 지원값과 기본값은 모델마다 다름 |
| Claude Messages API | thinking과 output_config.effort | Thinking 동작과 작업 강도를 구분. effort는 답변·도구 호출·활성화된 Thinking에 영향을 줌 |
| Gemini Interactions API | generation_config.thinking_level | 동적 추론의 강도 조절. 모델마다 지원 단계와 기본값이 다름 |
| OMP | thinking level, auto 정책 | 하네스가 모델·제공사에 맞게 해석. auto는 고정 강도 단계가 아님 |
OpenAI의 공식 문서는 모델에 따라 none, minimal, low, medium, high, xhigh, max 등을 지원한다고 설명한다. 이 목록 전체가 모든 모델에 허용되는 것은 아니다.
Claude의 effort는 low부터 max까지 제공되지만 xhigh와 max 지원 여부도 모델별로 확인해야 한다. thinking={"type": "adaptive"} 같은 Adaptive Thinking 설정과 effort는 구분한다. API 예제와 모델별 기본값은 Claude 전용 글에 남겨 둔다.
Gemini도 모델에 따라 단계가 다르다. 예를 들어 공식 표에서 gemini-3-pro-preview는 low·high, gemini-4-hydrogen은 low·medium·high·xhigh를 지원한다. 여기에 적은 필드는 Interactions API 기준이며, 다른 API나 SDK에 같은 필드명을 그대로 옮겨 쓰지 않는다.
따라서 서로 다른 모델의 high는 같은 시간·토큰·성능을 뜻하지 않는다. 작은 모델의 최고 강도가 큰 모델의 낮은 강도보다 항상 낫다거나, 반대라고 일반화할 수도 없다. 같은 작업으로 모델과 강도를 함께 비교해야 한다.
auto는 어느 계층의 자동화인지 확인한다
auto를 “추론을 끈 상태”나 “항상 가장 빠른 단계”로 읽으면 안 된다. OMP에서의 auto는 요청에 맞춰 강도를 선택하는 하네스 정책이다. Claude의 Adaptive Thinking이나 Gemini의 동적 추론은 모델 API의 동작이다. 두 계층은 함께 사용될 수 있으며 같은 옵션이 아니다.
설정의 기본값과 현재 세션의 값도 구분한다. 전역 기본값을 바꿔도 역할별 고정값이나 재개한 세션의 저장값이 적용될 수 있다. 현재 작업의 강도를 알아야 한다면 모델이 자기 상태를 추측한 답보다 하네스의 세션 표시·요청 기록을 확인한다.
OMP의 단계·전환 키·역할별 설정은 devkit 추론 강도 치트시트에서 관리한다. 이 글은 명령을 복제하기보다 왜 그 값을 바꾸는지에 집중한다.
모델을 바꿀까, 강도를 올릴까
예를 들어 여러 파일에 걸친 버그 수정이 계속 실패한다고 하자. 바로 최고 강도로 올리기 전에 실패 종류부터 본다.
- 필요한 정보가 없는가? 재현 입력, 오류 로그, 관련 코드가 빠졌다면 먼저 제공한다. 강도를 높여도 없는 근거를 대신 만들 수는 없다.
- 실행 환경이 막혀 있는가? 필요한 도구나 권한, 의존성, 테스트 환경이 없다면 그 제약을 해결한다. 높은 추론 강도가 실행 권한을 주지는 않는다.
- 정보는 충분한데 조건을 놓치는가? 같은 모델에서 더 높은 강도를 비교할 이유가 있다. 원인 추적과 반례 검토가 실제로 개선되는지 본다.
- 높은 강도에서도 같은 유형으로 실패하는가? 다른 모델을 비교한다. 다만 더 비싼 모델로 바꾸는 것 자체를 성공의 증거로 보지는 않는다.
비교할 때는 같은 저장소 상태·요청·도구 권한·완료 조건을 사용하고 모델이나 강도처럼 비교하려는 축만 바꾼다. 한 번 그럴듯하게 답한 사례 대신 대표 작업 여러 개에서 실제 완료율, 회귀 오류, 수정에 든 사람의 개입, 지연, 사용량을 확인한다. 추론과 최종 답변이 출력 상한 안에서 끝났는지도 함께 본다.
선택 기준은 허용 가능한 품질을 만족하는 가장 낮은 비용·지연의 조합이다. 높은 추론 강도는 그 조합을 찾는 수단이지, 검증을 생략할 근거가 아니다. 코드 변경이라면 여전히 실행·테스트·리뷰 결과가 필요하다.
공식 자료
- OpenAI — Reasoning models: reasoning effort, 내부 토큰, 출력 상한과 사용량.
- Claude — Effort: 단계별 지원, Thinking과의 관계, 전체 출력에 미치는 영향.
- Gemini — Thinking: 동적 추론, 모델별 지원 단계, 출력 상한.
- OMP — Model and Provider Configuration: 제공사·모델 설정과 추론 강도 해석.