LLM in production.
운영급 LLM은 모델이 아니라 컨텍스트가 결정한다. 지식의 위치가 가중치에서 컨텍스트로 옮겨간 시대 — Write · Select · Compress · Isolate 네 전략으로 RAG 한계를 넘는 LLM 통합을 설계합니다.
Where knowledge lives has changed.
전통 ML의 “학습 → 추론” 2단계 사이에 “정제(Context Engineering)”가 끼어들었다. 지식이 가중치에서 컨텍스트로 이동하면서, 시스템 성능을 결정하는 단일 최대 레버도 함께 옮겨갔다.
Weight Era
지식은 모델 가중치 안에. 학습이 곧 핵심이었다.
Prompt + RAG Era
지식의 일부가 외부 검색으로. 프롬프트 + RAG가 한 묶음.
Context Engineering Era
지식이 가중치 + 컨텍스트 모두에. 컨텍스트 설계가 시스템 성능을 결정한다.
“The LLM is like the CPU, its context window is like the RAM. And just as an operating system curates what fits into a CPU's RAM, we can think about context engineering playing a similar role.”
RAG is one quarter, not the whole.
RAG는 강력하지만 4 전략 중 Select 한 칸일 뿐이다. 학계가 정리한 네 가지 구조적 한계 — 이걸 모르고 시작하면 RAG 인프라에 6개월 쏟고도 “데모는 되는데 운영은 안 되는” 결과를 얻는다.
정적 워크플로우
arXiv 2501.09136전통 RAG는 고정된 검색→생성 한 사이클. 다단계 추론이 필요한 작업에 적응성이 부족하다.
검색 노이즈와 확장성
Towards Data Science 2025.10Relevance · Scalability · Noise 세 가지 제약. 코퍼스가 커질수록 관련성 떨어지는 청크가 늘어난다.
인간 대화 가정의 붕괴
Towards Data ScienceRAG는 사람이 묻고 사람이 읽는다는 전제로 설계됨. Agent 시대엔 양쪽 모두 LLM이라 가정이 깨진다.
컨텍스트 윈도우 한계
Context Rot · 2026.03윈도우가 커져도 토큰이 늘수록 회상 정확도가 떨어진다. 더 많이 넣는 게 더 나쁜 답을 만든다.
Write · Select · Compress · Isolate.
Anthropic · LangChain · OpenAI가 같은 원리로 수렴한 Context Engineering의 4 축. 각 전략은 “윈도우 안에 무엇을 어떻게 놓을지”에 대한 서로 다른 질문에 답한다.
Write
Scratchpad · Memory · 외부 노트 — 컨텍스트 윈도우 바깥에 정보를 적어두고 필요할 때 끌어온다. 윈도우 한계를 우회하는 첫 전략.
Select
RAG가 여기 속한다. 다만 벡터 검색 단독이 아니라 few-shot · canonical examples · 도구 선택까지 포함. Just-in-time retrieval이 핵심 원칙.
Compress
프롬프트의 Goldilocks zone에 도달하는 전략. 너무 자세해도, 너무 모호해도 실패. 의도된 행동을 묘사하는 최소 정보 집합을 찾는다.
Isolate
Subagent · Multi-Agent · Structured Output. 각 Agent의 컨텍스트를 분리해 cross-contamination을 방지한다. Orchestrator-Worker 패턴이 90%의 성능 향상을 만드는 이유.
The six ways context goes bad.
Anthropic이 2026.03 Cookbook으로 정식화한 Context Rot — “토큰이 늘수록 회상 정확도는 떨어진다”는 사실에서 출발하는 여섯 안티패턴. 가장 흔하고, 가장 비싸고, 가장 늦게 발견되는 함정들.
토큰을 더 많이 넣으면 더 좋다고 가정한다
토큰 수가 늘어날수록 회상 정확도는 떨어진다 (Anthropic Cookbook 2026.03). 많이 넣을수록 더 나쁜 답이 나오는 구간이 존재한다.
예시(few-shot)를 엣지 케이스로 도배한다
“여러 예시를 마구 넣자”는 본능. Anthropic은 다양하고 표준적인 canonical examples를 큐레이션하라고 명시. 천 단어보다 그림 한 장의 원리.
사용하지 않을 정보를 일단 컨텍스트에 넣어둔다
“쓸 수도 있으니까”의 함정. 안 쓰는 정보는 적극적으로 빼야 한다 — 정제 결과의 절반은 ‘무엇을 안 넣을지’ 결정이다.
프롬프트를 모호한 추상으로만 채운다
Anthropic의 Goldilocks zone 반대편 실패. 너무 모호한 지시는 너무 자세한 지시만큼 나쁘다. 구체와 추상의 균형점이 필요.
RAG 한 번으로 모든 문제를 풀려 한다
RAG는 4전략 중 Select 한 칸일 뿐. Write·Compress·Isolate를 함께 설계하지 않으면 다단계 추론에서 무너진다.
Structured Output을 프롬프트로만 강제한다
“JSON으로 응답해줘”는 prompt engineering. Structured Outputs는 생성 단계의 제약이다 — JSON Schema · Pydantic으로 토큰 분포 자체를 제한해야 한다.
From demo to production.
4계층으로 분리된 LLM 운영 스택. 벤더 독립 → 흐름 추상 → 컨텍스트 자산 → 관측. 상위 계층 교체가 하위 계층에 영향이 없게 설계한다.
Foundation Model & SDK
벤더 독립을 위한 SDK 추상화 + 모델 라우팅. 같은 인터페이스로 Bedrock·OpenAI·Anthropic을 교체 가능하게.
Orchestration Chain & Graph
LangChain은 도구 어댑터, LangGraph는 상태 머신. 단순 체인 → DAG → Agent로 복잡도가 올라가도 동일 추상으로 다룬다.
Context Knowledge & Memory
Vector DB · 임베딩 · 메모리 · 캐시. 4 전략의 물리적 구현 계층. Pydantic으로 출력 스키마를 코드로 강제.
Observability Trace & Eval
Trace · Token · Cost · Latency · Eval. 출력만 보고 디버깅하는 SI 방식은 작동하지 않는다. 매 실행이 자동 기록되어야 한다.
The field that's only months old.
Context Engineering은 2025년 9월에 공식화된 신생 분야다. “갑작스러운 부상”이 아니라 모델·RAG·MCP·Agent SDK 4갈래 흐름의 동시 수렴이었다 — 이 시간축을 모르면 같은 함정에 다시 빠진다.
Design the context before the model.
“Agent의 실패는 모델의 실패가 아니라 컨텍스트의 실패다” — 2026년 산업계의 핵심 통찰을 당신의 도메인에 적용하는 방법, 함께 설계합니다.