LLM에서 AI 에이전트까지 / 원리부터 26년 최신 트렌드 총 정리

ChatGPT가 나온 지 3년 반이 지났다. 그 사이에 AI는 대화 상대에서 코드를 짜고 도구를 쓰고 스스로 개선하는 에이전트로 변했다. 변화가 너무 빨라서 지금 쓰이는 기술이 어디서 출발했고, 왜 이런 형태가 되었는지 잘 보이지 않는다.

LLM은 결국 "다음에 올 것을 예측하는 시스템"이다. 이 단순한 원리에서 출발해서, 왜 AI에게 컨텍스트가 중요한지, 어떻게 에이전트가 되었는지, 26년 현재 어디까지 왔는지를 정리한다.

 

1. 다음에 올 것을 예측한다는 아이디어

1948년, 클로드 섀넌은 논문 "A Mathematical Theory of Communication"에서 마르코프 체인을 언어에 적용했다. "앞에 나온 글자를 바탕으로 다음 글자의 확률을 결정하는 방식"을 수학적으로 정리한 것이다. 현대 LLM의 핵심 훈련 방식인 다음 토큰 예측(next token prediction)이 바로 이 아이디어에서 출발한다.

직관적인 예시를 들어보자.

나는 오늘 학교에 ?
-> 간다(20%), 안 갈래(50%), 다녀왔어(30%)

짧은 문맥만으로도 어느 정도 추정은 되지만 확신할 수는 없다. 여기에 문맥을 하나 더 추가하면 이야기가 달라진다.

"나는 감기에 걸렸어. 나는 오늘 학교에 ?"
->"안 갈래"의 확률이 크게 높아진다

문맥이 추가될수록 예측의 확신이 높아진다. 이 단순한 원리가 현대 LLM의 근간이다. 모델이 아무리 복잡해져도, 결국 하고 있는 일은 "앞에 나온 것을 바탕으로 다음에 올 것을 예측하는 것"이다.

 

 

LLM은 어떻게 여기까지 왔나

섀넌의 아이디어 이후 언어 모델은 꽤 긴 여정을 거쳤다.

1950~70년대에는 문법 규칙을 직접 프로그래밍하는 방식으로 자연어 처리를 시도했다. 많은 노력이 들어갔지만 실용적인 결과를 내지 못했다. 언어는 규칙으로 다루기에 너무 복잡했다.

1970년대 후반, Jelinek의 IBM 연구팀이 음성 인식에 통계적인 방법을 도입하면서 전환점이 찾아왔다. 규칙을 프로그래밍하는 대신, 실제 데이터에서 통계를 뽑아내는 n-gram 방식을 사용하기 시작한 것이다. 규칙 기반에서 데이터 기반으로의 전환이다. 이 강의의 Part 1에서 직접 구현하는 것이 바로 n-gram이다.

2003년, Bengio et al.이 뉴럴 네트워크로 언어 모델을 만드는 방법을 제시했다. 통계적 방법에서 딥러닝으로의 전환점이었다. 그리고 2017년, Attention Is All You Need 논문에서 트랜스포머 아키텍처가 등장하면서 발전 속도가 급격히 빨라졌다. 2022년 11월 ChatGPT가 공개되면서 LLM은 대중화되었고, 모델 규모와 데이터를 키우면 성능이 향상된다는 스케일링 접근이 대세가 되었다.

2024년부터는 AI 에이전트 시대가 본격적으로 열리고 있따. 강화학습으로 도구 사용 능력이 향상되면서, LLM은 단순한 텍스트 생성기를 넘어 행동하는 존재가 되기 시작했다.

N-그램은 통계적 언어 모델(SLM)의 한 종류이며, 빈도를 세는 방식이라 카운트 기반 언어 모델이라고도 부른다. 뉴럴 언어 모델을 SLM에 포함시키는 관점도 있고, 분리하는 관점(Minaee et al., 2024)도 있다. 여기서 중요한 것은 규칙 기반에서 데이터 기반으로의 전환이라는 역사적 흐름이다.

 

---

2. 인간의 지능과 인공지능은 다르다

LLM을 잘 쓰려면 먼저 LLM이 인간과 어떻게 다른지를 이해해야 한다.

인간의 인지는 신체와 환경의 상호작용 속에서 형성된다. 인지 과학에서는 이를 체화된 인지(embodied cognition)라고 부른다. 걸어보면서 균형 감각을 익히고, 뜨거운 걸 만져보면서 온도를 배운다. 기억과 사고가 하나로 통합되어 있고, 학습과 활동이 동시에 이루어진다.

LLM은 신체 없이(disembodied) 작동한다. 기억과 사고가 분리되어 있고, 학습과 사용도 분리할 수 있다. 한 곳의 데이터센터에서 학습한 뒤, 그 사본을 여러 곳에 배포하여 대규모로 사용하는 것이 가능하다. 인간은 각자가 직접 경험하고 학습해야 하므로 이런 방식의 분리와 복제가 불가능하다.

인간은 순간적인 직관과 깊이 있는 통찰에서 여전히 강점을 가지고 있다. 무엇을 만들어야 하는지 방향을 정하고, 결과물이 마음에 드는지 판단하는 것은 아직 인간의 영역이다.

 

 

AI는 주사위를 굴리는 시스템

LLM을 이해하는 데 가장 중요한 직관 중 하나는, 이것이 본질적으로 확률적 시스템이라는 것이다.

훈련할 때부터 주사위를 굴린다. 가중치 초기화(Xavier/He initialization)에서 난수로 시작하고, 확률적 경사 하강법(SGD)으로 학습한다. 사용할 때도 마찬가지이다. 다음 토큰을 선택할 때 temperature sampling, top-k sampling, top-p(nucleus) sampling 등 확률적 디코딩을 사용한다. 같은 입력이어도 매번 다른 결과가 나올 수 있다. 이것은 버그가 아니라 본질이다.

따라서 좋은 결과가 나올 때까지 같은 입력을 단순 반복하기보다 컨텍스트를 개선하는 것이 효과적이다. 같은 주사위를 계속 굴리는 것보다, 주사위 자체를 바꾸는 셈이다. 단, 같은 프롬프트를 여러 번 실한 뒤 다수결로 답을 고르는 Self0Consistency(Wang et al., 2022) 기법도 효과가 입증되었다.

 

---

3. 컨텍스트를 다스리는 자가 AI를 다스린다.

LLM에는 기억이 없다

LLM은 무상태(stateless)다. 기억이 없다. 대화가 이어지는 것처럼 보여도, 실제로는 매번 전체 대화 기록을 함께 전송하고 있다. 기억처럼 보이는 것은 내부적으로 매번 과거의 대화를 반복해서 넣어주는 것이다.

이 사실을 알고 있으면 AI를 쓰는 방식이 달라진다. AI에게 의도를 정확히 전달하려면 이유와 요구사항을 구체적으로 함께 요청해야 한다. 이것이 컨텍스트다.

 

 

Lost in the Middle

컨텍스트를 다룰 때 알아둬야 할 현상이 있다. LLM은 프롬프트의 처음과 끝에 있는 정보를 잘 활용하지만, 중간에 있는 정보를 놓치기 쉽다(Liu et al., 2024). 이를 Lost in the Middle 효과라고 부른다.

프롬프트 구조를 생각해보자. 처음에는 "다음 문서를 요약해줘"라는 지시를 넣고, 중간에 수천 단어짜리 참고 문서를 넣고, 끝에 "특히 결론 부분을 강조해줘"라는 핵심 질문을 넣는다. 이때 중간에 있는 내용이 무시될 가능성이 높다. 그래서 중요한 정보는 프롬프트의 앞이나 뒤에 배치하는 것이 좋다.

 

 

프롬프트에서 하네스로 진화한 엔지니어링

최근에는 프롬프트 엔지니어링을 넘어서 하네스 엔지니어링이 중요하다.

프롬프트 엔지니어링은 좋은 질문을 작성하는 기술이다. "단계별로 생각해봐"처럼 프롬프트를 다듬어서 AI의 응답 품질을 높인다.

컨텍스트 엔지니어링은 한 단계 위다. 어떤 정보를 어떻게 제공할 것인지를 시스템 수준에서 설계한다. RAG(검색 증강 생성)로 관련 문서를 자동으로 찾아 넣어주거나, 대화 내용을 요약해서 컨텍스트 윈도우를 효율적으로 사용하는 것이 여기에 해당한다.

하네스 엔지니어링은 더 나아가 환경, 제약조건, 피드백 루프 전체를 설계하는 것이다. AI가 컨텍스트를 자동으로 구성하도록 프레임워크를 설계한다. 이것이 바로 AI 에이전트 시스템의 핵심이다.

 

---

4. AI 에이전트의 구조

에이전트란 무엇인가

AI 에이전트는 최근에 새롭게 나온 개념이 아니다. Russell & Norvig의 "AI : A Modern Approach"에서 AI 연구의 핵심 프레임워크로 다뤄지며, "환경을 인식하고 행동하는 존재(perceiving and acting)"로 정의된다. 컴퓨터 성능이 지금보다 훨씬 낮았던 시대부터 정리해 온 개념이다.

 

창발적 능력이 에이전트의 문을 열었다

LLM은 원래 다음 토큰(단어)를 예측하도록 훈련되었을 뿐이다. 그런데 모델 규모가 커지고 더 다양한 데이터를 사용하는 과정에서 Q&A, 코딩, 요약 등 의도하지 않은 능력들이 나타나기 시작했다. 이를 창발적 능력(emergent ability)이라고 부른다.

흥미로운 점은, 이 능력들은 점진적으로 향상된 것이 아니라 특정 규모의 임계점을 넘었을 때 갑자기 나타났다는 것이다. 작은 모델에서는 전혀 보이지 않던 능력이 모델 파라미터가 일정 수준을 넘는 순간 불연속적으로 출현한다. 이것이 "창발(emergence)"이라는 이름이 붙은 이유이다. 인터넷의 방대한 텍스트에는 질문과 답변, 코딩, 문서 요약 등 다양한 형식의 데이터가 자연스럽게 포함되어 있고, 모델이 충분히 커지면 이런 패턴들을 내재화하게 된 것이다.

이 창발적 능력이 LLM을 단순한 텍스트 생성기에서 에이전트의 "두뇌"로 격상시킨 핵심 요인이다.

 

 

LLM은 어떻게 에이전트가 되었나

LLM이 에이전트로 발전하는 과정은 단계적이었다.

2020년, GPT-3가 등장하면서 LLM이 인간의 언어를 이해하고 소통할 수 있다는 것이확인되었다. 별도의 추가 훈련 없이 프롬프트 안의 예시만으로 새로운 작업을 수행하는 few-shot learning 능력을 보여줬다.

2022년에는 두 가지 중요한 발전이 있었다. Chain-of-Thought(CoT) 프롬프팅으로 LLM에 단계별 추론 능력이 나타났고, ReAct 프레임워크가 추론과 도구 사용을 결합했다. "생각한 다음 행동한다"는 에이전트의 기본 구조가 형성된 것이다.

2023년에는 더 흥미로운 일이 벌어졌다. Toolformer는 LLM이 스스로 도구 사용법을 학습할 수 있음을 보여줬고, Voyager는 마인크래프트 에이전트가 새로운 스킬 코드를 자동으로 생성하고 축적하는 것을 시연했다. LLM이 주어진 도구를 사용하는 것을 넘어 직접 도구를 만들기 시작한 것이다.

같은 해, Self-Refine과 Reflexion은 자기발전 루프를 구현했다. 실행하고, 결과를 평가하고, 개선하는 과정을 스스로 반복한다. MemGPT는 LLM에 계층적 기억 관리 시스템을 도입하여, 무상태라는 LLM의 근본적 한계를 아키텍처 수준에서 우회했다.

정리하면 자연어 소통 -> 추론과 도구 사용 -> 도구 생성 -> 자기발전 -> 기억 관리로 이어지는 발전이다. 각 단계가 이전 단계를 해결하면서 진화한 것이다.

 

 

---

5. 현재 2026 AI 에이전트

생각하는 추론 모델의 등장

CoT(Chain-of-Thought)를 언급했는데, 2024년 이후 이것이 모델 자체에 내재화되기 시작했다. 프롬프트로 "단계별로 생각해봐"라고 유도하던 것을, 모델이 스스로 하게 된 것이다.

2024년 9월, OpenAI가 o1을 발표했다. 최초의 상용 "사고" 모델이다. 강화학습 기반으로 단계별 추론을 훈련받았다. 2025년 1월에는 DeepSeek이 R1을 공개했다. 671B 파라미터의 오픈소스(MIT) 모델인다, 지도학습 없이 순수 강화학습만으로 추론 능력을 획득했다는 점에서 충격을 줬다. 같은 달 Anthropic은 Claude 3.7 Sonnet에 Extended Thinking을 도입하여, 개발자가 모델의 사고 깊이를 조절할 수 있게 했다.

이 추론 모델들 덕분에 에이전트의 계획 수립과 판단 능력이 크게 향상되었다. 단순히 다음 토큰을 예측하는 것을 넘어, 문제를 깊이 생각하고 전략을 세울 수 있게 된 것이다.

 

문맥은 넓어지고 있다

문맥이 많을수록 예측이 정확해진다고 했는데, 컨텍스트 윈도우의 확장이 이를 직접적으로 뒷받침한다.

2023년 초만 해도 4K ~ 8K 토큰이 표준이었다. GPT-4가 32K를 지원한 것이 최대였다. 2024년 말에는 128K가 표준이 되었고 Gemini 1.5 Pro가 1M 토큰을 지원했다. 2026년 현재는 1M 토큰이 표준이 되었고, Llama 4 Scout은 10M 토큰까지 지원한다. 불과 3년 만에 컨텍스트 윈도우가 천 배 이상 늘어난 셈이다.

다만 Lost in the Middle 문제는 여전히 존재한다. 대부분의 모델이 공칭 컨텍스트 길이보다 30~40% 짧은 지점에서 성능 저하가 발생한다. 큰 창문을 달았다고 해서 창문 전체를 고르게 볼 수 있는 것은 아닌 셈이다.

 

표준 프로토콜 MCP와 A2A

에이전트가 실용적으로 쓰이려면 외부 도구와 연결되어야 한다. 그런데 모델이 N개, 도구가 M개이면 NxM 개의 연결을 만들어야 한다. 이 문제를 해결하기 위해 표준 프로토콜이 등장했다.

MCP(Model Context Protocol)는 2024년 11월 Anthropic이 발표한 것으로, AI와 외부 도구/데이터를 연결하는 범용 표준이다. JSON-RPC 2.0 기반의 클라이언트 서버 모델로, USB-C 처럼 하나의 규격으로 모든 연결을 해결하겠다는 아이디어다. 2025년 3월 OpenAI가 채택했고, 2025년에는 Linux Foundation에 기부되었다. 2026년 사실상의 업계 표준이 되었다.

A2A(Agent-to-Agent Protocol)는 2025년 4월 Google이 발표한 에이전트 간 통신 표준이다. Agent Card라는 것을 통해 에이전트가 자신의 능력을 공개하고, 서로 작업을 주고받을 수 있다.

둘의 관계를 정리하면 이렇다. MCP가 "에이전트 <-> 도구" 연결이라면 A2A는 "에이전트 <-> 에이전트" 연결이다. 경쟁이 아니라 상호보완 관계다. 이 프로토콜들은 강의에서 말한 "컨텍스트를 자동으로 구성하는 프레임워크 설계", 즉 하네스 엔지니어링의 산업 수준 구현이다.

 

 

OpenClaw와 Hermes Agent

Voyager(마인크래프트 AI 에이전트, 스킬 자동 생성)와 MemGPT(기억 관리)의 개념이 실제 제품으로 통합된 사례가 있다.

OpenClaw는 2025년 11월 "Clawdbot"이라는 이름으로 공개된 오픈소스 AI 에이전트 프레임워크다. GitHub에서 10만 개 이상의 스타를 받으며 급속히 성장했고, 상표 분쟁을 거쳐 2026년 1월 "OpenClaw"로 리브랜딩되었다. 핵심 설계 철학은 추론 엔진과 실행 레이어를 분리하는 것이다. Gateway라는 중앙 허브를 통해 WhatsApp, Discord, iMessage 등 다양한 메시징 플랫폼에 하나의 에이전트로 연결할 수 있다. Channel System, Gateway, Plugins/Skills, Agent Runtime, Memory/Knowlege, LLM Provider, Local Execution이라는 7개의 핵심 컴포넌트로 구성된다.

Hermes Agent는 NousResearch가 2026년 2월에 출시한 독립 에이전트 제품이다. Hermes 모델 시리즈의 발전을 거쳐 나온 것으로, 영속적 메모리, 자율 스킬 생성, 자기 개선 루프, 크로스채널 메시징을 핵심 특징으로 한다. 강의에서 별도의 연구로 소개된 개념들이 하나의 제품에 통합된 형태다.

 

에이전트 코딩 도구의 부상

LLM이 에이전트가 되어 가장 먼저 실용화된 분야가 코딩이다.

Claude Code는 Anthropic의 터미널 기반 에이전틱 어시스턴트로, 파일 읽기/쓰기, 명령 실행, 멀티스텝 작업을 자율적으로 수행한다. Cursor는 VS Code를 포크한 AI 네이티브 IDE로, 편집기의 모든 레이어에 AI가 통합되어 있다. GitHub Copilot은 가장 넓은 접근성과 무료 티어를 가진 IDE 플러그인이다. 2026년 JetBrains 조사에 따르면 시니어 개발자의 46%가 Claude Code를, 9%가 Copilot을 선택했다고 한다.

이 도구들은 단순히 코드를 자동 완성해주는 것이 아니다. 코드 베이스를 읽고, 버그를 찾고, 테스트를 작성하고, 리팩토링을 수행한다. 이미 에이전트가 스스로 도구를 만들고, 기억하고, 개선한다가 코딩 영역에서는 이미 현실화 되었다.

 

멀티 에이전트 시스템

에이전트 하나로 할 수 있는 일에는 한계가 있다. 그래서 여러 에이전트가 역할을 나눠서 협업하는 멀티에이전트 시스템도 등장했다.

LangGraph는 LangChain이 만든 그래프 기반 상태 머신으로, 엔터프라이즈 프로덕션 환경에서 가장 널리 쓰인다. CrewAI는 역할 기반으로 에이전트 크루를 구성하는 방식으로, 빠른 프로토타이핑에 강하다. Microsoft는 AutoGen과 Semantic Kernel을 2025년 10월에 통합하여 Agent Framework를 발표했다. Google은 ADK(Agent Development Kit)에서 루트 에이전트가 하위 에이전트에 재귀적으로 위임하는 계층적 구조를 제공한다.

이 프레임워크들은 A2A 프로토콜과 결합되어, 서로 다른 회사의 에이전트끼리도 표준화된 방식으로 협업할 수 있는 기반을 마련하고 있다.

 

6. 전체 흐름 정리

섀넌이 다음에 올 것을 예측한다라는 아이디어를 수학적으로 정리한 것이 1948년이다. 1970년대에 규칙 기반의 한계까 드러나면서 통계 기반으로 전환이 일어났고, 2003년 뉴럴 언어 모델, 2017년 트랜스포머를 거쳐 모델의 규모와 성능이 급격히 커졌다.

2022년 ChatGPT가 대중화되면서 창발적 능력이 발견되었고, 프롬프트 엔지니어링이 유행했다. 2023년에는 CoT, ReAct, Toolformer, Voyager 등이 등장하면서 LLM이 "에이전트"가 되기 시작했다. 2024~2025년에는 MCP, A2A 같은 표준 프로토콜과 메모리 시스템이 등장하면서 컨텍스트 엔지니어링과 하네스 엔지니어링의 시대가 열렸다. 2025~2026년에는 추론 모델(o1, R1, Extened Thinking)과 자율 에이전트(OpenClaw, Hermes Agent)가 등장했고, 에이전트끼리 협업하는 멀티에이전트 시스템이 부상하고 있다.

각 단계까 이전 단계의 불편함이나 한계를 해결하면서 진화한 것이다.

 

2023 년의 LLM과 2026년의 AI 에이전트는 무엇이 다른가

불과 3년 사이에 상당한 변화가 있었다.

2023년의 LLM은 단발성이거나 짧은 멀티턴 대화에 그쳤다. 도구를 사용할 수 없거나 기본적인 function calling 수준이었고, 기억은 컨텍스트 윈도우에 의존했다. 매단계마다 인간의 개입이 필요했고, 독점 API 위에서 텍스트 생성만 가능했다.

2026년의 AI 에이전트는 장기 세션과 영속적 상태를 유지한다. MCP를 통해 풍부한 도구 생태계에 접근하고, 단기와 장기 메모리를 계층적으로 관리한다. 멀티스텝 작업을 자율적으로 수행하면서 체크포인트를 남기고, 여러 에이전트가 A2A 프로토콜로 역할을 분담하며 협업한다. 셸 명령, 파일 I/O, 브라우저 자동화, 코드 실행까지 가능하다.

 

 

---

7. 최종 정리

이 글에서 다룬 내용을 정리하면 다음과 같다.

LLM의 본질은 "다음 토큰 예측"이다. 1948년 섀넌의 아이디어에서 출발한 이 원리는 변하지 않았다. AI는 확률적 시스템이어서 훈련도, 추론도 주사위를 굴린다. 같은 입력에도 다른 출력이 나오는 것은 버그가 아니라 본질이다.

LLM 자체는 무상태다. 기억처럼 보이는 것은 매번 컨텍스트를 주입하는 것이다. 이 한계를 이해해야 에이전트 아키텍처가 왜 필요한지 이해할 수 있다. 다음 토큰 예측만 훈련했는데 추론, 코딩, 도구 사용 능력이 갑자기 나타난 창발적 능력이 LLM을 에이전트의 두뇌로 만든 핵심이다.

프롬프트 엔지니어링에서 컨텍스트 엔지니어링, 하네스 엔지니어링으로 진화하고 있으며, MCP와 A2A 같은 표준이 이를 산업 수준에서 구현하고 있다.

인간의 역할은 여전히 핵심이다. 방향 설정, 판단, 직관은 아직 인간의 영역이다. AI를 잘 쓰려면 AI가 확률적 시스템이라는 본질을 이해하고, 컨텍스트를 설계하는 능력이 필요하다. LLM을 만드는 기술은 더 이상 비밀이 아니며, 코딩 AI의 발전 덕분에 직접 만들면서 배울 수 있는 시대가 되었다.

 

참고 문헌
- Anthropic. (2024.11). Introducing the Model Context Protocol
- Google. (2025.4). Agent-to-Agent Protocol
- OpenAI. (2025.3). Agents SDK & Responses API
- DeepSeek. (2025.1). DeepSeek-R1 Technical Report
- OpenClaw Documentation — docs.openclaw.ai
- NousResearch. (2026.2). Hermes Agent
- Anthropic. Context Engineering for AI Agents
- OpenAI. (2026). Harness Engineering