---
type: synthesis
date: 2026-05-29
author: jarvis
extends:
  - learning/2026-05-20-karpathy-llm-wiki.md
  - learning/2026-05-20-lecun-vs-llm-debate.md
  - learning/2026-05-20-pixels-as-llm-input.md
tags: [llm, architecture, karpathy, lecun, world-model]
---

# [Synthesis] LLM 구조 논쟁과 지식 활용 전략

<div class="tldr-box"><strong>TL;DR</strong> — Karpathy는 LLM을 지식 유지보수 도구로 재정의하고, LeCun은 언어 중심 LLM의 구조적 한계를 지적하며, Pixels-as-input은 토크나이저라는 병목을 우회한다. 세 관점 모두 "현재 LLM 아키텍처는 최종 형태가 아니다"는 신호를 공유한다.</div>

## 공통 메시지

세 파일을 관통하는 주제: **현재 LLM 아키텍처의 한계와 그 다음 방향**.

- Karpathy (Wiki): 대화가 휘발되는 문제 → LLM을 지식 큐레이터로 재활용
- LeCun (Debate): 언어만으론 부족 → World Model 기반 구조가 필요
- Pixels (Architecture): 토크나이저 자체가 병목 → 이미지 입력으로 우회

공통 신호: 언어 토큰 중심 파이프라인에 대한 근본적 의문.

## 소스 파일 요약

### [학습] Karpathy — LLM을 위키 유지보수자로 쓰기

> `learning/2026-05-20-karpathy-llm-wiki.md`

LLM을 검색 도구가 아닌 **지식 유지보수 담당자**로 쓴다. 사람이 소스를 큐레이션하고 방향을 잡으면, LLM이 관련 페이지 10-15개를 동시에 업데이트한다. 대화가 사라지지 않고 지식으로 남는다.

### [학습] LeCun vs LLM 구조 논쟁

> `learning/2026-05-20-lecun-vs-llm-debate.md`

LeCun은 "현재 LLM은 언어에만 집중하고 있어서 진정한 지능이 될 수 없다"고 주장한다. 언어가 아닌 **세계를 이해하고 예측하는 구조(World Model)**가 있어야 한다. 이 논쟁이 LLM 이후 타이밍을 잡는 전략적 신호가 될 수 있다.

### [학습] Pixels as LLM Input — 토크나이저 우회

> `learning/2026-05-20-pixels-as-llm-input.md`

텍스트를 이미지로 렌더링해서 LLM에 넣는 것이 토큰 기반 입력보다 효율적이고 강력할 수 있다. 토크나이저는 없어져야 할 레거시다.

## 참고

- 소스 파일들은 각각 `extends: synthesis/2026-05-29-llm-architecture-debate.md` 링크를 포함합니다.