와튼 1,372명 실험이 알려준 것 — AI 시대에 엔지니어가 지켜야 할 마지막 자리, 바깥 꼬리(Outer Loop)

출처: The Wharton 1,372-Person Experiment: A Former Google Engineer on "The Role Remaining for Humans..." · 러닝타임 11분 55초

"에이전트가 확인할 수 있는 양보다 많이 만들어내는 시대다. 그럼 사람은 어디에 남아야 하는가. 답은 안쪽 꼬리(inner loop)가 아니라 바깥 꼬리(outer loop)에 있다. 판단과 책임, 그리고 증거를 요구하는 자리." — Addy Osmani, 前 Google Chrome 14년차·Gemini 개발자 경험 총괄
이 리포트에서 다루는 내용
  1. 와튼 1,372명 실험 — AI가 틀렸을 때 사람이 어떻게 행동했는가
  2. SonarSource 2026: 커밋 코드의 42%가 AI, 2027년 65% 예측
  3. Alpha와 Decay — 내 강점과, 그 강점의 반감기
  4. 취향(taste)도 알파다 — 그리고 알파는 반감기가 있다
  5. 피해야 할 세 가지 함정 (1) 인지 부채
  6. 피해야 할 세 가지 함정 (2) 인지적 항복
  7. 피해야 할 세 가지 함정 (3) 오케스트레이션 세금
  8. Delegation vs Surrender — 위임과 항복의 결정적 차이
  9. 스킬의 반감기는 모델 릴리스 1회, 서명(signature)의 반감기는 커리어 전체
  10. Agency Ladder — 문제 신고에서 판별력까지 5단계
  11. Inner Loop는 능력, Outer Loop는 판단
  12. 경계선은 "사람이 화면을 보느냐"가 아니라 "증거와 책임"
  13. Jevons 역설 — 만들기 싸질수록 소프트웨어 수요는 오히려 늘어난다

1. 와튼 1,372명 실험 — 사람은 왜 틀린 답도 확신하는가 (00:00~00:30)

[IMG_1]

와튼 스쿨이 1,372명을 대상으로 진행한 실험이 있다. AI에게 판단을 물었을 때 사람들이 어떻게 반응하는지 관찰한 조사다. 결과가 이상했다.

  • AI가 틀린 답을 줬을 때도 73%가 그대로 받아들였다.
  • 더 이상한 것은, AI 없이 혼자 판단할 때보다 오히려 더 확신했다는 점이다.
"실패 모드는 AI를 쓰는 것 자체가 아니라, 그 답에서 빌린 확신(borrowed confidence)을 자기 것처럼 삼는 것이다." — Addy Osmani

이 숫자를 꺼낸 사람은 Addy Osmani다. Google에서 14년 있으면서 Chrome DevTools 팀을 이끌었고, Core Web Vitals를 공동 주도했고, 마지막엔 Google Cloud AI 디렉터로 Gemini 개발자 경험을 총괄한 인물이다. 그가 AI Engineer World's Fair 2026 클로징 키노트에서 발표한 제목은 "Own the Outer Loop — 바깥 꼬리를 소유하라"였다.

2. 코드는 이미 절반이 AI다 — 확인은 아직 사람 몫이다 (00:41~01:15)

[IMG_2]

SonarSource가 2026년에 낸 State of Code 리포트가 지금 어디까지 왔는지 보여준다.

연도커밋된 코드 중 AI 산출물 비율
2023약 6%
2026 (현재)42% — 3년 만에 7배
2027 (예측)65%

Addy가 지적하는 함정은 이 수치의 이면이다. 만드는(코드 생성) 비용은 계속 내려가고 있지만, 확인(verify)하는 비용은 그대로다. 96%의 개발자가 자기 팀이 만든 코드를 완전히 신뢰하지 못한다고 답했는데, 실제로 커밋 전에 항상 검증하는 사람은 절반뿐이다. 불신은 있는데 대역폭이 없는 위험한 상태다.

"안전은 검증(verification)을 더 싸고, 더 명확하고, 사람이 건너뛰기 힘들게 만드는 데서 온다." — Addy Osmani

3. Alpha와 Decay — 강점과 그 반감기 (02:47~04:00)

[IMG_3]

Addy는 사람이 남아야 할 자리를 설명하기 위해 두 개의 용어를 도입한다.

  • Alpha — 지금 모델이 할 수 있는 것보다 내가 의미 있게 더 나은 지점. 쉽게 말해 내 강점.
  • Decay — 그 격차를 모델이 따라잡는 속도. 내 강점에 걸린 시계.

이 프레임의 핵심은 이렇다. 알파(강점)만 보면 안 된다. 그 강점의 반감기까지 함께 계산해야 한다. 예를 들어 "빠른 코딩 속도"가 강점이었다면 코드 생성 능력이 빠르게 상승하는 지금 그 알파의 시계는 이미 다 됐다. "기억력"이나 "검증 능력"도 마찬가지로, harness에 memory가 붙고 static check가 붙으면서 이미 넘어간 영역이다.

4. 취향(Taste)도 알파다 — 그리고 반감기가 있다 (03:01~04:20)

[IMG_4]

요즘 많은 사람이 "취향(taste)"을 이야기한다. 아무나 열 개를 만들어낼 수 있는 시대에는 그중 뭐가 존재할 자격이 있는지 고르는 능력이 희소해지기 때문이다. Addy도 이 주장에 동의한다. 다만 그가 덧붙이는 한마디가 결정적이다.

"취향은 영원한 해자(moat)가 아니다. 그것도 알파다. 알파에는 시계가 걸려 있다. 취향은 다른 것보다 훨씬 천천히 감쇠하지만, 결국 모델이 예시와 선호로부터 학습하면서 초기화된다." — Addy Osmani

속도가 감쇠했고, 기억력이 감쇠했고, 검증이 감쇠했다. 취향도 예외가 아니다. 판단(judgment)조차 벽이 아니라 기울기(slope)다. 그래서 전략은 하나의 능력에 매달리는 게 아니라 edge를 계속 한 단계 위로 옮기는 것이다.

5. 피해야 할 함정 (1) 인지 부채 (Cognitive Debt) (05:00~06:30)

[IMG_5]

Addy는 AI를 쓰면서 조용히 새는 세 가지를 지목한다. 첫 번째는 인지 부채(cognitive debt)다. 정의는 다음과 같다. 레포에 존재하는 코드의 양과, 그 팀에서 그 코드를 실제로 이해하는 사람의 양 사이의 간극.

테스트가 통과하고 PR이 머지될 수 있어도, 그 시스템을 프로덕션으로 보내는 팀이 그 시스템을 설명할 수 있는 능력은 사라질 수 있다. 30초 만에 끝나는 에이전트 실행은 인터랙션처럼 느껴지지만, 한 시간이나 하루짜리 작업은 워크스트림이다. 이 워크스트림을 병렬로 여러 개 돌리기 시작하면, 끝날 때 한 번 슬쩍 보는 것으로는 리뷰가 성립하지 않는다. 리뷰가 하나의 통제 시스템이 되어야 한다.

6. 피해야 할 함정 (2) 인지적 항복 (Cognitive Surrender) (06:23~07:00)

[IMG_6]

두 번째 함정은 인지적 항복(cognitive surrender). AI 답변을 자기가 아무 의견을 형성하기 전에 그대로 자기 답으로 삼는 것이다. Addy는 위임(delegation)과 항복(surrender)을 아주 명확히 구분한다.

Delegation (위임)Surrender (항복)
"이 일 해와. 판단할 수 있는 증거를 함께 가져와.""내가 아직 아무 판단도 못한 상태에서 네 답이 곧 내 답."
결과에 대한 판단은 여전히 내가 한다.판단력 자체를 넘겨준다.

와튼 실험의 73%가 정확히 이 항복 상태다. AI가 틀렸을 때도 그 답을 자기 답으로 삼고, 오히려 더 확신했다.

7. 피해야 할 함정 (3) 오케스트레이션 세금 (Orchestration Tax) (07:00~07:53)

[IMG_7]

세 번째는 오케스트레이션 세금. Addy가 Bay Area에서 관찰한 풍경이 있다. 노트북을 열고 다니면서 "클라우드 에이전트 100개, 1,000개를 돌리고 있다"고 자랑하는 사람들. 문제는 에이전트를 더 많이 돌린다고 내가 더 많아지는 게 아니라는 점이다.

"당신의 인지 대역폭은 병렬화되지 않는다. 매 루프마다 결정을 라우팅하고 머지하고 검증하고 통합해야 하는 부담이 늘어난다. 해법은 에이전트 수를 줄이는 게 아니라 당신의 주의를 하나의 시스템처럼 다루는 것이다." — Addy Osmani

세 가지 함정에 공통점이 있다. 결과물은 남는데 내 판단력이 깎인다. 그리고 그럴수록 "책임"이라는 단어가 무거워진다. 에이전트에게 떠넘기고 숨고 싶어진다.

8. 스킬의 반감기 vs 서명의 반감기 (08:00~08:30)

[IMG_8]

Addy는 여기서 방향을 뒤집는다. 책임은 에이전트가 충분히 좋아진 다음에 남는 찌꺼기가 아니다. 나머지 전부를 확장시키는 조건이다. 이 뒤집기에서 커리어 계산이 하나 나온다.

  • 스킬(skill)의 반감기 = 모델 릴리스 1회. 속도든 기억력이든 검증이든, 프론티어가 움직이면 같이 움직인다.
  • 서명(signature)의 반감기 = 커리어 전체. 서명은 결과물에 붙는 이름이다. 내가 내보낸 것 뒤에 있는 사람, 팀, 조직.
"스킬은 레버리지를 벌고, 책임은 그 레버리지를 신뢰로 바꾼다." — Addy Osmani

9. Execution ≠ Responsibility (08:27~09:00)

[IMG_9]

Addy가 명확히 긋는 선이 있다. 에이전트는 라우팅할 수 있고, 머지할 수 있고, 에스컬레이션할 수 있고, 정책 안에서 운영될 수 있다. 실제로 많은 시스템에서 그렇게 해야 한다. 하지만 실행(execution)과 책임(responsibility)은 완전히 다른 것이다.

"에이전트는 당신의 런북(runbook)을 따라갈 수 있다. 하지만 결과를 상속받을 수는 없다. 뭔가 실패했을 때 질문은 이렇다. 누가 정책을 이해했는가. 누가 리스크를 수용했는가. 누가 폭발 반경(blast radius)을 소유했는가." — Addy Osmani

10. Agency Ladder — 판별력이 정점이다 (08:53~09:53)

[IMG_10]

Addy가 요즘 채용에서 자주 쓰는 단어가 High Agency다. 정의는 이렇다. 내 결과에 능동적으로 오너십을 갖는 것. 언제 위임할지, 언제 검토할지, 언제 멈출지, 언제 결과에 이름을 걸 지를 아는 능력.

그는 Agency Ladder라는 5단계 사다리를 제시한다.

  1. Flag — 문제를 신고하고 시스템에 두고 간다.
  2. Execute — 실행한다.
  3. Diagnose — 원인을 진단한다.
  4. Propose & Recommend & Resolve — 제안하고, 권장하고, 해결한다.
  5. Discern (판별) — 이 문제가 투자할 가치가 있는지를 결정한다. 아닌 경우 넘어간다.
"에이전트가 더 많은 경로를 가능하게 만들 때, 오너십은 모든 경로를 쫓는 게 아니다. 어떤 경로가 당신의 오너십과 주의를 받을 자격이 있는지 결정하는 것이다." — Addy Osmani

11. Inner Loop는 능력, Outer Loop는 판단 (09:53~10:52)

[IMG_11]

Addy가 운영 모델로 정리하는 그림은 이렇다.

Inner LoopOuter Loop
Investigate · Implement · Test · ReportDecide · Verify · Approve · Own
능력(capability)오너십·판단(agency)
에이전트가 점점 더 많이 담당.여전히 엔지니어링. 사람의 영역.

Addy가 특히 강조하는 경계선이 있다.

"경계는 '사람이 AI 아웃풋을 들여다보느냐'가 아니다. 경계는 증거(evidence)와 책임(responsibility)이다. 에이전트는 diff, tests, logs, traces, screenshots를 증거로 반환한다. 엔지니어링은 그 뒤에 시작된다. 그 작업이 할 가치가 있었는지, 증거가 충분한지, 승인하거나 방향을 바꾸거나 프로덕션에 도달한 것을 소유하는가." — Addy Osmani

12. 규칙 한 줄로 설명 못 하면 내보내지 않는다 (11:00~11:29)

[IMG_12]

Addy가 정리로 제시한 다섯 개 원칙 중 가장 강한 것이 이것이다. 규칙 한 줄로 설명할 수 없으면 내보내지 않는다. 위임이 성립하려면 위임한 사람이 그 결과물의 규칙과 제약을 한 줄로 요약할 수 있어야 한다. 그것이 안 되는 상태에서 통과된 코드는 이미 그 사람의 서명 아래 있지 않다.

다섯 개 원칙을 하나씩 정리하면:

  1. 만드는 비용은 계속 내려가는데 확인하는 비용은 그대로다.
  2. 영향력만 있으면 알파는 사라진다. 취향도 예외가 아니다.
  3. 에이전트를 쓸수록 세 가지가 조용히 샌다. 인지 부채, 인지적 항복, 오케스트레이션 세금.
  4. 안쪽 꼬리는 능력, 바깥 꼬리는 판단과 책임. 경계는 사람이 화면을 보는 것이 아니라 증거와 책임이다.
  5. 규칙 한 줄로 설명할 수 없으면 내보내지 않는다.

13. Jevons 역설 — 만들기 싸질수록 수요는 늘어난다 (11:29~11:55)

[IMG_13]

Addy가 마지막에 남기는 위로가 이것이다. 소프트웨어를 만들기 쉬워질 때마다 사람들은 세상이 소프트웨어를 덜 필요로 할 거라고 예측했다. 고급 언어가 나왔을 때. 프레임워크가 나왔을 때. 클라우드가 나왔을 때. 로우코드가 나왔을 때. 매번 반대로 갔다. 비용이 내려가니까 그동안 만들 엄두를 못 냈던 것들이 쏟아져 나왔다.

"에이전트도 같은 일을 할 것이다. 엔지니어링을 없애는 게 아니라, 병목을 옮기는 것이다. '이걸 만들 수 있나'에서 '이게 존재해야 하나, 그리고 우리가 그걸 책임질 수 있나'로." — Addy Osmani

사람이 남아야 할 자리는 결국 그 물음이다. "만들 수 있느냐"에서 "존재해야 하느냐, 책임질 수 있느냐"로. 그리고 그 자리를 지키는 것이 바로 바깥 꼬리(outer loop)를 소유하는 것이다.

핵심 요약 & 액션 체크리스트

한 줄 요약

AI가 코드 생성의 42%를 담당하는 시대에 사람이 남아야 할 자리는 안쪽 꼬리(실행·능력)가 아니라 바깥 꼬리(판단·책임)다. 강점(alpha)은 반감기가 있고 취향조차 예외가 아니다. 스킬은 모델 릴리스 1회면 바뀌지만, 결과에 붙는 서명(signature)은 커리어 전체 반감기를 갖는다.

  • ☑ 와튼 실험을 기억하라. AI가 틀렸을 때 73%가 그대로 받아들이고 오히려 더 확신한다.
  • ☑ Delegation과 Surrender를 구분하라. "이 일 해와, 증거를 함께 가져와"는 위임. "네 답이 내 답"은 항복.
  • ☑ 내 알파를 목록화하고 각각의 반감기를 계산하라. 속도·기억력·검증은 대부분 감쇠 완료. 취향도 예외가 아니다.
  • ☑ Edge를 한 단계씩 위로 옮겨라. 특정 능력에 매달리지 말 것.
  • ☑ 인지 부채 방지. 시스템을 설명할 수 있는 사람이 팀에 항상 있어야 한다.
  • ☑ 인지적 항복 방지. AI 답변을 보기 전에 자기 가설을 먼저 세울 것.
  • ☑ 오케스트레이션 세금 방지. 에이전트 수를 늘리는 대신 자기 주의를 시스템으로 다룰 것.
  • ☑ 스킬은 반감기 1회, 서명은 커리어 전체. 서명 위에 시간을 투자하라.
  • ☑ Execution ≠ Responsibility. 에이전트가 실행해도 폭발 반경은 사람이 소유한다.
  • ☑ Agency Ladder 정점은 판별력(discernment). 어떤 경로가 오너십을 받을 자격이 있는지 결정하라.
  • ☑ Outer Loop = Decide · Verify · Approve · Own. 사람의 자리는 이 네 단어에 있다.
  • ☑ 경계는 증거와 책임. AI가 반환한 diff/tests/logs를 검증하는 능력을 시스템화하라.
  • ☑ 규칙 한 줄로 설명할 수 없으면 내보내지 마라. 위임의 최소 조건이다.

본 리포트는 유튜브 원본 영상을 요약·정리한 것이며, 이미지 캡처는 학습·비평 목적입니다. 원본 발표: Addy Osmani, AI Engineer World's Fair 2026 클로징 키노트