AI 코딩 도구 쓰면 19% 느려진다는 연구, 실제 어떻게 된 건가

AI 코딩 도구를 쓰면 생산성이 오른다는 말, 개발자라면 한 번쯤은 들어봤을 거다. 나도 그렇게 믿었다. GitHub Copilot을 처음 썼을 때, 코드가 알아서 완성되는 걸 보면서 '이제 진짜 빨라지겠구나' 싶었거든. 근데 최근 무작위 대조 실험 결과를 보고 생각이 좀 바뀌었다.

AI 코딩 도구, 빠르게 만든다고 다들 믿는다

DORA 2025 보고서에 따르면, 개발자의 80% 이상이 AI 도구가 자신의 생산성을 높인다고 믿는다. 수치만 보면 당연한 말처럼 들린다. McKinsey가 4,500명을 대상으로 한 2026년 2월 조사에서도 AI 코딩 도구가 루틴 코딩 시간을 평균 46% 단축시킨다는 결과가 나왔다.

루틴 업무에서 AI 효과는 실제다. 반복되는 보일러플레이트, 간단한 CRUD, 정형화된 테스트 코드 작성에서 AI는 확실히 빠르다. 나도 타입 정의나 API 명세서 작성할 때는 AI 없이 못 하겠다 싶을 정도로 쓴다. 이전에 AI 코딩 도구 실제 사용 현황을 다룬 글에서도 도구별로 어떤 업무에 강한지 정리한 적이 있는데, 그게 맥락이 있는 얘기다.

근데 문제는 루틴 업무와 복잡한 업무를 구분 안 하고 "AI 쓰면 다 빨라진다"고 믿는 데서 생긴다.

그런데 METR가 실제로 측정해봤더니 달랐다

무작위 대조 실험이라는 방법론이 중요한 이유

대부분의 "AI 생산성 연구"는 개발자 자신에게 묻는 설문 방식이다. 얼마나 빠르다고 느끼는지를 조사한다. METR의 연구는 달랐다. 무작위로 그룹을 나눠서 AI 사용 그룹과 비사용 그룹이 같은 실제 오픈소스 이슈를 처리하는 시간을 측정했다. 설문이 아닌 실제 측정값이다.

숙련 개발자는 AI 쓸 때 19% 더 느려졌다

결과가 좀 충격적이었다. AI 도구를 허용한 그룹의 숙련 개발자들이 같은 이슈를 처리하는 데 19% 더 오래 걸렸다. IBM Think가 이 논문을 소개하며 인용한 구절이 이렇다: "AI 도구를 허용했을 때 이슈 처리에 19% 더 오래 걸렸고, 이는 개발자의 믿음과 전문가 예측 모두와 반대되는 결과다."

자신은 20% 빠르다고 느꼈다는 게 핵심이다

더 흥미로운 건 인식의 격차다. 같은 실험에서 개발자들은 AI 덕분에 자신이 20% 더 빨라졌다고 느꼈다. 실제로는 19% 느려졌는데 말이다. 인식과 현실 사이 43포인트 격차. 뭔가 잘못되고 있다는 신호다.

왜 이런 일이 벌어지는 건가

AI 코드는 검토 시간이 더 든다

직접 짠 코드는 내가 모든 맥락을 안다. 어디가 약하고, 어디에 임시 처리가 들어갔는지. AI가 짠 코드는 겉보기엔 완성돼 보이지만, 속을 파악하는 데 시간이 든다. ALM Corp 조사에서 개발자의 66%가 "AI가 생성한 코드 디버깅이 예상보다 오래 걸린다"고 응답했다. 그냥 느낌이 아니라, 실제 경험이 그렇다는 거다.

나도 비슷한 경험이 있다. Claude로 상태 관리 로직을 생성했는데, 코드 자체는 맞는데 우리 앱의 특정 엣지 케이스를 처리 안 하고 있었다. 내가 직접 짰으면 그 케이스를 자연스럽게 고려했을 텐데, AI 코드를 읽고 파악하고 고치는 데 결국 더 오래 걸렸다.

AI PR이 수동 PR보다 이슈 1.7배 많다

Techstack의 AI State Report 2026에 따르면, AI가 생성한 PR은 수동으로 작성한 PR 대비 1.7배 더 많은 이슈를 포함한다. 빠르게 코드를 만들어내지만, 품질 면에서는 검토가 더 필요하다는 뜻이다. 이전에 바이브 코딩 툴을 비교하면서 느꼈던 것도 비슷한 맥락이었다. 속도는 빠른데, 결과물을 믿고 배포하기엔 손이 더 간다.

그럼 AI 코딩 도구를 언제 써야 하나

결론이 "AI 쓰지 마라"는 얘기가 아니다. 루틴 작업에서 AI는 확실히 효과적이다. 보일러플레이트, 단순 API 연동, 테스트 코드 스캐폴딩, 문서화. 이런 건 AI가 훨씬 빠르다.

문제는 복잡한 비즈니스 로직, 성능에 민감한 쿼리 최적화, 복잡한 상태 관리처럼 맥락이 깊이 들어가는 작업이다. 여기선 AI가 짜준 코드를 이해하고 검증하는 데 드는 시간이 직접 짜는 것보다 더 걸릴 수 있다. 경험이 쌓일수록 이 구분이 더 명확해진다.

진짜 실력은 AI에게 무엇을 맡기고 무엇을 직접 할지 구분하는 데 있다. 도구가 만들어주는 결과물을 맹목적으로 받아들이면, 디버깅이 늘고 코드 이해도가 떨어진다. AI를 쓰면서도 코드를 이해하는 능력을 유지하는 게 지금 시점에서 가장 중요한 개발자 역량이라고 생각한다.

한 가지 솔직히 말하면, 이게 쉽지 않다. AI가 다 짜주는데 직접 쓰는 습관을 유지하려면 의식적인 노력이 필요하다. 그게 이 도구들의 숨겨진 비용이다.

---

📎 참고 자료

• Does AI really make coding faster? — IBM Think
• AI in Software Development 2026: Verified Productivity Data — ALM Corp
• State of AI Report 2026: Vibe Coding Works. Until It Doesn't — Techstack

---

📌 함께 보면 좋은 글

• Ollama 0.19 MLX 전환 후기, 맥북 로컬 AI가 이렇게 달라졌다
• OpenClaw claude-cli 빌트인 백엔드 설정법, 텔레그램 스트리밍 패치까지
• MCP 서버 1만 개 중에 결국 남은 건 3개였다