DeepSeek-OCR: Contexts Optical Compression for LLMs

10배 압축, 97% 정확도: LLM의 '기억력 한계'를 돌파할 새로운 아이디어

ChatGPT와 같은 대규모 언어 모델(LLM)과 긴 대화를 나누다 보면, 모델이 대화 초반의 내용을 잊어버리는 경험을 해보신 적이 있나요? 이는 LLM이 한 번에 처리할 수 있는 텍스트의 양, 즉 '컨텍스트 창(Context Window)'에 한계가 있기 때문입니다. 근본적인 원인은 LLM의 '이차 스케일링(quadratic scaling)' 문제에 있습니다. 이는 처리할 텍스트의 길이가 두 배로 늘어나면, 필요한 계산량은 네 배로 증가한다는 의미입니다. 대화가 길어질수록 연산 부담이 눈덩이처럼 불어나는 것이죠.

이 고질적인 문제를 해결하기 위해, 아주 놀랍고 역발상적인 아이디어가 등장했습니다. 바로 긴 텍스트를 압축된 이미지로 변환하여 AI가 처리하도록 하는 것입니다. 텍스트를 이미지로 바꾼다니, 언뜻 비효율적으로 들릴 수 있지만, 여기에는 LLM의 구조적 한계를 돌파할 수 있는 핵심적인 원리가 숨어 있습니다.

최근 발표된 'DeepSeek-OCR' 논문은 이 새로운 접근법의 놀라운 가능성을 구체적인 수치로 증명하고 있습니다. 이 글에서는 해당 논문의 가장 중요한 핵심 내용만을 뽑아, 누구나 이해하기 쉽게 정리해 드립니다.

--------------------------------------------------------------------------------

1. 텍스트를 이미지로 바꿔 처리한다고? 역발상의 시작

'광학적 컨텍스트 압축(Optical Context Compression)'이라고 불리는 이 아이디어의 핵심은 간단합니다. LLM은 텍스트를 처리할 때 '텍스트 토큰'이라는 단위로 정보를 받아들입니다. 하지만 텍스트가 길어지면 이 토큰의 수가 급격히 늘어나고, 모델의 연산 부담은 제곱으로 증가하는 '이차 스케일링(quadratic scaling)' 문제에 직면합니다.

여기서 역발상이 시작됩니다. 만약 긴 텍스트를 하나의 문서 이미지로 렌더링한다면 어떨까요? AI는 이 이미지를 훨씬 적은 수의 '비전 토큰(vision token)'으로 인식할 수 있습니다. 예를 들어, 700개의 '텍스트 토큰'으로 이루어진 문단 전체를 단 64개의 '비전 토큰'으로 표현할 수 있게 되는 것입니다. 10배가 넘는 압축률을 통해 LLM의 연산 부담을 획기적으로 줄여 컨텍스트 처리의 한계를 극복할 잠재력을 열어줍니다.

--------------------------------------------------------------------------------

2. 10배 압축, 97% 정확도: 숫자로 증명된 효율성

이러한 아이디어가 그저 이론에 그치지 않는다는 점이 중요합니다. DeepSeek-OCR 모델은 실험을 통해 압도적인 효율성을 숫자로 증명했습니다.

논문에 따르면, 텍스트 토큰의 수를 비전 토큰의 수보다 10배까지 압축했을 때(압축률 10배), 원본 텍스트를 약 97%의 정밀도로 복원하는 데 성공했습니다. 논문의 벤치마크 테스트(Table 2)에 따르면, 600700개의 텍스트 토큰으로 구성된 문서를 약 10.5배 압축했을 때 96.5%의 정밀도를, 700800개 토큰 문서를 약 11.8배 압축했을 때는 93.8%의 정밀도를 기록했습니다. 압축률을 10배 이내로 유지할 경우, 모델은 약 97%에 달하는 높은 복원 정밀도를 안정적으로 보여주었습니다.

더 놀라운 점은 압축률을 20배까지 높였을 때도 약 60%의 정확도를 유지했다는 사실입니다. 이는 모델이 극단적인 압축 환경에서도 핵심 정보를 상당 부분 유지할 수 있음을 보여줍니다.

실험에 따르면, 텍스트 토큰의 수가 비전 토큰 수의 10배 이내일 때(즉, 압축률 < 10배), 모델은 97%의 디코딩(OCR) 정밀도를 달성할 수 있습니다.

--------------------------------------------------------------------------------

3. 더 적은 자원으로 더 나은 성능을 내다

DeepSeek-OCR은 단순히 압축률만 높은 실험적 모델이 아닙니다. 실용적인 측면에서도 이미 기존의 최고 성능 모델들을 능가하는 효율성을 보여주었습니다.

논문의 성능 비교에 따르면 DeepSeek-OCR은 다음과 같은 성과를 거두었습니다.

• GOT-OCR2.0 초과: 페이지당 256개의 비전 토큰을 사용하는 GOT-OCR2.0 모델의 성능을 단 100개의 비전 토큰만으로 능가했습니다.
• MinerU2.0 능가: 페이지당 평균 6,000개 이상의 비전 토큰을 사용하는 MinerU2.0보다 800개 미만의 비전 토큰으로 더 나은 성능을 보였습니다.

이러한 결과는 DeepSeek-OCR이 훨씬 적은 계산 자원으로 더 높은 성능을 달성할 수 있음을 의미합니다. 이러한 효율성은 연구 단계를 넘어 실제 프로덕션 환경에서도 증명됩니다. 논문에 따르면 DeepSeek-OCR은 단일 A100 GPU 한 대로 하루에 20만 페이지가 넘는 텍스트 데이터를 생성할 수 있어, LLM 학습 데이터 구축에 즉시 투입될 수 있는 실용성까지 갖추었습니다.

--------------------------------------------------------------------------------

4. AI에게 '인간적인 망각'을 가르치다

이 연구는 여기서 한 걸음 더 나아가 AI의 '기억'에 대한 철학적인 질문을 던집니다. 논문은 광학적 압축 메커니즘을 인간의 기억 방식에 비유합니다. 인간의 기억이 시간이 지날수록 세부 사항은 흐릿해지고 핵심만 남는 것처럼, AI의 대화 기록도 비슷한 방식으로 처리할 수 있다는 것입니다.

예를 들어, AI와의 대화에서 가장 최근의 내용은 고해상도 이미지로 선명하게 유지하고, 오래된 대화 내용은 점차 저해상도 이미지로 변환하여 압축률을 높이는 방식입니다. 이렇게 하면 최근 정보는 정확하게 기억하면서도, 오래된 정보는 적은 자원만으로 보관하는 '망각 메커니즘'을 구현할 수 있습니다.

이는 마치 인간이 중요한 기억의 정수는 남겨두고 불필요한 세부사항을 자연스럽게 잊는 것처럼, AI에게도 효율적인 '망각'의 능력을 부여하는 셈입니다. 정보의 가치에 따라 기억의 선명도를 조절함으로써, 이론상 무한한 컨텍스트를 다루면서도 현실적인 계산 자원의 한계를 극복할 새로운 길을 제시하는 것입니다.

--------------------------------------------------------------------------------

Conclusion

'광학적 컨텍스트 압축'은 대규모 언어 모델이 직면한 긴 컨텍스트 처리 문제를 해결하기 위한 창의적이고 유망한 새로운 방향입니다. 텍스트를 이미지로 변환한다는 단순하지만 강력한 아이디어는 AI의 기억력 한계를 돌파하고, 더 효율적이고 강력한 모델을 만드는 데 중요한 열쇠가 될 수 있습니다.

미래의 AI가 방대한 문서를 기억하는 방식이 텍스트가 아닌 이미지에 기반하게 될까요?