기록의 파편화를 세컨드 브레인에 LLM을 붙여 해결하기 - 컨텍스트 단편화와 메모리 단편화(fragmentation)

 

기록의 파편화를 겪은 배경

LLM 시대에 맥락이 너무 파편적이다 → OS에서 메모리 단편화를 어떻게 해결할까? 이를 연결지을 수 있지 않을까? 라는 글감이 떠올랐다.

이전 기록을 찾아보니 2024년 초에 내가 기록해두었던 “기록의 파편화” 라는 제목의 짧은 글이 있었다.

이 당시에는 “세컨드 브레인”이라는 용어를 필두로 옵시디언과 노션을 활용해서 많이, 자주, 다양한 분야를 기록하고 엮어두는 것이 유행이었고 해보았었다.

그런데 오히려 기록할 곳이 너무 많고 다양해지다보니 기록이 파편화되고, 이를 어떻게 해결해야 할지 고민이 많이 되는 상황이었다. 결국 도메인 별로, 주제 별로 플랫폼을 다르게 쓰는 것으로 해결했다.

주로 옵시디언은 학교 수업들과 과제 위주로 체계화해서 정리했고 네이버 mybox로 동기화 시켰다. notion은 주로 그때 그때 떠오르는 발상들과 매일매일의 TODO, 회고를 정리해두는 방향으로 썼다.

옵시디언이 초기에 유명해진 이유도 그래프 형태로 쉽게 보여주는 연결성 덕이 아니었던가 싶어 여기에 notion 링크를 삽입해서 백링크와 링크를 연결해보는 것도 했었다. 사람이 일일이 할 것이 못 되어 그만두긴 했지만..

 

기록들과 연결된 LLM 맛보기 - AI를 통해 지속 개선하는 루프를 타자

21년도부터 노션에 기록하기 시작했으니 벌써 5년치 기록이 쌓였고, 이전 기록들도 정리를 해야 하는데 아무래도 손이 잘 안 가게 되어 이걸 어떻게 해결할까 싶어 고민하던 차에 회사에서 노션 AI를 아주 야무지게 썼던 것이 떠올라 노션 AI에 다 던져봤다.

현재 정리된 상황이 어떤지, 부족한 것이 어떤지, 앞으로 어떻게 정리하면 좋을지를 생각보다 자세하게 평가하고 알려줘서 놀라웠다. 실제 답변은 아래와 같다.

📊 현재 습관 분석
✅ 잘하고 있는 것
1. 기록의 양과 솔직함이 뛰어남
2. 회의 내용을 맥락과 함께 기록
3. 체크박스 활용으로 완료/미완료 추적

🟡 개선이 필요한 부분
1. "일지"와 "할 일"과 "메모"가 한 페이지에 전부 섞여 있음
2. 미완료 TODO가 과거 주차에 묻혀서 사라짐
3. 우선순위 표시가 없음
4. 개인 생활과 업무가 한 스트림에 섞여 있음

## 🎯 핵심 한 줄 요약
"기록력은 상위 1%인데, 기록을 '다시 꺼내 쓰는 구조'가 없다."

이를 바탕으로 claude cowork나 openclaw 등을 이용해 notion과 obsidian을 연결해두고 주기적으로 정리하거나 회고하는 습관을 들여야겠다.

 

---

메모리 단편화란?

먼저 메모리 단편화에 대해 짚고 넘어가보자.

메모리 단편화는 기억 장치를 쓸수록 정보의 저장되고 삭제되는 크기가 다 다르므로 빈 공간이 점점 여러 개로 나뉘는 현상을 말한다.

현대에 와서는 상대적으로 여유로운 자원인 디스크(HDD, SSD)보다는 RAM에 초점이 맞추어져  “메모리” 단편화로 용어가 고착된 것 같다.

궁금해서 좀 더 찾아보다 보니 글이 너무 길어질 것 같아 자세한 내용은 다음 글에서...

 

그렇다면 컨텍스트 단편화(Context Fragmentation)란?

이것도 혹시 내가 최초일까 싶어 신나서 찾아보니 논문과 여러 블로그에서 이미 쓰이는 용어였다.

메모리 단편화가 물리적인 공간 낭비와 비효율에 초점이 맞춰져 있다면, 컨텍스트 단편화는 의미(semantic)와 논리적 흐름의 유실에 초점이 맞춰져 있다.

LLM 컨텍스트 한계 때문에 여러 텍스트 덩어리(chunk) 단위로 잘라서 저장하고 대화를 주고받다 보니 앞 뒤 문맥 연결성이 유실되는 것을 뜻한다.

또한 이 글에서 말하고자 하는 바처럼, 여러 AI 툴이나 기록 저장용 DB들이 서로 상태와 맥락을 공유하지 못해서 사용자가 매번 배경지식을 새로 입력해주어야 하는 문제를 지칭한다.

 

---

컨텍스트 단편화를 어떻게 해결할까

지금 AI를 활발하게 쓰는 사람들은 모두 컨텍스트 단편화 문제를 겪고 있다고 생각한다. Slack, Notion, Linear, GitHub에다 각자 개인들이 가지고 있는 맥락까지 기록은 많이 쌓여가지만 그 사이 틈이 점점 많이 생겨나고 전체적인 맥락을 유지하기가 힘든 경험을 많이 했다.

더구나 AI한테 일을 잘 시키려면 이 맥락부터 이해를 잘 시켜야 하는데, 아무리 MCP들로 다 연결해둔다 해도 결국 다 아는 사람이 오케스트레이션 해주지 않으면 제대로 굴러가지 않는 것도 많이 체감했다.

사람도 알아보기 힘들 정도로 기록들이 분류되어 있지 않으면 AI는 더 힘들 것이고, 설사 알아본다 해도 토큰량이 어마무지하게 들 것이다.

따라서 체계화 된 기록 저장 구조(세컨드 브레인에서 말하는 정보 분류 등) + 이를 LLM에게 잘 넘겨줄 수 있는 환경(오케스트레이션, 하네스 엔지니어링 등)으로 컨텍스트 단편화를 해결하면 좋을 것이다.

 

LLM OS에서는?

OpenAI의 안드레 카파시(Andrej Karpathy)가 LLM OS 개념을 제안하며, LLM이 컴퓨터의 CPU 역할을 하고 컨텍스트 윈도우(Context Window)가 RAM 역할을 하게 될 것이라 말한 적이 있다.

이 관점에서 보면 LLM을 단순 질의-답변에만 사용하기보다 흩어진 맥락들을 잘 연결하며 하나의 거대한 지식 그물망(제텔카스텐 - Zettelkasten)으로 유지하는 것에서 더 큰 가치를 끌어낼 수 있지 않을까.

마치 과거의 OS가 메모리 단편화를 잘 해결하고 캐시 히트율을 높이는 방향으로 발전해온 것처럼, 앞으로의 LLM은, LLM OS로 거듭나려면 컨텍스트 단편화를 잘 해결하고 토큰 사용량을 줄이는 방향으로 발전할 수밖에 없지 않을까 싶다.

 

<참고자료들>

https://arxiv.org/abs/2602.08382

https://medium.com/@aaronxdsilva/the-complete-guide-to-rag-context-fragmentation-and-how-semantic-objects-solve-it-de9c8d3c21f4

https://arya.ai/blog/ai-context-fragmentation