LlamaIndex 도입한 지속 가능한 Agentic Workflows: 실패 복구와 외부 저장소 연동으로 구현하는 안정성

LlamaIndex는 워크플로우의 지속성(persistence)을 강조하는 새로운 접근 방식을 제안하며, 기존의 ‘AI 에이전트’라는 개념 대신 ‘에이제닉 워크플로우( Agentic Workflows)’에 주목하고 있다. 에이제닉 워크플로우는 특정 프로세스 내에서 일정 수준의 자율성과 의사결정을 가능하게 하되, 기존 워크플로우는 본질적으로 일시적이라는 점을 인지하고 있다. 따라서 자동으로 상태를 스냅샷하는 것보다는, 핵심 단계에서 외부 데이터베이스(예: Redis, SQLite)를 활용해 수동으로 상태를 저장하는 방식을 권장한다. 예를 들어, 수백 개의 문서를 처리하는 장시간 워크플로우에서는 마지막으로 처리한 문서 ID를 저장해 재시작 시 이어갈 수 있다. 이는 OpenAI가 RAG의 청크를 시간 인식 가능한 미니 메모리로 활용하려는 연구와도 맥락을 같이한다. 실제로 LlamaIndex를 활용해 SQLite에 상태를 저장하고, 재시작 시 복원하는 예제 코드를 통해 지속성 구현이 가능함을 보여준다. 이 방식은 오버헤드를 줄이면서도 시스템 장애 후 복구가 가능하게 하며, 실무에서의 안정성과 확장성을 동시에 확보할 수 있다.