Advanced RAG - 추측 RAG (Speculative RAG)

추측 RAG(Speculative RAG)

추측 RAG는 검색된 데이터가 부족하거나 모호할 때 모델이 추측을 통해 응답하도록 유도하는 방식이다. 완전한 정보를 사용할 수 없지만 시스템이 여전히 유용한 응답을 제공해야 하는 시나리오를 처리하도록 설계됐다. 추측을 통해 모델은 검색된 데이터의 패턴과 이미 학습한 광범위한 지식을 바탕으로 그럴듯한 결론을 생성할 수 있다.

이 방식은 완전히 정확한 결과를 내놓지는 않는다. 하지만, 확실성이 필요하지 않은 의사 결정 프로세스에서 여전히 가치를 제공할 수 있다. 예를 들어, 재무나 마케팅 등에서 초기 아이디어를 발굴하는 과정에 도움을 줄 수 있다.

물론, 사실적 결론보다는 가설을 생성하도록 설계됐기 때문에, 사용자는 이에 주의할 필요가 있다.

 

https://arxiv.org/abs/2407.08223

Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting