RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation

RAT는 초기 CoT와 작업 프롬프트를 사용하여 유용한 정보를 검색하고, 현재 및 과거 CoT에 기반한 정보로 현재 사고 단계를 수정하는 점진적 접근 방식을 사용한다.. 이 전략은 복잡한 장기 문제 해결 과정에서 인간의 추론 과정이랑 비슷하다고 한다.

RAG는  문서와 질문 사이의 유사성을 코사인 유사도를 통해 측정하고, 상위 𝑘개 문서를 LLMs의 프롬프트로 피드하여 정확하고 사실적인 컨텍스트를 제공한다. 그러나 복잡한 추론 작업에서는 효과적인 검색 쿼리로 변환하기 어려울 수 있다. RAG는 한 번에 모든 관련 정보를 검색하지만, 이는 후속 추론 및 생성 단계에서 필요한 "사실"이나 정보를 예측하기 어렵다.

COT과정을 거친 답변이, 지나치게 디테일하거나 장황한 답변을 보다 구조화 하여 내려줄수도 있어 보인다. (아래참고)

 

RAT알고리즘

메인아이디어는 CoT 프롬프팅으로 생성된 모든 사고 단계를 RAG를 적용하여 수정하는 것이다. 이 방식은 사고 단계마다 관련 문서를 검색하여 오류를 수정하고, 각 추론 단계가 가장 정확하고 관련성 높은 정보에 의해 안내받도록 함으로써 생성물의 품질과 신뢰성을 크게 향상시킨다고 한다. 할루시네이션 제거를 목표로 한 수정은 RAG를 사용하여 CoT를 수정함으로써 단계별로 더 신뢰할 수 있는 결과를 도출한다.

• RAG는 할루시네이션을 줄이기 위해 검색을 통하여 컨텍스트 넣는거고
• CoT는 LLM이 직접 정답을 생성하는 대신, 작업을 위한 스크래치 공간으로 작동하는 중간 추론 단계(사고라고 함)를 먼저 출력하게 함으로써, 이러한 사고를 최종 답변으로 요약하기 전에 수행된다. 그러나 중간 사고에 직접적인 감독이 없기 때문에, LLM은 관련 도메인 지식의 부족이나 환상에 의해 오류를 범할 수 있다.

RAT프롬프트

• 그냥 초기 프롬프트로 질문에 단계별 사고를 사용하여 구조적으로 답변하도록 요청한다. 답변은 여러 단락으로 나누어져야 하며, 추가 설명이나 소개는 요청받지 않는다.

• 검색쿼리도 llm으로 재생성한다.

• 검색된 자료에 따라 답변을 수정하는 프롬프트이다.

• 이건 현재 REAF에서도 사용하고 있는 평가항목들이랑 유사하다. (trueSkill이라고 칭하는거 같다)

RAG는  문서와 질문 사이의 유사성을 코사인 유사도를 통해 측정하고, 상위 𝑘개 문서를 LLMs의 프롬프트로 피드하여 정확하고 사실적인 컨텍스트를 제공한다. 그러나 복잡한 추론 작업에서는 효과적인 검색 쿼리로 변환하기 어려울 수 있다. RAG는 한 번에 모든 관련 정보를 검색하지만, 이는 후속 추론 및 생성 단계에서 필요한 "사실"이나 정보를 예측하기 어렵다.

 

COT과정을 거친 답변이, 지나치게 디테일하거나 장황한 답변을 보다 구조화 하여 내려줄수도 있어 보인다. (아래참고)

 

RAT알고리즘

메인아이디어는 CoT 프롬프팅으로 생성된 모든 사고 단계를 RAG를 적용하여 수정하는 것이다. 이 방식은 사고 단계마다 관련 문서를 검색하여 오류를 수정하고, 각 추론 단계가 가장 정확하고 관련성 높은 정보에 의해 안내받도록 함으로써 생성물의 품질과 신뢰성을 크게 향상시킨다고 한다. 할루시네이션 제거를 목표로 한 수정은 RAG를 사용하여 CoT를 수정함으로써 단계별로 더 신뢰할 수 있는 결과를 도출한다.

• RAG는 할루시네이션을 줄이기 위해 검색을 통하여 컨텍스트 넣는거고
• CoT는 LLM이 직접 정답을 생성하는 대신, 작업을 위한 스크래치 공간으로 작동하는 중간 추론 단계(사고라고 함)를 먼저 출력하게 함으로써, 이러한 사고를 최종 답변으로 요약하기 전에 수행된다. 그러나 중간 사고에 직접적인 감독이 없기 때문에, LLM은 관련 도메인 지식의 부족이나 환상에 의해 오류를 범할 수 있다.

 

RAT프롬프트

• 그냥 초기 프롬프트로 질문에 단계별 사고를 사용하여 구조적으로 답변하도록 요청한다. 답변은 여러 단락으로 나누어져야 하며, 추가 설명이나 소개는 요청받지 않는다.

• 검색쿼리도 llm으로 재생성한다.

• 검색된 자료에 따라 답변을 수정하는 프롬프트이다.

• 이건 현재 REAF에서도 사용하고 있는 평가항목들이랑 유사하다. (trueSkill이라고 칭하는거 같다)

COT과정을 거친 답변이, 지나치게 디테일하거나 장황한 답변을 보다 구조화 하여 내려줄수도 있어 보인다. (아래참고)

RAT알고리즘

메인아이디어는 CoT 프롬프팅으로 생성된 모든 사고 단계를 RAG를 적용하여 수정하는 것이다. 이 방식은 사고 단계마다 관련 문서를 검색하여 오류를 수정하고, 각 추론 단계가 가장 정확하고 관련성 높은 정보에 의해 안내받도록 함으로써 생성물의 품질과 신뢰성을 크게 향상시킨다고 한다. 할루시네이션 제거를 목표로 한 수정은 RAG를 사용하여 CoT를 수정함으로써 단계별로 더 신뢰할 수 있는 결과를 도출한다.

• RAG는 할루시네이션을 줄이기 위해 검색을 통하여 컨텍스트 넣는거고
• CoT는 LLM이 직접 정답을 생성하는 대신, 작업을 위한 스크래치 공간으로 작동하는 중간 추론 단계(사고라고 함)를 먼저 출력하게 함으로써, 이러한 사고를 최종 답변으로 요약하기 전에 수행된다. 그러나 중간 사고에 직접적인 감독이 없기 때문에, LLM은 관련 도메인 지식의 부족이나 환상에 의해 오류를 범할 수 있다.

 

RAT프롬프트

• 그냥 초기 프롬프트로 질문에 단계별 사고를 사용하여 구조적으로 답변하도록 요청한다. 답변은 여러 단락으로 나누어져야 하며, 추가 설명이나 소개는 요청받지 않는다.

• 검색쿼리도 llm으로 재생성한다.

• 검색된 자료에 따라 답변을 수정하는 프롬프트이다.

• 이건 현재 REAF에서도 사용하고 있는 평가항목들이랑 유사하다. (trueSkill이라고 칭하는거 같다)

COT과정을 거친 답변이, 지나치게 디테일하거나 장황한 답변을 보다 구조화 하여 내려줄수도 있어 보인다. (아래참고)

 

RAT알고리즘

메인아이디어는 CoT 프롬프팅으로 생성된 모든 사고 단계를 RAG를 적용하여 수정하는 것이다. 이 방식은 사고 단계마다 관련 문서를 검색하여 오류를 수정하고, 각 추론 단계가 가장 정확하고 관련성 높은 정보에 의해 안내받도록 함으로써 생성물의 품질과 신뢰성을 크게 향상시킨다고 한다. 할루시네이션 제거를 목표로 한 수정은 RAG를 사용하여 CoT를 수정함으로써 단계별로 더 신뢰할 수 있는 결과를 도출한다.

• RAG는 할루시네이션을 줄이기 위해 검색을 통하여 컨텍스트 넣는거고
• CoT는 LLM이 직접 정답을 생성하는 대신, 작업을 위한 스크래치 공간으로 작동하는 중간 추론 단계(사고라고 함)를 먼저 출력하게 함으로써, 이러한 사고를 최종 답변으로 요약하기 전에 수행된다. 그러나 중간 사고에 직접적인 감독이 없기 때문에, LLM은 관련 도메인 지식의 부족이나 환상에 의해 오류를 범할 수 있다.

 

RAT프롬프트

• 그냥 초기 프롬프트로 질문에 단계별 사고를 사용하여 구조적으로 답변하도록 요청한다. 답변은 여러 단락으로 나누어져야 하며, 추가 설명이나 소개는 요청받지 않는다.

• 검색쿼리도 llm으로 재생성한다.

• 검색된 자료에 따라 답변을 수정하는 프롬프트이다.

• 이건 현재 REAF에서도 사용하고 있는 평가항목들이랑 유사하다. (trueSkill이라고 칭하는거 같다)

 

RAT알고리즘

메인아이디어는 CoT 프롬프팅으로 생성된 모든 사고 단계를 RAG를 적용하여 수정하는 것이다. 이 방식은 사고 단계마다 관련 문서를 검색하여 오류를 수정하고, 각 추론 단계가 가장 정확하고 관련성 높은 정보에 의해 안내받도록 함으로써 생성물의 품질과 신뢰성을 크게 향상시킨다고 한다. 할루시네이션 제거를 목표로 한 수정은 RAG를 사용하여 CoT를 수정함으로써 단계별로 더 신뢰할 수 있는 결과를 도출한다.

• RAG는 할루시네이션을 줄이기 위해 검색을 통하여 컨텍스트 넣는거고
• CoT는 LLM이 직접 정답을 생성하는 대신, 작업을 위한 스크래치 공간으로 작동하는 중간 추론 단계(사고라고 함)를 먼저 출력하게 함으로써, 이러한 사고를 최종 답변으로 요약하기 전에 수행된다. 그러나 중간 사고에 직접적인 감독이 없기 때문에, LLM은 관련 도메인 지식의 부족이나 환상에 의해 오류를 범할 수 있다.

 

RAT프롬프트

• 그냥 초기 프롬프트로 질문에 단계별 사고를 사용하여 구조적으로 답변하도록 요청한다. 답변은 여러 단락으로 나누어져야 하며, 추가 설명이나 소개는 요청받지 않는다.

• 검색쿼리도 llm으로 재생성한다.

• 검색된 자료에 따라 답변을 수정하는 프롬프트이다.

• 이건 현재 REAF에서도 사용하고 있는 평가항목들이랑 유사하다. (trueSkill이라고 칭하는거 같다)