Introduction

SoftlyAI의 AI Chat API는 사용자가 업로드한 데이터를 참고해 의도에 맞는 답변을 생성하는 Q&A Chat API입니다. 이를 활용해 사용자가 Query (질문)을 입력하면 대량의 PDF 문서에서 필요한 정보를 찾기 위한 질문에 대해 답변을 해줄 수도 있고, 일반적인 지식을 가진 생성 AI가 서비스나 회사의 특정 지식을 참조해 비즈니스 맥락에 더욱 잘 맞는 답변을 제공하도록 돕습니다.

SoftlyAI는 자체 개발한 Retriever AI 모델^*을 활용해 답변에 필요한 데이터를 높은 정확도로 추려낸 후, 생성 AI를 통해 답변을 생성해 줍니다. 이 때문에 생성 AI가 가진 지식만을 활용하는 Prompt engineering보다 더 비즈니스에 적합한 답변을 생성할 수 있고, Fine-tuning보다 효과적으로 생성 AI를 목적에 맞게 활용할 수 있습니다. 더 나아가, 기존에 검색이 어려웠던 도표나 차트와 같은 다양한 형태의 정보까지 이해할 수 있기 때문에 더 넓은 범위의 질문에 알맞은 답변을 생성할 수 있습니다. 더 자세한 내용은 SoftlyAI 블로그 (opens in a new tab)에서 확인해 보세요.

SoftlyAI는 기업들의 애플리케이션에 기업만을 위한 AI 챗봇을 도입할 수 있도록 도와주어, 외부적으로는 고객 지원 프로세스와 고객 경험을 향상하고 내부적으로는 손쉬운 내부정보 탐색 및 취합을 도와 기업이 해결하고자 하는 더 중요한 문제에 집중하도록 도와줍니다.

Key Concepts

SoftlyAI의 AI Chat API를 더 잘 활용하기 위해 필요한 핵심 용어와 개념을 소개합니다.

Docset (문서 집합)

SoftlyAI AI Chat API는 문서 집합에 속한 여러 문서를 참고해 답변을 생성하기 때문에, SoftlyAI AI Chat API에 질문을 요청하기 전에 반드시 생성해야 합니다. 문서 집합에 데이터를 업로드하는 방법은 다음과 같습니다:

1. Docset (문서 집합) 생성
   1. Docset을 생성한 후, 사용자는 AI Chat API가 요청받은 질문에 답변하기 위해 참고할 문서들을 업로드 할 수 있습니다.
2. Document (문서) 업로드
   1. 앞서 생성한 Docset에 문서를 업로드 합니다.
   2. 업로드한 문서는 검색을 위한 색인(Indexing) 작업을 거칩니다. 이때 의미(semantics) 기반으로 더 정확한 검색 결과를 반환할 수 있도록 SoftlyAI Retriever 모델의 임베딩(embedding) 결과를 사용합니다.

Query (질문)

Docset에 데이터 업로드 및 Indexing 작업까지 완료되었다면, AI Chat API에 질문을 요청할 준비가 되었습니다. 요청받은 질문에 대한 답변을 생성하는 과정은 다음과 같습니다.

1. 질문에 대한 참고 자료를 Docset에서 검색
   1. 사용자가 입력한 질문에 대해 참고할 정보를 Docset에서 조회합니다.
2. 답변 생성
   1. 1번 단계에서 찾은 정보를 참고해 생성 AI 모델이 질문에 적합한 답변을 생성합니다.
      1. 모든 응답은 답변과 함께 Docset 내에서 참고한 정보 출처를 함께 반환합니다.
      2. 만약, 질문에 대해 참고할 수 있는 정보가 존재하지 않는 경우 잘 모르겠다는 답변을 생성합니다.

API Usage

SoftlyAI의 AI Chat API는 데이터를 업로드 할 때와 질문을 요청할 때 각각 사용량을 기록합니다.

데이터 업로드

문서 집합에 업로드 한 데이터는 답변 생성에 필요한 정보 추출을 위해 Indexing 작업을 거칩니다. 따라서 업로드 사용량은 업로드 된 데이터에 포함된 모든 글자 수를 측정합니다. 이 때, 측정되는 글자 수는 공백을 포함하며, 이미지 내에 포함된 글자는 포함하지 않습니다.

질문 요청

준비된 문서 집합에 질문을 요청하는 경우, 질문에 사용된 글자 수와는 관계없이 각 질문 요청이 사용량으로 측정됩니다. 따라서 챗봇에 질문을 입력한 횟수만큼 사용량이 기록됩니다.