생성형 AI 및 LLM
생성형 AI
생성형 AI는 텍스트, 이미지, 비디오, 음악 등 다양한 콘텐츠를 자동으로 생성하는 인공지능 기술을 의미합니다. 특히, 텍스트 생성 분야에서는 대규모 언어 모델(Large Language Models, LLM)이 많은 주목을 받고 있으며, 이 중 대표적인 예시로 ChatGPT가 있습니다. 이 모델은 사용자의 질문과 의도를 이해하여 사용자가 원하는 답변을 생성해내어 대중에게 즐거움과 편의를 제공합니다.
환각(hallucination) 현상
대규모 언어 모델 중 하나인 ChatGPT는 성능이 상당히 향상되어 대중들에게 다양한 편의를 제공하고 있지만, 반면에 불편함과 부작용 또한 존재합니다. 이 중에서 가장 주목해야 할 문제는 환각(hallucination) 현상입니다. 환각 현상은 모델이 부정확하거나 허구인 정보를 생성하거나 출력하는 현상으로, 실제 현실과 무관한 정보를 제공하는 경우를 의미합니다. 이로 인해 대규모 언어 모델의 답변을 너무 믿다가 사실 확인을 해보면 실제로는 사실과 맞지 않는 정보를 받을 수 있습니다. 이러한 부작용은 사실에 기반한 정보를 전달하고 가치를 추출해야 하는 비즈니스 상황에서 리스크로 작용할 수 있습니다.
지식그래프(Knowkedge Graph)
그럼 이 부작용을 완화할 수 있는 방법은 없을까요? 이러한 부작용을 완화하기 위해 지식을 체계화하는 기술인 지식그래프 라는 개념이 대두되었습니다. 지식그래프란, 지식을 그래프 형태로 체계화한 집합이라고 할 수 있습니다.
그래프 형태
-
HRT (head, relation, tail)
-
SPO (subject , predicate, object)
지식그래프를 주로 HRT 혹은 SPO 두 가지 중 하나를 활용해 표현합니다. 두 표현의 공통점은 바로 지식 개체간의 관계에 대해 해석할 수 있다는 점입니다. Relation 을 통해 head 와 tail간 무슨 관계인지를 서술할 수 있고, Predicate 를 통해 subject 와 object에 대해 해석할 수 있습니다.
그림 1. 지식그래프 예시
그림 2. Summarization of the pros and cons for LLMs and KGs. , Pan, Shirui, et al.
지식그래프 개념 이해를 위해 그림1을 활용해보겠습니다. United State of America 라는 지식개체는 Bill Gates , Sergey Brin 와 Nationality 로 연결되어 있습니다. 해석하면 두 사람은 미국의 시민권자라는거죠. 이처럼, 지식들간 연결을 시각화로 표현하여 지식을 직관적으로 이해할 수 있다는 점과 지식을 구조화하여 지식들간 불필요한 중복 등 이 바로 지식그래프의 장점이라고 할 수 있습니다.
대규모 언어 모델과 지식그래프는 서로의 장단점을 극복할 수 있는 보완재로 볼 수 있습니다. 대규모 언어 모델의 환각 현상을 지식그래프의 구조화된 지식 체계 검색을 통해 도출된 사실로 보완하는 역할을 합니다. 다시 말해, 대규모 언어 모델의 답변이 지식그래프의 사실에 근거하여 제시되므로 답변의 엄밀성을 높일 수 있도록 도와주는 역할을 합니다.
그림1을 통해 그 관계를 살펴볼 수 있습니다. 그림2을 참조해 관계를 표로 정리해보면 다음과 같습니다.
| 구분 | 대규모 언어 모델 | 지식그래프 |
|---|---|---|
| 장점 |
1.대량의 데이터를 학습했기에, 모델에 다양한 지식들이 담겨 있음. 2.언어 데이터를 직접 처리할 수 있음. |
1.지식 구조화를 통한 데이터 관리가 가능하기에 메타 데이터 관리에 용이함. 2.답변에 대해 해석가능. 3.도메인 특화된 지식을 오픈된 지식베이스를 통해 첨가할 수 있음. |
| 단점 |
1.답변에 대한 해석불가능 2.없는 사실을 답변으로 도출하는 경우 존재. 3.모델에 새로운 지식을 추가하고자 할 때, 재학습에 들어가는 비용이 큼. |
1.지식그래프에 존재하는 지식만을 답변에 활용하기에, 연결되어 있지 않는 개체에 대해서는 답변할 수 없음. |
그림 3. 생성형 AI 구축 방법론
그림 4. RAG 설계도
그림 3은 대규모 언어 모델을 구축한 후 실제 비즈니스에 적용하는 다양한 방법을 비교한 그림입니다. 그림에서 확인할 수 있듯이, 환각 현상을 극복하는 가장 효율적인 방법은 RAG(Retriever-Augmented Generation)라는 것입니다. 이 방법은 답변을 제공할 때 사실에 기반하여 해석이 가능하며, 새로운 사실을 추가로 대규모 언어 모델에 적용하여 상대적으로 최신 정보를 반영한 답변을 제공할 수 있기 때문입니다.
그럼, 이제 RAG를 어떻게 구축할 수 있는지 알아보겠습니다. 이를 위한 아키텍처가 그림 4에 나타나 있습니다. 먼저, 대량의 데이터를 사용하여 사전에 학습된 대규모 언어 모델을 구축합니다. 사용자로부터 질문을 받을 때, 이 질문을 바로 대규모 언어 모델에 전달하지 않고, 질문 모델(Retrieval Model)을 거칩니다. 질문 모델은 사용자의 질문을 기반으로 지식 그래프(Knowledge Base)를 검색하여 얻은 정보를 사용자의 질문에 추가하여 맥락이 반영된 질문을 생성합니다. 그리고 이 맥락이 반영된 질문을 최종적으로 대규모 언어 모델에 전달하므로, 답변의 정확도가 더 향상됩니다.
RAG 를 금융 분야에 적용한다면 다음 3가지를 기대할 수 있습니다.
-
Enhanced fraud detection (향상된 사기 탐지)
시의성이 반영된 정보를 가지고 있기에, 상황에 적절하지 않은 사용자 정보나 질의가 확인될 시 이를 부정행위 후보군으로 간주합니다. 다시 말해서, 지식 그래프에 저장되어 있지 않은 암시적 관계를 적발하여 사기 탐지 범위를 향상시킬 수 있습니다.
-
Personalized recommendations (개인화 추천)
다양한 금융 상품을 사용자의 맥락에 반영하여 추천할 수 있습니다. 쿼리와 선호도의 맥락을 고려하여 사용자에게 맞는 유사한 사양과 기능으로 답변을 제시함으로써 개인화되고 관련성 있는 추천을 제공합니다.
-
Discovery of new answers (새로운 답변의 발견)
사용자가 처음에 고려하지 않았을 수 있는 유사한 속성을 가진, 명확하지 않지만 적절한 답변을 제공함으로써 선택 범위를 확장할 수 있으며, 놓치기 쉬운 정보를 찾아내어 답변을 더 풍부하게 만들 수 있습니다.
자료 출처
그림 1. 지식그래프 예시 : Re-evaluation of Knowledge Graph Completion Methods
그림 4. RAG 설계도 : Full Fine-Tuning, PEFT, Prompt Engineering, and RAG: Which One Is Right for You?
자체 LLM 모델 구축
기업이 보유한 도메인 정보를 지식그래프로 구축하고 검색증강생성(Retrieval-Augmented Generation, RAG)기술을 적용하여 적정예산 범위 내에서 자체 LLM모델을 구축하도록 지원합니다.
RAG (검색증강생성)방식 구축
Chat GPT 등의 LLM 모델을 새로이 개발 하는 것은 많은 자원이 들지만 기업 내에 있는 다양한 Domain 정보를 그래프지식베이스로 구축할 수 있고 이를 이용한 검색증강생성(Retrieval-Augmented Generation, RAG) 기술과 파인튜닝(Fine-Tuning) 방식을 활용하여 적정 예산으로 자체 LLM 모델 구축이 가능합니다.
예를 들어 실무자들이 새로운 미션을 해결하고자 할 때, 자체구축한 LLM이 그 동안의 경험과 정보를 실시간으로 활용 가능하도록 쉽고 정확하게 제공할 수 있습니다.
이는 카드사, 보험사, 은행, 제조사, 교육업, 유통사, IT기업 등 다양한 분야에서 사용될 수 있습니다.