목차

1. 인공지능의 개념과 역사 (3p)
2. AI의 핵심 기술과 개념 (4p)
3. ChatGPT가 무엇인가요? (6p)
4. ChatGPT의 작동원리 (7p)
5. 프롬프트란? (13p)
6. 프롬프트 엔지니어링의 개념과 기본원리 (14p)
7. 프롬프트 엔지니어링 기법 1 - 퓨샷 러닝(Few-shot learning) (15p)
8. 프롬프트 엔지니어링 기법 2 - 정보 제공 및 답변 조건 지정 (16p)
9. 프롬프트 엔지니어링 기법 3 - 알고리즘 기법 적용 (17p)
10. 뛰어난 프롬프트 엔지니어의 3가지 조건 (18p)

AI의 핵심 기술과 개념

1. 기계학습
2. 딥러닝
3. 거대언어모델(LLM)
4. GPT
5. 인공지능(AI) 공급사슬

1. 기계학습 (Machine Learning)

1) 정의

컴퓨터가 명시적인 프로그램 없이도 데이터를 통해 학습하여, 스스로 패턴과 규칙을 찾고, 새로운 데이터 입력에 대하여 분석, 예측, 결정 등 특정 작업을 수행하도록 하는 기술.

2) 기계학습의 주요 종류

* 기계학습의 주요 알고리즘

2. 딥러닝 (Deep Learning)

1) 정의

신경망의 일종으로, 여러 층(layer)으로 구성된 신경망을 사용하여 데이터를 학습.

2) 특징

• 계층적 학습: 낮은 층에서 기본 특징을 추출하고, 높은 층에서는 더 복잡한 패턴을 학습.
• 대량의 데이터와 고성능 하드웨어가 필수.

3) 딥러닝 모델의 종류

• CNN (Convolutional Neural Network): 주로 이미지 처리에 사용되며, 이미지 내의 특징을 자동으로 추출.
  • 예: 이미지 인식, 자율 주행 자동차.
• RNN (Recurrent Neural Network): 순차적인 데이터 (예: 텍스트, 음성)를 처리하는 모델.
  • 예: 언어 번역, 음성 인식.
• Transformer: RNN의 한계를 극복하고 병렬 연산을 통해 더 효율적으로 처리하는 모델로, NLP(Natural Language Processing)에서 주로 사용됨.
  • 예: 언어 생성 모델, 번역기.

3. 거대언어모델 (LLM, Large Language Model)

1) 정의

텍스트 데이터를 대량으로 학습하여 인간과 유사한 언어 생성 및 이해가 가능한 모델.

2) 특징

• 자연어 처리 (NLP) 분야에서 큰 혁신을 이끌어냄.
• 사람과 대화하거나 특정 주제에 대해 글을 작성할 수 있는 수준에 도달.

3) 대표적인 NLP 모델(LLM의 기반)

• BERT (Bidirectional Encoder Representations from Transformers): 문맥을 이해하기 위해 문장의 양방향을 모두 학습하는 모델.
  • 사용 예: 질문 응답, 감정 분석.
• GPT (Generative Pretrained Transformer): 입력 텍스트의 연속적인 단어 생성을 통해 글을 생성.
  • 사용 예: 텍스트 생성, 자동 응답, 요약.

4. GPT (Generative Pretrained Transformer)

대규모 언어 모델(LLM)의 일종으로, 대화나 텍스트 생성 같은 다양한 언어 기반 작업을 수행할 수 있는 모델이다.

1) GPT 구성 요소

• 사전 학습(Pretraining)
  • GPT는 인터넷 텍스트나 책, 문서 등의 대규모 데이터에서 학습하며, 인간의 언어 구조와 문맥을 이해하도록 훈련된다.
  • 사전 학습은 언어 모델이 문법, 일반 상식, 언어적 맥락을 이해할 수 있게 하며, 다양한 주제와 문맥에 대한 지식을 형성하도록 돕는다.
  • 사전 학습된 모델은 특정 작업에 맞춰 미세 조정할 수 있습니다. 예를 들어, 문장 번역이나 요약 생성과 같은 작업에 맞춰 추가 학습이 가능하다.

• 트랜스포머 (Transformer) 아키텍처:

  • 트랜스포머는 2017년에 소개된 모델로, 어텐션 메커니즘(Attention Mechanism)을 통해 입력 데이터의 중요한 부분에 집중하도록 설계되었다.
  • 트랜스포머는 순차적인 처리 없이 병렬로 데이터를 처리할 수 있어, 처리 속도가 빠르며 더 긴 문맥을 이해하는 데 유리하다.
  • GPT는 트랜스포머 구조 중에서도 디코더(Decoder) 부분만 사용하여, 입력 텍스트를 기반으로 단어 예측과 생성을 수행한다.

2) GPT 작동 원리: 언어 생성 과정

1. 입력 데이터 처리:

   • 사용자가 질문이나 문장을 입력하면, GPT는 이를 토큰화(Tokenization)하여 각 단어 또는 하위 단위(서브워드)로 나눈다. 각 토큰은 모델에 숫자 형태로 입력된다.

2. 문맥 이해:

   • 트랜스포머의 어텐션 메커니즘이 입력 문맥 내에서 각 토큰이 가지는 중요도를 계산한다. 이를 통해 모델은 이전 단어나 구문의 정보를 활용하여 다음 단어를 예측한다.
   • 어텐션 메커니즘은 입력 데이터의 문맥을 이해하는 데 필수적인 역할을 하며, 긴 문장에서 단어들 간의 관계를 파악해 자연스러운 문장을 생성하게 한다.

3. 확률적 예측과 단어 생성:

   • 모델은 다음에 올 단어의 확률을 계산하며, 가장 높은 확률을 가진 단어를 선택하여 이어지는 텍스트를 생성한다.
   • 예를 들어 "The weather today is"라는 문장을 입력하면, 다음에 올 단어로 "sunny", "rainy" 등의 확률을 계산하고, 가장 높은 확률을 가진 단어를 선택하여 문장을 이어간다.

4. 반복적 생성:

   • 다음 단어가 결정되면, 이 단어가 문맥에 추가되어 모델이 다음 단어를 예측하는 과정을 반복한다.
   • 이렇게 반복함으로써 완전한 문장을 생성하고, 지정된 길이까지 생성이 완료되면 결과가 출력된다.

3) GPT의 학습 과정

• 사전 학습 (Pretraining): 수십억 개의 텍스트 데이터에서 패턴을 학습하여 문법, 어휘, 일반 상식 등을 익힌다. GPT 모델은 각 단어 또는 토큰이 문장에서 어떤 확률로 나타나는지를 학습하며, 단어의 빈도와 위치를 통해 언어 구조를 이해한다.

• 미세 조정 (Fine-tuning): 특정 작업에 맞춰 추가 학습을 진행한다. 이를 통해 모델이 특정한 문체, 어조 또는 응답 형식을 따르도록 조정된다. 예를 들어, 고객 응대나 교육 자료 생성과 같은 목적에 따라 미세 조정이 가능하다.

4) GPT의 강점과 한계

• 강점:

  • 언어 이해 능력: 매우 방대한 텍스트 데이터를 학습하여 다양한 언어 구조와 문맥을 이해한다.
  • 다양한 응용성: 텍스트 생성, 번역, 대화 응답, 질문 답변, 요약 등 다양한 언어 기반 작업을 수행할 수 있다.
  • 스케일링 가능성: 모델의 크기를 키울수록 성능이 개선되며, 대규모 데이터 학습을 통해 더욱 정교한 결과를 제공한다.

• 한계:

  • 편향성: 학습 데이터에 따라 특정 편향이 발생할 수 있다.
  • 모델의 크기: 대규모 GPT 모델은 훈련과 실행에 매우 높은 연산 자원(GPU, 메모리 등)을 요구한다.
  • 사실 검증 어려움: 생성된 내용이 사실과 일치하지 않을 수 있으며, 특히 관련된 데이터가 학습되지 않은 경우 할루시네이션(환각) 증상이 발생하여 엉뚱한 내용을 지어낼 수 있다.

ChatGPT란?

• 테슬라 CEO 일론 머스크가 공동창업한 OpenAI에서 서비스하는 인공지능 챗봇 서비스
• NLP 모델 중 하나인 GPT를 채팅 형식으로 파인 튜닝한 AI
• 현재 기준으로 GPT-3.5와 GPT-4 버전 사용, 2021년까지의 데이터로 학습
  • 최신 API 사용 시 2023년 4월까지의 데이터로 학습한 버전 사용 가능
• 사용자가 입력한 프롬프트를 바탕으로 최적의 답변을 생성
• GPT-3.5는 1,750억 개의 파라미터를 가지며, RLHF를 통해 GPT3를 대화에 최적화

  GPT의 매개변수 변화 추이, 출처: NIA The AI REPORT 2023-1

GPT란?

Generative Pre-trained Transformer
사전 훈련된 생성 변환기

https://keep-steady.tistory.com/52

4. 프롬프트 엔지니어링의 개념과 기본원리

1) 프롬프트 엔지니어링의 개념 및 분류

프롬프트 엔지니어링은 본래 대형 언어 모델(LLM)이 복잡한 수학 문제를 풀거나 논리적 사고를 잘할 수 있도록 하기 위해 AI 모델 엔지니어들이 활용한 기술에서 출발했습니다. 이후 2022년 말 챗GPT가 공개되고 일반 사용자들에게 널리 사용되면서, 일반적인 사용 목적의 다양한 프롬프트 엔지니어링 기법들이 개발되고 활용되기 시작했습니다. 최근에는 단순히 프롬프트 작성법을 넘어, 파인튜닝(Fine-tuning)과 RAG(Retrieval-Augmented Generation)와 같은 엔지니어링 기법을 통해 복잡한 문제를 해결하거나 전문적인 도메인 지식이 필요한 작업을 처리하기 위한 프롬프트 엔지니어링이 발전하고 있습니다.

• 프롬프트 엔지니어링: AI모델로부터 원하는 결과물을 얻기 위해 입력하는 프롬프트를 최적화하는 기술

프롬프트 엔지니어링은 내가 원하는 결과를 인공지능 모델이 정확하게 생성하도록 프롬프트(지시·명령어)를 설계하는 기법입니다. 이를 통해 모델의 응답 정확성이나 퀄리티를 높이고, 특정 분야의 지식을 더 효과적으로 반영하게 할 수 있습니다. 프롬프트 엔지니어링은 그 목적과 활용 주체에 따라 다음과 같이 분류할 수 있습니다.

• 일반적인 사용자 입장에서의 프롬프트 엔지니어링: 일반 사용자는 정보를 탐색하거나 글 작성, 데이터 분류 및 가공, 업무 활용 등 다양한 목적으로 AI를 활용하기 위하여 프롬프트 엔지니어링 사용.
• AI 모델 및 서비스 설계자 입장에서의 프롬프트 엔지니어링: 모델 및 서비스 설계자는 AI가 해당 서비스를 이용할 유저들이 기대하는 작업을 높은 품질과 일관성을 유지하며 수행할 수 있도록 프롬프트 엔지니어링 적용.

2) 프롬프트 엔지니어링의 기본원리

(1) 구체성(명확성)

AI는 답변을 생성할 때 바로 다음 나올 단어를 예측하며 문장을 생성합니다. 구체적인 프롬프트를 입력해야 내가 원하는 키워드와 내용에 대한 확률이 올라가서 원하는 답변을 받을 확률이 올라갑니다.

(2) 데이터 & In-context learning(문맥 이해)

AI는 입력된 데이터를 기반으로 학습하고 문맥을 이해하여 답변을 생성합니다. 따라서 프롬프트를 작성할 때도 이를 고려하여, 원하는 답변이 AI의 데이터 베이스에 존재하는지 여부를 파악하고 활용해야 합니다.

(3) 알고리즘

아무리 구체적으로 프롬프트를 입력한다고 하더라도 한꺼번에 너무 복잡하고 다양한 지시를 하면 원하는 답변을 얻을 확률이 매우 낮아집니다. 따라서 내가 원하는 문제해결이나 목표를 먼저 알고리즘화하여 분석하고 심플하게 다듬어야 합니다.

6. 프롬프트 엔지니어링 기법 2 - 정보 제공 및 답변 조건 지정

• AI 및 사용자 역할 지정
• 상황 설명 및 요청의 이유(배경) 작성
• 사전지식 학습
• 예시 답변
• 구체적인 지시사항 설명
• 답변 조건 지정
  • Who, Where, How, When

8. 뛰어난 프롬프트 엔지니어의 3가지 조건

1) 사용하는 AI에 대한 이해

프롬프트 엔지니어링 대상인 AI에 대한 이해가 없다면 아무리 프롬프트를 열심히 써도 원하는 결과를 얻기가 어렵습니다.

2) 프롬프트 작성 스킬

AI가 가진 성능을 최대한 끌어다 쓸 수 있도록 하고, 특정 작업에 최적화하기 위한 프롬프트 엔지니어링 스킬을 능숙하게 사용해야 합니다.

3) 메타인지 & 문제해결 능력

AI에 대한 이해와 프롬프트 작성 스킬이 뛰어나더라도, 원하는 결과가 나오지 않았을 때 그 문제점과 원인을 분석하여 해결할 수 있어야 합니다.

앞으로의 전망?