<Build with AI : Campus Korea>

Build with AI Campus Korea: 모두를 위한 AI TOY STORY

Build with AI Campus Korea: 모두를 위한 AI TOY STORY | Festa!

일시 : 2024년 05월 03일 (금) 오후 07:00 - 오후 10:00

주최 : GDG Campus Korea

장소: 구글 스타트업 캠퍼스 (삼성역 3번출구 쪽 오토웨이타워 B2층)

---

저번에 참여했던 Build with ai united 에 이어 참여했던 행사.

다양한 세션으로 행사가 진행되었으며 핸즈온도 동시에 진행되었다.

나는 세션만 듣고 왔다.

 

세션 1. side project

side project 의 중요성에 대해 많이 설명해주신 세션.

컴퓨터 비전 쪽을 많이 하셨던 강사 분이셨고 대학원 석사도 밟고 백그라운드가 단단하신 분이신 듯 보였다.

논문도 많이 작성하셨고 현재도 역시 AI 관련 분야에서 일하시는 중.

 

AI 시대에 가장 중요하게 생각하는 세가지 키워드를 추리셨다.

첫 번째, 멀티모달.

image to text, text to speech 등 여러개의 도메인을 섞은 것.

바이모델, 트리모델 등 여러 모델이 있음. -> MS 랑 meta 에서도 관련 연구 많이 하는 중

두 번째, 생성 AI (GEN AI)

역시 메타랑 MS 에서 LMM 모델에 많은 힘을 쏟는 중

세 번째, ON-DEVICE AI

삼성전자, 엔비디아 등에서 모바일 경량화나 모바일에 들어가는 GPU 를 활용하는 온디바이스 연구 많이 하는 중

 

이런 급변하는 사회 속에서 흐름을 놓치지 않고 계속해서 공부하기 위해 필요한 것인 사이드 프로젝트.

멀티모달 관련 연구 및 학회 논문, 인턴하며 프로젝트 병행 등 다양한 프로젝트 사례 들려주심.

급변하는 사회 속에서 회사의 프로젝트는 최신 트렌드를 반영하지 못할 수 있음.

따라서 이런 기술들을 활용하기 위한 side project 가 중요함.

(지원하고자 하는 회사의 job description 에 맞게 프로젝트 알아서 준비하기)

-> 본인만의 필살기를 갖기

 

Q : 최신 트렌드를 파악하는 기법

A : 밑 사이트 이용하여 어떤 키워드가 핫한지 보는중, 이외에도 논문 확인, S&P 500 지수 등

Deep Learning Monitor - Find new Arxiv papers, tweets and Reddit posts for you

발표내용 대부분이 강사님 개인 프로젝트 내용이었고 전체적으로 side project 의 중요성에 대해 알게 된 시간이었음.

 

세션 2. 베이직 딥러닝 

 

1. 딥러닝 등장 배경

- 딥러닝 키워드 10년 전과 비교하여 10배 20배 주목도 상승

- GEN AI 단어는 2022년부터 많이 검색됨.

- 1958년부터 인공지능이 등장 및 발전해옴

- 일반적 프로그래밍과 AI 의 차이? 알고리즘을 사람이 짜냐 or 데이터를 주면 알아서 학습을 하냐

- 하지만 당시는 선형분류 문제로만 국한 -> xo 문제도 해결하지 못하는 선형 분류기에 대한 문제 제기 - 딥러닝 발전

- 히든 레이어라고 하는 은닉층, 역전파 알고리즘, 백프로파게이션 등 발표 => 딥러닝의 시대 열림

 

2. 딥러닝의 유용성

- 비정형 데이터 분석 가능 (이미지, 영상, 전파신호, 음성, 텍스트)

-- 텍스트가 비정형? 아스키 코드로 정렬이 되어있고 컬럼에 들어가기는 하지만 의미 및 맥락적으로 정형화되진 않음.

 

3. 딥러닝 발전 과정

- 2016년 알렉스넷 이라는 솔루션이 이미지넷 챌린지에서 우승 -> 비전 쪽에서도 딥러닝 활용 가능해짐

- RNN이라고 하는 모델 구조 이요하여 시계열 데이터 처리 가능(LSTM)

- 인코더 디코더 구조에 대한 설명 이어서 해주심(시크투시크)

- 어텐션 설명

- 트랜스포머 구조의 경우 인코더 디코더를 6개씩 사용했는데 지금은 엄청나게 늘어나고 있음

- 토크나이저 설명

 

4. LLM 으로 무엇을 할 수 있을까? (여기서부터 중요)

• 큰 데이터셋을 이용한 지도학습?
  • 엄청나게 많은 데이터셋이 필요한건 맞지만, 지도학습보다 비지도학습이 요즘 트렌드
  • "창발 현상" 용어 등장
• 창발 현상?
  • 딥러닝에게 데이터를 주고 뭘 하라고 답을 주며 학습을 시키는 것이 아니라, 알려주지 않았음에도 불구하고 알아서 학습하는 것 ex) 알아서 코딩, 알아서 문맥 파악해서 수학문제 풀기, 알아서 소설 작성
  • 얼만큼 많은 양의 대규모 모델의 학습이 어느정도 진행될 시 늘어나면 늘어날수록 특정 시점부터 성능이 크게 뛰어 올라감.
  • 모델 사이즈를 무조건 키우는 것보다 작은 모델에서도 이런 창발 현상이 등장할 수 있도록 MoE 기술도 등장
  • 작은 파라미터에서 어떻게 하면 학습을 더 잘해서 이 능력을 발휘할 수 있을까가 요즘 연구 트렌드

5. gemini 관련 내용

- 컨텍스트 윈도우가 크다 (장점)

- 사용 방법은 두가지

• AI STUDIO -> gemini API 형태로 제공
• VERTAX AI -> GCP 에 있는 AI 기능. (gemini 외에도 cluade 등 있음, 메타의 라마3 도 사용 가능)

6. 프롬프트 엔지니어링 관련 기법

- 할루시네이션 문제 (환각) -> 프롬프팅으로 해결

• 질문 - 답변 - 질문 - 답변 - 질문 세트로 넣기
• 스텝 바이 스텝으로 대답해달라는 말로 문장을 끝내기
• 본론만 말하기 / 청중 설정 / 칭찬하기/ 인간적으로 설득하기 등
• 긍정 지시문으로 말하기

마지막으로 red team 소개.

 

딥러닝 발전과정에 대해 한번 더 복기할 수 있던 시간. 인코더 디코더 부분부터 상세하게 설명해주셔서 좋았음.

창발현상이 자주 언급되는 것을 보니 관련 연구가 활발한 듯 싶다.

 

세션 3. cluade 를 이용하여 AI 튜터 데모 만들기

프롬프트 엔지니어링에 관한 간단한 설명 및 데모 제작 과정에서 알게 된 프롬프팅 기법 들을 소개해주셨다.

강연자께서 만들어보신 데모는 틀린 영어 문장을 넣을 시 틀린 부분을 고쳐 제대로된 문장을 출력해주는 모델.

 

1. 프롬프트 엔지니어링 용어

• 제로 샷 프롬프팅 : 예시가 필요없는 기법
• 원샷 프롬프팅 : 하나의 예제랑 지시를 주는 기법 (대규모 언어모델의 경우 대부분 원샷으로 충분)
• 퓨샷 프롬프팅 : 여러개의 예시를 제공하는 기법 (복잡한 업무 수행시)

2. cluade 모델?

• 클로드 3.02 -> 하이쿠, 소넷, 모퍼스 세 가지 모델 지원
• Haiku : 가성비 굿 모델 -> 얘 이용 데모 만드심. 사용 방법 상세한 내용 코드로 설명
  • human, assistant 지정
  • XML 태그 사용하기 (클로드 모델에서 사용시 매우 좋음! 데이터와 지시 분리)
  • 역할 할당하기
  • 단계별로 생각하라는 지시를 마지막에 추가하기

Q : 장문의 프롬프트 입력 시 답변의 다양성을 해치는 경우가 있었나?

A : 다양성을 해칠 수 있다.

 

프롬프팅하는 과정 및 기법에 대해 들을 수 있었다. 이 과정 들으며 프롬프팅하는 대략적 틀 알 수 있었음.

또 가장 좋은 건, 데모 만드는 과정 들으면서 프로젝트 아이디어 떠올라서 lucky!

그간 세미나 들으면서 LLM 프로젝트를 하나 해보고 싶었는데, 시의적인 내용이나 사회적인 내용은 아니지만 존재한다면 내가 가장 쓰고 싶을 서비스를 구상했고 상반기가 끝나고 진행해보려고 한다.

 

세션 4의 경우 기술 보안 문제로 발표 진행이 어려워 내용 정리를 따로 하진 않았다.

다만 데모 발표를 어떻게 하는지에 따라서 등급 매기는 사진 한장 유익했던 듯.

라이브 데모 + 청중과의 소통이 가장 높은 등급이고 라이브 데모에서 정해진 내용을 input 으로 넣느냐 아니냐에 이어 화면 녹화하고 직접 설명하느냐 혹은 화면 녹화하면서 소리도 같이 녹음하느냐 이 순으로 등급이 떨어지게 된다.

물론 데모가 없는건.. bad!

---

 

전반적으로 기초적인 내용들을 많이 알 수 있어 좋았고 무엇보다 프로젝트 아이디어에 대한 영감을 얻을 수 있어서 유익했던 강연! 강연 모두 끝나고 네트워킹 시간이 주어졌는데, 레고 빨리 맞추기를 진행했다. 이름도 모르는 분들과 일단 레고부터 같이 신나게 맞추다 보니 끝나고 나서 자연스레 통성명도 하고.. 놀랐던 점은 세상에 고등학생 분들이었다는 점! 고등학생 때 부터 AI 공부를 진행하시는게 참 대단하단 생각과 함께 아.. 열심히 살아야 겠단 생각 가득 하고 온 하루! ^_^