<LLM DEV DAY (project pluto)>

일시: 2024.04.29(월) 오후 7:00 ~ 오후 9:30

행사 내용 : Project Pluto가 개발하고 있는 LLM Powered Finance Media인 Supernews 는 하루에 최대 1천개의 퀄리티 높은 기사를 자동으로 생성하고 있으며 이 외에도 여럿 Contents(by AI) 를 제공합니다. 이 과정에서 팀이 겪은 기술적 문제들과 해결 과정을 공유할 예정입니다.

Supernews - 당신을 위한 맞춤형 미국 주식 뉴스

---

지인의 추천으로 알게 되어 참석했던 LLM 세미나. 

supernews 라는 홈페이지를 운영하는 스타트업으로 실시간 월스트리트 뉴스를 AI로 생성해서 제공한다. 정말 놀랍게도 모든 뉴스는 AI로 작성되었고 밑에 검색란에 관심있는 내용을 검색하면 정보들을 종합적으로 분석하여 알려준다. 예를 들어 테슬라 주식을 살까 말까 고민이라면 검색란에 물어보면 친절히 답을 알려준다.

위 내용을 알게 되고 난 후 가장 먼저 든 생각은 뉴스가 정확할까 였다. 뉴스가 신뢰할 만 한가?

이번 세미나는 이 홈페이지를 제작하는 과정에서 발생했던 문제들과 어떻게 해결해 나갔는지 아주 알찬 내용들로 구성되어 있었다.

 

전체적인 흐름도는

데이터 전체 크롤링 - fact extract (db) - 프롬프팅 (커스텀 파이프라인 ex_기사로 사용할지 말지에 대한 가치판단, 기사 유형별 프롬프팅, 글의 구조 고려 등) - 노가다, 프롬프팅 - 검수 과정 - 최종

위와 같이 흘러간다고 한다. 정리는 한줄로 되었지만 아마 수행 과정은.. 상당히.. 어려워보인다.

 

세션들을 섞어서 글을 작성하려 한다.

1. LLMops? - LLM을 위한 MLops

- 이미 학습된 LLM을 활용한다는 전제 하에 환경이 구성

- RAG builder (랭체인 많이 사용)

- rag development cycle

프롬프팅 엔지니어링 - rag 파이프라인 빌딩 - 평가 - 배포 - 모니터링 - 프롬프팅 ~~ 무한 굴레

이유 : 도메인 전문가(혹은 프롬프트 엔지니어) + 개발자(Swe, ML) 로 나뉘어져 있끼 떄문

=> 피드백 사이클 축소를 통한 비용을 감소하는 것이 목표 (DE와 SWE의 커뮤니케이션 비용) -> 하나의 플랫폼으로 해결

 

2. INTERNAL LLMops?

- 프롬프트, 파이프라인, 테스트셋, 배포 -> 하나의 플랫폼 -> 비용 감소!

- 관련하여 개발중인 GAIA 프로그램 소개 (밑은 GAIA 에서 지원하는 기능들이다)

• 프롬프팅 효율성(비교분석 가능), 멀티모달 지원, 스프레드 시트 연동
• 파이프라인 빌딩
• 파이프라인 프롬프트 연결 유기적
• auto-eval 가능
• 배포 모니터링 가능
• 프롬프트 - rag - eval 전 과정 개발자 없이 진행 가능
• 프롬프트/파이프라인 사용자 직접 관리

- 전통적인 AI/ML 엔지니어링 영역(특정 툴 의존) 희미 -> 어느정도라도 구현할 수 있는 엔지니어링 역량(software engineering) 중요!

- internal llmops platform 최대한 유연하게 작성 + 외부 틀 쉽게 갈아끼울 수 있도록

- 프롬프트 + rag 역시 계속 사용 진행될 것

 

위는 자사 프로그램 소개 및 회사에서 바라보는 미래의 가치에 대해 들었던 내용들이다.

이후로는 기업에서 시도하고 개선해본 영역이라 전부 상세하게 적긴 애매해서 대표적으로 중요하게 느껴진 부분들만 작성하려고 한다.

 

3. 핵심 사용 기술 : RAG

- SEARCH PROBLEM 과 ANSWER PROBLEM 중 SEARCH 부분에 집중

- 정리 잘 하는 방법(indexing)은 청킹 사이즈 최적화하기!

- 답변 잘하게 하는 방법 : 질문 잘하기 (ex_주체 분리해서 질의)

- 필터링

 

4. 썸네일 선정 과정

- vector db -> gpt vision api 사용(이미지 url 직접 삽입)

다만 여기서 구글에서 wrong image 를 서치하는 경우 특정 이미지 사이즈를 이용해서 수행한 듯 싶은데 관련해서 이미지 사이즈만 이용하여 어떻게 필터링을 했는지 과정에서 오류는 없는지 좀 궁금하다.

 

5. QA 프로세스

프롬프트 제작 - output 평가 - 원인 분석 - 개선 ~~ 무한반

- 프롬프트 3가지 정의 : 목적성, 작동법, 결과물

- 프롬프트 작성 시 내부 규칙 prompt convention

- 콘텐츠 본문 평가 기준 설립 후 input 데이터 기반 정답지 제작

- llm output 채점

- 평가 자동화

- 도메인에 대한 이해 필수!

- 평가 점수 낮은 원인(사용 단어, 명령 순서, 사용 모델, 파이프라인 구조, input data 등 다양) -> 프롬프트 디버깅

- 프롬프트 개선사항 반영 후 결과 확인

---

개인적으로 너무 유익했던 세미나였다. 실제로 기업에서 어떻게 사용중이며 어떤식으로 개선하고 있는지를 직접 들을 수 있었고, 무엇보다 LLM을 한번에 처리하는 과정을 보면서 진짜 노 코딩 시대가 오는건 아닐까 하는 생각도 들었다. 계속해서 llm 이 개인이 사용할 수 있는 수준으로 발전하고 있는 것 같고, 그를 위해 출시되는 다양하고 편리한 툴을 보면서 뭘 하며 먹고 사는게 좋을까,, 하는 생각을 또 다시 해볼 수 있던 기회였다..!