티스토리

Data scientist 로 살아남기

검색하기

블로그 홈

Data scientist 로 살아남기

joyvibe.tistory.com/m

섀싹 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[혼자 공부하는 R 데이터분석] 6주차_데이터 시각화(ggplot2, ggmap) 6-1. 그래프 그리기데이터 시각화를 위해 R 시각화 1순위 패키지인 ggplot2 패키지를 사용한다. (1) ggplot()ggplot(데이터세트, aes(데이터속성)그래프를 표현하는 좌표를 그리기 위한 판을 짜는 함수aes()함수를 이용해 x축과 y축에 변수를 매핑한다.패키지 설치install.packages("ggplot2")library(ggplot2) ggplot(airquality, aes(x=Day, y=Temp)) * 작성한 그래프를 지울 때는 plot.new() 함수를 실행한다. (2) 각종 그래프매핑을 위해 작성한 ggplot() 함수 뒤에 + 를 붙여 추가로 적어주면 된다.* 그래프를 그리는 수치형 데이터로 표현할 시 빈 범주가 생길 수 있으므로범주화 할 수 있는 factor() 함수.. 공감수 3 댓글수 0 2024. 8. 19.
[혼자 공부하는 R 데이터분석] 5주차_데이터 가공하기(dplyr, 데이터 결합, reshape2) 5-1. dplyr 패키지* 데이터 가공 패키지* R 내장 데이터인 mtcars 이용사용법기능 및 설명예시filter(데이터, 조건문)조건에 맞는 데이터 필터링조건문 여러개 쓰려면 & 연산자 사용filter(mtcars, cyl==4)filter(mtcars, cyl>=6 & mpg>20)select(데이터, 변수명1, 변수명2..)지정한 변수(열)만 추출select(mtcars, am, gear)arrange(데이터, 변수명1, 변수명2...)arrange(데이터, 변수명1, 변수명2, ..., desc(변수명))오름차순 정렬, 내림차순 정렬변수가 여러개 있을 경우 첫번째 변수로 정렬 후 동일 값에 대해 두번째 변수로 정렬. arrange(mtcars, .. 공감수 1 댓글수 0 2024. 8. 3.
[혼자 공부하는 R 데이터분석] 4주차_데이터 수집, 관측, 시각화 4-1. 데이터 수집하기데이터를 수집하는 방식 : 직접 vs 외부 데이터 수집가공을 거치지 않은 데이터 : 원시 데이터(=원시 자료)View(데이터프레임 변수명) 함수로 조회 (= 데이터 뷰어) 반드시 첫 글자 대문자로 작성가공하지 않은 원시 데이터만 확인 가능- 데이터 수집 방법데이터 종류사용법추가 설명직접 데이터 입력변수명 TXT 파일데이터 프레임으로 저장됨,header 기본값 False (변수명 임의지정)데이터 경로 표현시 슬래시 사용CSV 파일데이터 프레임으로 저장됨, header 기본값 TRUE-> 원시 데이터 변수명 없을 시 임의로 지정됨EXCELinstall.packages('readxl')library(readxl)데이터 프레임으로 저장됨, header 기본값 TRUE엑셀 여러 시트 중에.. 공감수 1 댓글수 0 2024. 7. 29.
<서울메타위크 2024 DAY2> 3. KT의 미디어 AI 기술 및 활용 사례연사 : 윤진현 KT Customer부문 미디어플랫폼사업본부 상무 KT에서 iptv genie tv 에서 사용하고 있는 다양한 AI기술을 접목한 사례들을 대표적으로 세가지 카테고리로 나누어 설명해주셨다.1. AI : new experience - 새로운 시도들AI CURATION : 시청이력 기반 추천시청이력 : 채널 위주로 시청하는지, vod 위주로 시청하는지, 키즈랜드 위주로 시청하는지, vod 위주로 시청하는지 등개인화 추천함꼐 많이 본 영상 추천집집마다 다른 첫 화면 제공이 시간대/요일 대 등 자주보는 실시간 채널 추천보이스 부스트 (진행중) ai로 배경소리와 목소리를 분리하여 목소리를 1~3단계 스펙트럼을 조정하여 강조자막 대신에 음성을 강화해서 듣기 .. 공감수 0 댓글수 0 2024. 7. 25.
[혼자 공부하는 R 데이터분석] 3주차_변수, 함수, 조건문, 반복문 3-1. 변수와 함수변수파이썬과 개념 동일R은 대문자와 소문자를 구별함. 함수를 호출할 때도 대문자와 소문자를 지켜야 한다.함수파이썬과 개념 동일return() vs cat() : 함수 출력값은 동일하나 변수에 저장가능 여부가 다름print() vs cat() : print 는 1개만 출력, cat 은 전부 출력 - 손코딩 내용# 변수 할당x - 113페이지 문제# 4번x 3-2. 패키지함수기능install.packages(패키지명)패키지 설치library()/library(패키지명)패키지 전체 목록 확인/특정패키지 로드(1회성, 새로 킬때마다 수행해야함)remove.packages(패키지명)패키지 삭제https://cran.r-project.org/web/packages/available_packag.. 공감수 2 댓글수 1 2024. 7. 18.
[혼자 공부하는 R 데이터분석] 2주차_데이터분석의 기본 알아보기 2-1. 데이터 분석 과정데이터 분석 프로세스는 다음과 같다데이터 분석 설계데이터 준비데이터 가공데이터 분석결론 도출- 주제- 가설 설정- 이후 데이터 확보 여부 확인- 분석 가능 변수 구성- 파생변수 구성- 분석 항목 결정- 직접 생성- 데이터 찾아 활용(엑셀, txt, csv, 웹 크롤링)- 데이터 형태 파악- 기술통계량, 시각화(raw data 기반)가설 검정에 도움이 되는 데이터로 가공- 불필요 변수 제거- 필요 변수만 추출- 기존 데이터간 연산 통해 조건에 맞는 데이터 구상- 새로운 변수 생성=> 데이터 세트 생성 - 기술통계량- 시각화- 분석 방법론 적용- 통계량 통해 가설 검정 및 결과 정리하여 최종 결과 도출 - 한번의 주기로 끝나는 것이 아니라 순환 구조 2-2. 데이터의 생김새유형\차원.. 공감수 1 댓글수 0 2024. 7. 11.
[혼자 공부하는 R 데이터분석] 1주차_R studio 사용해보기 우연히 데이터 분석 관련 글을 찾아보다가 발견한 혼공학습단통계학 수업 대부분이 R 로 진행되기에 여름에 공부를 좀 해야겠다고 생각하던 찰나에 좋은 기회라 생각하고혼자 공부하는 R 데이터 분석 혼공을 신청했고 12기에 선정됐다! 커리큘럼은 아래와 같다. 1주차부터 차근차근 해보는걸루! 1-1. 빅데이터와 R 언어빅데이터 : 대규모 데이터데이터 과학 : 데이터를 수집하고 가공하여 데이터에서 의미를 찾는 방법R 언어 : 통계 분석을 위한 프로그래밍 언어1-2. 개발 환경 설치차근차근 나와있는 대로 R, R studio 을 설치했다.프로그래밍 언어의 경우 사용자가 직접 모든 걸 명령어로 입력하고 실행해야 하는 불편함이 있다.이 경우 통합 개발 환경을 사용하면 편리해지는데, R의 통합 개발 환경이 R GUI.R을.. 공감수 1 댓글수 0 2024. 7. 3.
<datarian 5월 세미나, 생성형 AI와 함께하는 데이터 분석가 커리어> 일시 : 2024년 5월 14일 오후 3시 - 5시30분 생성형 AI와 함께하는 데이터 분석가 커리어데이터 역량 업그레이드, 데이터리안 세미나datarian.ioAI가 이젠 데이터 분석의 영역도 대체할 것만 같이 빠르게 성장중인 요즘,데이터 사이언티스트로 살아남을 수 있을까 여러 고민이 들던 와중에 이 세미나를 발견하고 수강하게 되었다.1부는 연사님이 세션을 진행하시고 2부는 패널토크로 Q&A 시간을 가졌다. 1부. 생성형 AI 시대의 데이터 사이언스연사 : 김진영 (현 네이버 서치 head of data science) 생성형 AI가 발전했지만 아직 실무에서 사용되기엔 부족함. -> 하지만 몇 년 내에 발전할 듯.LLM 이 향후 몇 년 안에 분석의 개념을 바꿀 것이다.향후 하드스킬(기술적 영역)의 비중.. 공감수 1 댓글수 0 2024. 5. 14.
[ERD] ERD Cloud 사용방법 - 2. 관계선 그리기 저번 게시물에서 엔티티를 만드는 방법에 대해 작성했다.사실 관계선 긋는건 생각보다 할 게 없다.일단 필요한 엔티티를 전부 만들어준다.나는 아래와 같이 다양한 엔티티를 만들었다. 저장해둔 도메인은 아래와 같다. 일단 위 네개의 엔티티는 강한 개체이다. 서로 비식별 관계로 연결되어 있고 비식별 관계의 경우 점선으로 표시된다.선을 잇는 방법은, 일단 서로의 엔티티간의 관계를 파악해서 왼쪽 여러 선 중에 하나를 선택한다.출발 엔티티를 먼저 클릭하고 나서 도착 엔티티를 클릭하면 자동으로 이어지고 식별관계인지 비식별관계인지 선택하는 창이 뜬다. (캡쳐가 안되는 문제로 첨부는 하지 못했다 ㅠㅠ) 거기서 비식별 관계를 체크하면 자동으로 점선으로 적용된다.또 연결하게 되면, 외래키가 자동으로 설정된다. 위 사진에서 오.. 공감수 0 댓글수 0 2024. 5. 8.
[ERD] ERD Cloud 사용방법 - 1. 엔티티 생성하기 ERD란 데이터베이스 구조를 한눈에 알아보기 위해 그리는 다이어그램이다.IE(Information Engineering) 표기법이란 ER 다이어그램을 직사각형의 표 형태로 표현한 기법이다.이 글에서는 무료로 ERD 를 그릴 수 있는 툴인 ERD Cloud 를 사용하는 방법에 대해 소개하겠다. ERD Cloud 는 IE 표기법만 사용 가능하다.(ER 다이어그램 지원 X)ERD Cloud 는 무설치 웹 기반이라는 것과 ERD 를 그림/엑셀/MySQL로 내보낼 수 있다는 장점이 있다.즉 그림을 그려서 MySQL 로 내보내면 굳이 create table 하지 않아도 그 모든 쿼리문이 생성되어 자동으로 데이터베이스를 만들 수 있다는 점! 그럼 사용해보자! 1. 세팅아래 링크로 들어가 회원가입을 진행한다. (서비스.. 공감수 1 댓글수 0 2024. 5. 8.
<LLM DEV DAY (project pluto)> 일시: 2024.04.29(월) 오후 7:00 ~ 오후 9:30행사 내용 : Project Pluto가 개발하고 있는 LLM Powered Finance Media인 Supernews 는 하루에 최대 1천개의 퀄리티 높은 기사를 자동으로 생성하고 있으며 이 외에도 여럿 Contents(by AI) 를 제공합니다. 이 과정에서 팀이 겪은 기술적 문제들과 해결 과정을 공유할 예정입니다. Supernews - 당신을 위한 맞춤형 미국 주식 뉴스실시간 월스트리트 뉴스와 AI로 맞춤화된 독점 콘텐츠super.news지인의 추천으로 알게 되어 참석했던 LLM 세미나. supernews 라는 홈페이지를 운영하는 스타트업으로 실시간 월스트리트 뉴스를 AI로 생성해서 제공한다. 정말 놀랍게도 모든 뉴스는 AI로 작성되었.. 공감수 0 댓글수 0 2024. 5. 8.
<코엑스 국제인공지능대전 박람회 : 개인적으로 느낀 점> 방문 : 2024년 05월 01일 10:00 ~ 17:00 장소 : 코엑스같이 AI 공부하는 스터디원들과 함께 국제 인공지능 대전 박람회 방문! 각종 AI 회사들의 기술들을 엿보고 올 수 있던 좋은 기회였다. 회사들이 현재 어떤 기술들을 개발중인가 둘러본 결과 전반적으로 거의 대부분의 회사가 LLM 을 이용하여 서비스를 개발하고 있었고 그 서비스마저 서로 다 유사했다. 독창성 보다는 보다 나은 성능을 내는 것이 현 산업의 추세인건지 확실하진 않지만 받은 인상은 비슷비슷 했다. LLM API 를 따와서 파인튜닝 하거나 기업 기밀 유지하기 위해 뭔갈 추가하거나 산업 특화를 시키거나 하는 등 기업 맞춤형 서비스를 제공하는 기술들이 많은 느낌이었다. 개인 비서 서비스도 있었고, 기존에 관심있는 키워드를 저장해두.. 공감수 1 댓글수 1 2024. 5. 7.
<데이터과학의 현장 : 데이터과학 활용 설명서 (카드 산업 중심)> 일자 : 2024년 5월 7일공지가 뜨고 얼마 지나지 않아서 90명 정원이 가득 차서 신청했을 당시 대기 5번이었는데 다행히 승인이 되어 들을 수 있었떤 세미나! 너무나 유익했고 현 카드 산업에서 어떤 데이터들을 어떻게 활용하여 사용하고 있고 사용하기 위해 시도중인지 자세히 들을 수 있던 좋은 기회였다. 자세한 내용은 노션에 정리해둬서 핵심적인 부분들만 적어보려고 한다.1. 데이터 사이언티스트가 가져야 할 3가지 core competency- Analytics (AI 알고리즘)- IT SKILL (DB, SQL)- Domain (Business) knowledge -> 중요!데이터 사이언티스트가 되기 위해선 삼박자를 고루 갖춰야 하는구나! 현 통계 공부를 하는 시점에서 하나를 제대로 하는 것도 결코 쉬운.. 공감수 0 댓글수 0 2024. 5. 7.
< Build with AI United 2024> Build with AI United 2024행사명 : Build with AI United 2024일시 : 2024년 04월 27일 (토) 오전 11:00 - 오후 04:30주최 : GDG Cloud KR (기존 velog 의 글을 옮김)요즘 LLM이 굉장히 각광받고 있는데 오늘 세션들을 들으면서 그 중요성을 체감하고 왔다. 내용은 내게 유익했던 내용들과 내 생각을 위주의 지극히 주관적인 방식으로 정리했다. 이 글에서는 세션 1만 정리해보려고 한다.1. 인사말 : 개발자는 슈퍼스타다! 2. 소개말 : 구글의 GDG 관련 소개 - 세션 진행1. 백만 토큰 윈도우로는 무엇을 할 수 있을까? (신정규 연사자)백만 토큰 윈도우라는 말부터 생소했는데 프롬프팅부터 자세히 설명해주셨다. 그동안 프롬프트에 대해 정말.. 공감수 0 댓글수 1 2024. 5. 7.
<Build with AI : Campus Korea> Build with AI Campus Korea: 모두를 위한 AI TOY STORY Build with AI Campus Korea: 모두를 위한 AI TOY STORY | Festa!Festa에서 당신이 찾는 이벤트를 만나보세요.festa.io일시 : 2024년 05월 03일 (금) 오후 07:00 - 오후 10:00주최 : GDG Campus Korea장소: 구글 스타트업 캠퍼스 (삼성역 3번출구 쪽 오토웨이타워 B2층)저번에 참여했던 Build with ai united 에 이어 참여했던 행사.다양한 세션으로 행사가 진행되었으며 핸즈온도 동시에 진행되었다.나는 세션만 듣고 왔다. 세션 1. side projectside project 의 중요성에 대해 많이 설명해주신 세션.컴퓨터 비전 쪽을 많이 .. 공감수 0 댓글수 0 2024. 5. 7.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.