본문 바로가기

전체 글

 (89)
패스트 캠퍼스 AI 부트 캠프 생존 일지 (3일차) 한줄 요약 전공자인데요... if문 for문 while문을 배워요... 견뎌... 버텨... 겸손해져... 생존기 3일만에 드디어 수업을 했어요. 그런데... 파이썬 기초를 수업하네요... 전공자하고 비전공자 비율이 4 : 1 이었습니다. 그래도 전공자를 고려해서 그런지 정말 구경시켜주고 넘어가는 느낌이었어요. 확실한 것은 완전히 노베이스들은 이것만으로는 절대 안되겠다고 느꼈습니다. 하지만 저는 전공자... 나름 백준 골드 티어... 영겁의 시간이었습니다. 그래도 모셔오신 강사님들이 무슨 고인물들로만 섭외를 하셨는지 대부분 IT 개발에서 한가닥 하시는 분들을 모셔왔더라구요. 다들 회사를 차려보시고, 서비스는 적어도 3개 이상은 런치해보시고, 대기업하고도 협업도 많이 하시는 분들이었어요. 그래서 현재 IT..
국비지원! 패스트 캠퍼스 AI 부트캠프 생존 일지(Day +2) 인공지능 대학원 가야하는 거 아니야? 왜 부트캠프? 저는 사실 웹 개발에 더 많은 관심이 있었어요. 나름 유명한 전국 웹 개발 동아리인 "멋쟁이 사자 처럼"에 대학생활을 갈아 넣고 나름 상도 많이 타고 그랬죠. 그런데 있잖아요... 인공지능이 너무 웹 개발을 잘해요... 웹 개발로 가면 인공지능의 노예가 될 것 같았어요. 4학년 늦었지만! 인공지능 공부를 시작하게 되었습니다. 빠르게 교수님에게 샤바샤바 해서 랩실도 들어가고 학회도 다니고 논문도 썼죠. 그런데 랩실 생활을 반년 정도 해보니깐... 대학원? 잘 모르겠어요. 석사따는 2년이라는 시간을 현직에서 돈받으면서 2년 경험 쌓는게 더 좋다고 생각했어요. 그런데 이제 반년 공부하고 심지어 혼자서 공부해서 너무 부실하다는 생각을 했습니다. 그래서 AI 부..
BART:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension (초월 번역) Abstract 디노이징 오토인코더인데 pre-training된 seq to seq 모델인 BART를 소개할거야. BART는 일단 무작위 노이즈 넣은 문장을 사용해서 학습함. 그리고 그걸 다시 노이즈 없었던 문장으로 만들기 위해 학습하는 것. 우리 여러개 노이징 방법들 평가함. 정상적인 문장의 단어 순서를 무작위로 섞고 몇개의 단어를 하나의 mask tokens으로 바꿈. BART는 문장생성에 대해 fine tuning 할때 효과적인데 문장 이해 문제도 잘함. GLUE와 SQuAD 데이터 셋에서 RoBERTa 와 성능이 동일하고 추상대화와 QA, 요약에서는 SOTA임. back-translation system for machine translation 분야에서는 BART가 1.1 BLEU증가 시킴. 우..

티스토리툴바