전체 글 (38) 썸네일형 리스트형 LoRA 이번만큼 완벽하게 이해해보자. with 실습 코드 LoRA 왜 사용하는가?fine tuning이 뭔진 알아?fine tuning은 내가 원하는 downstream task를 pretrained model이 잘 하기위해서 진행하는 학습을 말합니다.fine tuning은 크게 두가지 방법이 있습니다. full fine tuning은 PEFT에 비해 성능은 살짝 높은 경향이 있습니다.하지만 모든 파라미터 값을 미세조정 하기에 너무 많은 시간이 걸린다는 치명적인 단점이 있습니다.반면, PEFT는 적절한 몇 개의 파라미터만 미세조정을 하여 full fine tuning에 비해 성능은 살짝 낮은 경향이 있지만 학습에 필요한 시간을 획기적으로 단축시킨 것에 큰 의미가 있습니다.이러한 PEFT기법에는 prefix tuning, prompt tuning, LoRA 등이.. [Fastcampus Upstage AI Lab] 대화문 요약 대회 후기 대회 설명일상 대화 데이터가 입력으로 주어지면 해당 대화의 요약문을 만들어 내는 모델을 만들어야 합니다.데이터는 12457개의 학습데이터, 499개 valid data가 주어지고, 250개의 test data가 주어집니다.평가지표는 Rouge를 사용합니다.데이터는 원래 영어 데이터였던 것을 번역한 것으로 이루어져 있습니다.대회 결론 스포!!!저희조는 41.9213점을 내서 3등을 차지 했습니다.1, 2, 3등 모두 LLM을 이용해서 고득점을 차지했습니다. 특히, 2 등 팀은 데이터 정재 전혀 하지 않고 큰 모델을 어떻게 파인튜닝 할지에 대해 몰두 해서 했더니 성적이 좋았다고 합니다.많은 팀들이 데이터 정재와 데이터 증강에 노력을 많이 했는데 효과는 미미하거나 오히려 떨어졌습니다.그 이유로는 이번 대회에 .. Computer Vision 모델 발전 과정 기본적인 모델의 구조는 위 이미지와 같다.이미지에서 feature를 얻기위해서 Backbone을 통과한다. 이를 통해 Feature map을 얻고 해당 Feature map을 Encoder를 통과하고 Decoder를 통과하면서 task를 수행하는 구조로 간다.이때 어떤 모델을 Backbone을 하지, Encoder로 할지, Decoder로 할지는 task에 따라 data에 따라 다르다.모델 발전 과정backbone은 이미지에서 feature map을 구하기 위해 사용하는 것을 말한다. 좋은 모델일 수록 feature map으로 표현된 이미지에 특성들이 잘 녹여 있으면서 적은 파라미터를 가지고 빠른 학습속도를 보장하는 것이 좋다. 특히, 엄청 유명했던 Image Classification Competiti.. 이전 1 2 3 4 ··· 13 다음
