전체 글 (39) 썸네일형 리스트형 [Fastcampus Upstage AI Lab 3기]과학 질의 응답 시스템 구축 대회 후기(with RAG) 1. 요약 인터넷의 등장으로 많은 정보들의 네트워크 상에서 떠돌고 있습니다. 우리는 이러한 정보를 얻기위해 검색하여 정보들을 직접 열람하여 내가 원하는 정보가 맞는지 확인하는 작업을 거쳤야만 했습니다. 하지만 이러한 작업은 정보가 과도하게 증가할 수록 정보를 찾는 이용자들에게 피로감 증가로 이어졌습니다. 이러한 문제를 인공지능을 도입하여 해결하려는 시도들이 많이 있었습니다. 우리도 Upstage AI Lab에서 주최한 '과학 질의 응답 시스템 구축' 대회를 통해 과학 정보에 대한 검색을 인공지능, 특히 Advanced RAG를 사용하여 해결하는 방법을 제시했습니다. 저희의 모델은 public에서 MAP 0.9561, MRR 0.9591을 기록하며 우수한 성능을 보였고 정성 평가에서도 우수한 성능을 다시 .. LoRA 이번만큼 완벽하게 이해해보자. with 실습 코드 LoRA 왜 사용하는가?fine tuning이 뭔진 알아?fine tuning은 내가 원하는 downstream task를 pretrained model이 잘 하기위해서 진행하는 학습을 말합니다.fine tuning은 크게 두가지 방법이 있습니다. full fine tuning은 PEFT에 비해 성능은 살짝 높은 경향이 있습니다.하지만 모든 파라미터 값을 미세조정 하기에 너무 많은 시간이 걸린다는 치명적인 단점이 있습니다.반면, PEFT는 적절한 몇 개의 파라미터만 미세조정을 하여 full fine tuning에 비해 성능은 살짝 낮은 경향이 있지만 학습에 필요한 시간을 획기적으로 단축시킨 것에 큰 의미가 있습니다.이러한 PEFT기법에는 prefix tuning, prompt tuning, LoRA 등이.. [Fastcampus Upstage AI Lab] 대화문 요약 대회 후기 대회 설명일상 대화 데이터가 입력으로 주어지면 해당 대화의 요약문을 만들어 내는 모델을 만들어야 합니다.데이터는 12457개의 학습데이터, 499개 valid data가 주어지고, 250개의 test data가 주어집니다.평가지표는 Rouge를 사용합니다.데이터는 원래 영어 데이터였던 것을 번역한 것으로 이루어져 있습니다.대회 결론 스포!!!저희조는 41.9213점을 내서 3등을 차지 했습니다.1, 2, 3등 모두 LLM을 이용해서 고득점을 차지했습니다. 특히, 2 등 팀은 데이터 정재 전혀 하지 않고 큰 모델을 어떻게 파인튜닝 할지에 대해 몰두 해서 했더니 성적이 좋았다고 합니다.많은 팀들이 데이터 정재와 데이터 증강에 노력을 많이 했는데 효과는 미미하거나 오히려 떨어졌습니다.그 이유로는 이번 대회에 .. 이전 1 2 3 4 ··· 13 다음
