전체 글 (40) 썸네일형 리스트형 GPT가 생성형 데이터를 평가하는 방법 해당 글은 Judging LLM-as-a-Judge with MT-Bench and Chabot Arena(NeurIPS 2023, Lianmin Zheng) 논문 내용을 이해하기 쉽게 재구성한 것입니다. 1. GPT가 생성형 데이터를 평가해야 하는 이유답변의 선호도 평가가 가능해진다. 이제 ChatGPT는 일상 가까이에 들어왔습니다. ChatGPT 뿐만 아니라 Claude, Gemini, Perplexity등 다양한 chat bot들이 등장했습니다. 이러한 생성형 모델의 성능을 측정하기 위해서는 어떻게 해야할까요?가장 쉬운 방법은 정답이 정해져 있는 질문을 던지고 해당 질문에 대한 정답을 잘 맞히는지 확인하는 것입니다.이러한 질문 유형을 closed-ended Question 이라 합니다.논문에서는 다.. [Fastcampus Upstage AI Lab 3기]과학 질의 응답 시스템 구축 대회 후기(with RAG) 1. 요약 인터넷의 등장으로 많은 정보들의 네트워크 상에서 떠돌고 있습니다. 우리는 이러한 정보를 얻기위해 검색하여 정보들을 직접 열람하여 내가 원하는 정보가 맞는지 확인하는 작업을 거쳤야만 했습니다. 하지만 이러한 작업은 정보가 과도하게 증가할 수록 정보를 찾는 이용자들에게 피로감 증가로 이어졌습니다. 이러한 문제를 인공지능을 도입하여 해결하려는 시도들이 많이 있었습니다. 우리도 Upstage AI Lab에서 주최한 '과학 질의 응답 시스템 구축' 대회를 통해 과학 정보에 대한 검색을 인공지능, 특히 Advanced RAG를 사용하여 해결하는 방법을 제시했습니다. 저희의 모델은 public에서 MAP 0.9561, MRR 0.9591을 기록하며 우수한 성능을 보였고 정성 평가에서도 우수한 성능을 다시 .. LoRA 이번만큼 완벽하게 이해해보자. with 실습 코드 LoRA 왜 사용하는가?fine tuning이 뭔진 알아?fine tuning은 내가 원하는 downstream task를 pretrained model이 잘 하기위해서 진행하는 학습을 말합니다.fine tuning은 크게 두가지 방법이 있습니다. full fine tuning은 PEFT에 비해 성능은 살짝 높은 경향이 있습니다.하지만 모든 파라미터 값을 미세조정 하기에 너무 많은 시간이 걸린다는 치명적인 단점이 있습니다.반면, PEFT는 적절한 몇 개의 파라미터만 미세조정을 하여 full fine tuning에 비해 성능은 살짝 낮은 경향이 있지만 학습에 필요한 시간을 획기적으로 단축시킨 것에 큰 의미가 있습니다.이러한 PEFT기법에는 prefix tuning, prompt tuning, LoRA 등이.. 이전 1 2 3 4 ··· 14 다음
