반응형 - 배움이 있는 삶/- AI | Big data27 MSE 정의 및 계산법 - excel 활용 참고자료 https://ko.101-help.com/microsoft-exceleseo-pyeonggyun-jegob-oca-mse-reul-gyesanhaneun-bangbeob-ebdf24b9ed/ Microsoft Excel에서 평균 제곱 오차(MSE)를 계산하는 방법 통계에서 평균제곱오차(MSE)는 통계모델의 오류량을 측정하는 중요한 지표입니다. 미래 가치를 예측하는 데 사용되는 모델의 정확성을 평가하는 데 자주 사용됩니다. ko.101-help.com 2024. 4. 19. 생성형AI 평가 모델에 관한 연구 1. ChatGPT 의견 2. Amazon guide 3. 논문 1. ChatGPT에게 물어 보았습니다. 생성형 AI 모델의 검증 방법은 여러 측면을 고려해야 합니다. 일반적으로 다음과 같은 단계를 따릅니다: 1. **정성적 평가 (Qualitative Evaluation)**: - 모델이 생성한 샘플을 직접 평가하고, 품질과 일관성을 판단합니다. - 생성된 샘플의 품질, 다양성, 유용성 등을 고려합니다. 2. **정량적 평가 (Quantitative Evaluation)**: - 생성된 결과를 자동으로 측정하고 평가하는 지표를 사용합니다. - BLEU, ROUGE, Perplexity 등의 지표를 활용하여 언어 생성 모델의 성능을 평가합니다. 3. **인간 평가 (Human Evaluation)**: .. 2024. 4. 19. Open LLM Leaderboard 잘 정리된 블러그 : https://littlefoxdiary.tistory.com/122 LLM Evaluation | LLM 기반의 시스템을 어떻게 평가할 수 있을까 지난 포스팅에서 다루었던 것처럼 LLM의 문맥 이해 및 자연어 생성 능력 능력이 향상되었고, fine-tuning API, Plug-in 지원 등이 이루어지면서 다양한 애플리케이션 개발이 가능해졌다. 개인의 창의성 littlefoxdiary.tistory.com 업스테이지-NIA, 한국어 LLM의 성능 평가 리더보드 개설 고품질 데이터 자체 구축 허깅페이스 오픈LLM 보다 더 적합한 한국어 평가기준 마련 Open Ko-LLM 리더보드 통해 한국어 특징 반영한 연구 https://www.aihub.or.kr/leaderboard/view... 2024. 3. 21. GPT-4 evaluation : GPT-4 Technical Report https://arxiv.org/pdf/2303.08774.pdf We tested GPT-4 on a diverse set of benchmarks, including simulating exams that were originally designed for humans.4 We did no specific training for these exams. A minority of the problems in the exams were seen by the model during training; for each exam we run a variant with these questions removed and report the lower score of the two. We believe the resu.. 2024. 3. 21. LLM 성능평가 모델 논문 LLM의 성능 평가 모델에 대한 논문들을 정리해 봅니다 Summarization is (Almost) Dead Xiao Pu, Mingqi Gao, Xiaojun Wan How well can large language models (LLMs) generate summaries? We develop new datasets and conduct human evaluation experiments to evaluate the zero-shot generation capability of LLMs across five distinct summarization tasks. Our findings indicate a clear preference among human evaluators for LLM-genera.. 2024. 3. 21. Google Gemini vs Open AI GPT-4 성능 비교 평가 https://blog.google/technology/ai/google-gemini-ai/#sundar-note Introducing Gemini: our largest and most capable AI model Gemini is our most capable and general model, built to be multimodal and optimized for three different sizes: Ultra, Pro and Nano. blog.google 2024. 3. 15. Chat GPT 성능평가 방법 궁금해서 정리해 봅니다. Reference 1. ChatGPT의 응답품질은 시간이 지남에 따라 어떻게 평가되고 개선되나요? https://botpress.com/ko/blog/how-is-the-quality-of-chatgpts-responses-evaluated-and-improved-over-time 1) 응답 품질평가에서 인간 검토자의 역활 - 인간 검토자는 ChatGPT 답변이 의도한 목표와 기대에 얼마나 잘 부합하는지 평가함 - 인간 검토자는 ChatGPT 가 인간과 같은 텍스트를 생성하는지의 품질을 평가한다 - 인간 검토자는 ChatGPT 가 공감할 수 있는 답변을 제공하고, 사용자의 우려사항을 효과적으로 해결하는지 문석한다. 2) 응답 정확도 평가 - ChatGPT의 정확도를 평가하기 위해.. 2024. 3. 7. AI Image generators AI Image Generators 1. openAI Dall-2 - Not free https://openai.com/dall-e-2 DALL·E 2 DALL·E 2 is an AI system that can create realistic images and art from a description in natural language. openai.com 2. Fantasy World Generator - Free, not good https://deepai.org/machine-learning-model/fantasy-world-generator Fantasy World Generator Generate an image in fantasy style. deepai.org 3. DALL·E mini .. 2024. 1. 24. AI EXPO KOREA 2024 (국제인공지능대전): 24년. 5월. 괜찮은 행사가 있네요. 국내 AI 산업이 글로벌 선도했으면 합니다. 안녕하세요, AI EXPO KOREA 2024 주최 사무국 입니다. 인공지능(AI)은 모든 산업과 융합하여 새로운 제품 및 서비스를 창출하며 미래산업의 핵심기술로 급부상하고 있습니다. AI EXPO KOREA는 국내 최초로 개최 이후 매년 2만 명 이상 방문하였으며, 2024년에는 참관객 35,000명 유치를 목표로 준비하고 있습니다. 명실상부한 단일 AI행사로서 지난 6년간 쌓아온 노하우와 DB를 바탕으로 공급기업에게는 혁신적인 마케팅 솔루션을, 수요기업에게는 최고의 쇼케이스를 제공하여 전 사업이 인공지능 중심으로 전환되는 "INNOVATION SHOWCASE"를 만들겠습니다. AI 기업의 많은 관심 부탁 드립니다. JOIN US @ .. 2024. 1. 19. LLM / Chat GPT 성능평가 방법 어떤 방법들이 있는지 고민해 보고 정리해 봅니다. Method Description etc 표준화된 Referece와 비교 글로벌 표준과 유사한 답을 내는지를 확인하는 방법 - 예로 백과사전/wikipida의 정의와 차이는 없는지? 인간과 직접 비교 - 이건 인간이 답을 알 고 있을때, 그 답을 비교 하는 것 - 예전 IBM 왓슨의 제프리 게임과 유사한 방법 인간평가자에 feedback 받기 - AI의 답을 받고 나서, 인간이 그 답을 채점 하는 형태 LLM based evaluation - 이런 연구도 있습니다. AI의 평가는 현재까지 사람이 한다고 생각하고 있으며, 그렇게 해 오고 있습니다. 그러나, 이걸 LLM이 AI가 직접 평가 한다는 개념의 연구 입니다. 물론 현재는 그 정확도나 신뢰성 측면에서.. 2024. 1. 4. MLOps 정리 : Microsoft Azure 활용 Microsoft 한석진님의 강의를 공부하고, 정리 합니다. Title Link ep 0 : 오프닝 https://www.youtube.com/watch?v=DeOEuDosH2s ep 1 : MLOps가 머길래 https://www.youtube.com/watch?v=q2N6NZKxipg&t=25s ep 2 : ML 생애주기(1) 데이타 준비 https://www.youtube.com/watch?v=zyGYnYZaUEk ep 3 : ML 생애주기(2) 실험/ 학습 https://www.youtube.com/watch?v=ceGwH-sho2A&t=13s ep 4 : ML 생애주기(3) 모델해석 https://www.youtube.com/watch?v=LKk3bD8muhs ep 5 : ML 생애주기(4) 배.. 2023. 11. 29. AI & Big Data 관련 경진대회 1. https://dacon.io/ 데이터사이언티스트 AI 컴피티션 8만 AI 팀이 협업하는 데이터 사이언스 플랫폼. AI 경진대회와 대상 맞춤 온/오프라인 교육, 문제 기반 학습 서비스를 제공합니다. dacon.io 2. https://aida.kisti.re.kr/competition/main/main.do 2023 DATA· AI 분석 경진대회 aida.kisti.re.kr 3. https://competition.aihub.or.kr/hackathon/schedule 상시 리더보드 챌린지 진행중 최고점수 : 0.6540 참가팀 : 110 K-Fashion 이미지 데이터를 사용한 스타일 분류 모델 개발 AI Hub 데이터 – 상시 리더보드 챌린지 competition.aihub.or.kr 4. K.. 2023. 7. 14. 미분 과 적분 알아보기 2023. 6. 1. AI Trustworthiness evaluation chatGPT에서 만들어준 AI Trustworthiness 질문 예제 make the questionnaire about AI Trustworthiness Sure, here are some sample questions for a questionnaire about AI trustworthiness: Transparency: How clear and understandable are the AI system's explanations for its actions and decisions? Extremely clear Mostly clear Somewhat clear Not clear at all Fairness: To what extent do you believe the AI system is un.. 2023. 4. 6. chatGPT 답변이 안올때 문제 chatGPT 답변이 안올때 - 어느땐가 아래와 같이 chat에 답변이 안오는 문제가 발생함 해결) traffic이 많아서 그런지, 종종 이런 문제가 발생하는데, 다시 로그인해서 접속하면 해결이 되곤 함 2023. 3. 31. 이전 1 2 다음 728x90 반응형
