바로가기 메뉴
본문 바로가기
주메뉴 바로가기

사전 BMT(성능)

SW 정의

 자연어 처리(NLP: Natural language Processing) SW는 컴퓨터에게 자연어를 이해시키고 다시 사람에게 이해 가능한 언어를 생성해내는 일련의 과정을 처리하는 소프트웨어이다. 자연어 처리 기술은 최근 딥러닝 등 AI 기술의 발달로 챗봇, 정보검색, 음성인식, 질의응답시스템, 문서자동분류 등 다양한 어플리케이션 및 서비스에 응용되어 활용되고 있다. 

  관련 용어 :  자연어 처리,  언어모델,  기계독해,  질의응답


평가모델

 자연어 처리 응용 분야 중 기계독해(MRC: Machine Reading Comprehension) 분야는 주어진 지문을 해석하고 질의에 대한 답을 찾는 기술로써 언어모델의 성능을 측정하는데 가장 널리 활용되고 있다. 해외에서는 영어 질의응답(QA: Question Answering) 데이터셋을 활용한 테스트 모델 "SQuAD"가 테스트 표준으로 자리잡았으며, 국내에서는 한국어 질의응답 모델인 "KorQuAD", "KLUE" 등이 성능 벤치마크평가에 활용되고 있다.
 한국정보통신기술협회는 자연어 처리 SW의 핵심기술인 기계독해 분야 성능평가를 위해 한국지능정보사회진흥원의 「지능정보산업 인프라 조성」사업의 일환으로 구축한 AI허브의 자연어 학습데이터(도서자료(공공) 기계독해, 2020)를 활용하여, 한국어 공공 도서데이터의 학습 및 해석 능력을 평가하기 위한 평가모델을 설계하였다.

 ※ 세부 평가항목은 수행계획서 참고

     학습데이터 
        AI 허브 -  도서자료 기계독해(2020)

시험환경

     시험수행 기준
       자연어 처리 SW가 설치되어 자연어 데이터를 학습 및 처리할 수 있도록 데이터 병렬처리가 가능한 리눅스 서버 OS환경에서
       시험을 수행하였다.

     시험환경
       자연어 처리 SW가 사용하는 언어모델의 QA 데이터 학습(training) 및 평가(evaluation)가 가능하도록 GPU 사용이 가능한
       서버를 구축하였다. 


     ※ 세부 시험환경은 수행계획서 참고
 

수행계획

다운로드

수행현황 리스트

검색

총 게시물 1

번호, 구분, 제목, 첨부파일, 등록일, 조회가 나타나 있는 목록
NO. 연도 평가시험환경 업체명 제품명 결과서
1 2021 Ubuntu 20.04 LTS ㈜포티투마루 QA42 v1.0
개발에 필요한 img tag입니다.