품질 검증 후 ‘AI허브’에 공개

각종 커뮤니티에서 사용되는 언어가 정치·경제·문화 등 사회 각 분야에서 활발하게 수용되면서 커뮤니티 언어의 영향력이 커지고 있다. 이에 과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 한국어 자연어 처리 기술 발전과 인력 양성을 위해 ‘인공지능 학습용 데이터 구축 지원 사업’을 진행하고 있다.

이와 관련해 ㈜나라지식정보 컨소시엄(㈜나라지식정보, 루리웹닷컴, 비플라이소프트㈜, ㈜알토비전, ㈜인벤, 전북대 산학협력단)은 과기정통부와 NIA가 진행하는 ‘2022년 인공지능 학습용 데이터 구축 지원 사업’ 중 ‘문화, 게임 콘텐츠 분야 용어 말뭉치’의 데이터 구축 사업을 수행했다고 13일 밝혔다. 이 사업은 ‘게임 용어’와 ‘문화 용어’(미디어 및 레저 용어)를 기계가 빠르게 인식할 수 있도록 하는 데이터 구축 사업이다.

컨소시엄은 ‘문화 및 게임 분야’ 신조어 약 9만개에 대한 정의와 단어 간의 관계를 데이터베이스로 구축했으며, 이 용어들이 포함된 문장 약 60만개에 대한 AI 학습용 데이터 구축 작업도 수행했다고 밝혔다.

구축된 데이터는 품질 검증 후 ‘AI허브’(https://aihub.or.kr)에 공개할 예정이다. 데이터셋과 함께 데이터 구조, 데이터 사용 환경 및 사용 방법 등에 대한 설명도 제공할 예정이다. 데이터셋은 챗봇 연구개발, 인공지능 분야 학술연구를 위한 기초 자료로도 활용된다.