"생성형 AI 위험 커져…안전성 확보 시급" [긱스]

제61회 시노 스 토토사이트 미래포럼 스타트업 라운드테이블
DALL·E
"인공지능(시노 스 토토사이트) 서비스의 성능이 좋아질수록 해당 서비스는 보안과 안전성도 확보해야 합니다"

유상윤 에임인텔리전스 대표는 최근 제61회 시노 스 토토사이트 미래포럼 스타트업 라운드테이블에서 "기존 시노 스 토토사이트 모델에서도 판단을 흐리게 하거나 다양한 윤리적인 문제가 있었다"라며 "지금까지는 대부분 연구실에서 관련 문제가 발생해 인간에게 큰 영향을 주지 않았다”라며 이같이 설명했다. 이어 "최근 시노 스 토토사이트 성능이 좋아지고 생성형 시노 스 토토사이트 시대가 되면서 이런 리스크가 커지고 극대화됐다”고 덧붙였다.

이번 시노 스 토토사이트미래포럼 스타트업 라운드테이블은 한경 긱스와 '바른 과학기술사회 실현을 위한 국민연합'(과실연) 시노 스 토토사이트미래포럼(시노 스 토토사이트FF), 캡스톤파트너스가 주최했다. 유망 시노 스 토토사이트 스타트업과 투자자를 이어주기 위해 마련했다. 에임인텔리전스는 LLM(거대언어모델) 등 생성형 시노 스 토토사이트 서비스를 안전하게 활용하고 관련 리스크를 진단해 일종의 가드레일(안전장치)을 만드는 기업이다.

유 대표는 "생성형 시노 스 토토사이트엔 이전과 다른 자율성이 시노 스 토토사이트에 부여됐고 자율성이 부여된다는 것은 결국 결과물에 대한 사람의 감시가 적다는 얘기"라고 말했다. 그는 "에이전트 측면에서 이용자는 더 많은 권한을 시노 스 토토사이트에 부여하려고 하고 중요한 영역들에서 판단도 시노 스 토토사이트에 맡기려고 한다"고 지적했다.

유 대표는 "워낙 다양한 시나리오로 시노 스 토토사이트와 대화할 수 있기 때문에 이제 필터링 방식으로 문제를 잡아내기 어려운 측면이 있다"며 "크게 세 가지로 구분해 생성형 시노 스 토토사이트 문제의 설명이 가능하다"고 말했다. 첫번째는 일명 '탈옥'이다. 이용자가 시노 스 토토사이트 서비스의 필터링을 피해 악의적인 성과물 등을 얻는 것이다.

두번째는 시노 스 토토사이트에 너무 의존하는 경우다. 환각현상, 편견에 따른 결과 등을 얻을 수 있다. 유 대표는 "모호한 자연어로 시노 스 토토사이트에 제대로 지시하지 못하는 경우도 있다"고 설명했다. 그는는 "시노 스 토토사이트 학습에 활용된 데이터의 유출, 시노 스 토토사이트를 범죄에 활용하는 경우 등의 문제도 발생할 수 있다"고 말했다.

생성형 시노 스 토토사이트 관련 위험 요소는 10개 이상으로 제시할 수 있다. 화학·생물학·핵·방사능 위협(CBRN), 위험하거나 폭력적인 권유, 개인정보 유출, 지식재산권 침해, 음란물 생성 등이다. 유 대표는 "관련 규제와 규정이 필요하고 새로운 리스크에 대응해야 한다"고 지적했다.

유 대표는 "이런 생성형 시노 스 토토사이트 서비스 등의 문제를 가드레일 시스템으로 대응이 가능하다"고 말했다. 그는 "입력값(잇풋)이나 출력값(아웃풋)을 필터링(검열)하는 경우도 있는데 단순 키워드나 주제 등을 대상으로 할 수도 있다"고 말했다. 실제 미드저니 등에서는 이용자가 입력한 내용이나 생성된 콘텐츠에 대해 거절하거나 경고하는 문구가 뜬다.

유 대표는 "관련 프롬프트에 '안전하게 행동하라' 등의 지시를 기본적으로 추가하는 방법도 있다"고 말했다. 시노 스 토토사이트 학습 과정에서 안정성을 강화하는 등 다른 방법도 가드레일 시스템을 구축하는 데 도움이 된다.

김주완 기자 kjwan@hankyung.com