그림 그려주는 AI의 카운터 AI가 생길 것인가?

최근 NovelAI를 필두로 그림 그려주는 몇 가지 AI가 꽤 핫한 주제임.

 

 

 

AI는 다른 분야에서는 이슈보다는 저조한 성적을 내고있는데,

 

이미지 분석 등에서는 마땅한 대체제가 없기도 하고 해서 꽤 성공적임.

 

 

 

근데 AI계열에는 꽤 재미있는 기존 연구가 있는데, 바로 1 pixel attack 이라는 분야가 있음.

 

(참고문헌 :Jiawei Su, Danilo Vasconcellos Vargas, K. Sakurai, "One Pixel Attack for Fooling Deep Neural Networks", 2017)

 

 

짤은 논문에서 제시한 예시임

 

잘 보면 원래 그림에 딱 하나 점을 찍는데, 이 점이 AI의 인식을 아주 크게 저해함.

 

검은색 글씨가 원래 그림의 설명이고, 파란색 글씨가 AI가 예측한 대상임 (괄호안에 %는 AI가 생각한 정확도)

 

거의 완벽하게 인식을 망가트리는걸 볼 수 있다.

 

 

 

사실 이런 연구는 비전인식 분야에서 먼저 시작되었는데,

 

처음에는 적대적 강화학습 (GAN) 이라고, 이미지를 분석하는 성능을 올리기 위해 시작되었다가,

 

역으로 그것이 공격을 하는데 사용될 수 있음을 깨닫고 연구가 되고 있는 분야다.

 

 

 

예를들어, 자율주행용 차량에 안전을 저해하는 요소로 이러한 공격이 가능하리라 여겨진다.

 

 

 

(참고문헌 : Eykholt, Kevin, et. al. "Robust Physical-World Attacks on Deep Learning Visual Classification", 2017)

 

위에서 보이는 것 처럼, 표지판에 살짝 노이즈를 넣는 것 만으로도

 

기존 비전인식 시스템에서 완전히 표지판의 인식을 개박살 내는것도 가능하다.

 

그래서, 미래에 자율주행 등이 완전히 널리 퍼졌을때, 이러한 공격이 가해질 수 있는게 아닌가? 하는 추측이 있다.

 

 

이러한 추측에 의거해,

 

"미래의 테러리스트는 총과 폭탄이 아닌, 페인트와 스프레이를 가지고 테러를 할 것이다."

 

라는 이야기도 있다.

 

붙잡더라도 변명할 여지가 많으니까.

 

 

 

 

이러한 픽셀 공격 말고도, 더 나은 해결책들도 있는데, 

 

 

 

보이는 것 처럼 눈에 잘 구분되지 않는 노이즈 필터를 미세하게 씌우는 방식도 있다.

 

이쪽은 진짜로 사람눈으로는 구분할 수 없는데, AI의 인식을 개박살 내는데 매우 효과적이라

 

실제로는 손상된 이미지인지 보고도 구분이 어렵다는 점도 있다.

 

 

 

 

 

여하튼, 이러한 다수의 "AI를 공격하는 AI"가 존재하는 상황이고

 

이러한 분야를 짧게 생각해봤을 때, 일종의 백신이나 방화벽과 같은 보안 솔루션처럼

 

"자신의 그림을 AI의 학습으로부터 방어해주는" 솔루션 장사가 생길지도 모르겠다.

 

마스킹 씌워주는 비용이 충분히 낮게 책정이 가능하기 때문에 꽤 구매수요는 크지 않을까 싶긴 한데 말이지.

 

 

그리고 그쯤 되면 AI의 학습용 재료는 아무거나 크로울링해서 끌어오는건 힘들고,

 

화가들이랑 직속계약을 맺는 형태가 되지 않을까.

 

개인적인 망상이었음.