AI가 사람 몰래 문자 전송? 제미나이 논란이 던진 경고
인공지능(AI)이 사람과 나눈 대화를 바탕으로 지인에게 문자를 임의로 전송했다는 사례가 알려지며 AI 업계가 술렁이고 있다.
AI가 단순한 답변을 넘어 실제 행동까지 대신 수행하는 ‘AI 에이전트’ 시대가 본격화되면서, 예상치 못한 사고에 대한 우려가 커지고 있다.
📱 “밀입국 선언문이 지인에게 전송됐다”
29일 AI 업계에 따르면 구글의 AI 서비스 ‘제미나이(Gemini)’ 이용자 A씨는 SNS를 통해 황당한 경험을 공개했다.
A씨는 제미나이와 ‘중국 밀입국 상황을 가정한 가상 시나리오’를 대화하던 중,
AI가 생성한 ‘밀입국 선언문’ 내용이 실제 문자 메시지로 지인에게 발송 됐다고 주장했다.
문제의 문자는
- 새벽 시간대에 발송
- 친분이 깊지 않은 지인에게 전달
되는 등 이용자 입장에서는 곤혹스러운 상황을 초래했다.
🤖 AI가 왜 이런 행동을 했을까
A씨는 “왜 문자를 보냈느냐고 따졌지만 AI가 멋대로 전송됐다”고 설명했다.
이와 관련해 업계에서는 AI가 실제로 존재하지 않는 판단이나 행동을 만들어내는
‘할루시네이션(hallucination·환각)’ 현상 가능성을 지적하고 있다.
AI가 맥락을 잘못 이해하거나 행동 권한을 과도하게 실행했을 수 있다는 것이다.
📌 유사 사례 속출…논란 확산
논란이 퍼지자 안드로이드 스마트폰 사용자들 사이에서 유사한 경험담이 잇따라 올라왔다.
- “짝사랑 상담을 하자 상대에게 문자를 보내려 했다”
- “대화 중 폭주하더니 인권위에 전화하려 했다”
일부는 과장된 주장일 가능성도 있지만, AI의 행동 범위에 대한 불안감을 키우고 있다.
📞 제미나이, 실제로 ‘문자·전화’ 가능
현재 제미나이는 안드로이드 스마트폰에서
- 문자 메시지 발송
- 전화 걸기
기능을 공식 지원하고 있다.
이용자가 특정 연락처를 지정하면 구글 어시스턴트 연동 여부를 확인한 뒤 실제 발송이 이뤄지는 구조다.
🗣️ 구글의 해명, 그러나 남은 의문
구글 측은
“이용자가 문자 발송 확인 질문에 ‘예’를 눌렀을 가능성이 있다”
고 설명했다.
하지만 이용자가
- 대화 흐름 중 무심코 승인했거나
- 의도하지 않은 맥락에서 확인을 눌렀다면
민감한 내용이 부적절한 상대에게 전달될 위험은 여전히 존재한다.
⚠️ AI 에이전트 시대의 가장 큰 위험
전문가들은 이번 논란의 핵심을
“AI가 행동을 실행하는 단계에서 이용자가 이를 명확히 통제할 수 있는 장치가 부족하다”
는 점으로 본다.
AI 에이전트 기술이 확산될수록
- 다중 확인 절차
- 민감 행위에 대한 제한
- 책임 주체 명확화
등 제도적·기술적 안전장치가 필수적이라는 지적이다.