상호작용 이벤트 입문: 화면을 찍지 않고 활동을 기록하는 방식

한 문장으로 이해하기

상호작용 이벤트란 사용자가 컴퓨터를 다루면서 만들어내는 개별 조작을 하나씩 끊어 기록한 것이다. 클릭, 타이핑, 단축키 사용, 앱 전환 같은 동작이 여기에 해당한다. 여기에는 맥오에스 접근성 시스템이 제공하는 맥락도 포함될 수 있다. 화면에 무엇이 보였는지를 그림으로 남기는 것과는 다르다. 이 강좌를 마치면 세 가지를 할 수 있다. 첫째, 상호작용 이벤트와 화면 캡처 방식의 차이를 말할 수 있다. 둘째, 이 기록이 어떤 단계를 거쳐 쓸 수 있는 형태로 바뀌는지 설명할 수 있다. 셋째, 이 방식을 쓰면 안 되는 상황을 판단할 수 있다. 미리 알아 두면 좋은 것은 앱과 웹사이트의 구분, 그리고 파일이 내 컴퓨터에 저장된다는 개념 정도다.

왜 필요한가

인공지능 비서가 앞서 하던 작업을 이어서 도우려면 사용자가 무엇을 했는지 알아야 한다. 이전 방식은 화면을 촬영해 두는 것이었다. 오픈에이아이(OpenAI)의 연구 시험판 기능 크로니클(Chronicle)이 스크린샷에 의존했고, 컴퓨터 히스토리가 이를 대체한다. 화면 촬영은 그 순간 화면에 있던 것을 그림으로 통째로 담는다. 컴퓨터 히스토리는 스크린샷 대신 개별 이벤트와 제공된 맥락을 기록한다. 기록 방식이 다르다는 뜻이지, 남는 정보가 반드시 더 적고 안전하다는 뜻은 아니다. 오픈에이아이 설명을 인용한 보도에 따르면 컴퓨터 히스토리는 크로니클보다 토큰을 적게 쓰고 개인정보 통제 수단을 더 제공한다. 여기서 토큰은 인공지능이 글을 처리할 때 세는 단위다.

어떻게 이루어지는가

1. 사용자가 허용한 앱과 웹사이트에서만 조작을 읽는다. 이때 맥오에스가 접근성 시스템을 통해 제공하는 정보를 함께 읽는다.
2. 클릭, 타이핑, 단축키, 앱 전환 등이 이벤트로 쌓인다. 화면 캡처, 화면 녹화, 마이크 입력, 시스템 소리는 담지 않는다. 비공개 탐색 모드의 활동도 포함하지 않는다.
3. 쌓인 임시 이벤트 파일은 오픈에이아이 서버에서 처리되어 글 요약으로 바뀐다. 오픈에이아이는 처리 후 이 파일을 보관하지 않는다고 설명하며, 법률상 보관이 필요한 경우는 예외로 둔다.
4. 요약 결과는 내 맥 안에 마크다운(Markdown) 형식의 메모리 파일로 저장된다. 마크다운은 기호로 서식을 표시하는 글 파일 형식이다.
5. 저장된 요약은 날짜와 시간별로 묶인 타임라인으로 정리된다.
6. 반복 가능한 작업 흐름이 감지되면 타임라인이 스킬이나 자동화를 제안할 수 있다. 사용자는 코덱스(Codex)에 요청해 그 흐름을 재사용 가능한 템플릿으로 만들 수 있다.

하나의 예시로 따라가기

가상 예시로 따라가 보자. 어떤 사용자가 오전에 문서 편집 앱에서 제안서를 고치다가 웹 브라우저로 자료를 찾고 다시 문서로 돌아왔다고 하자. 1단계에서 그 문서 앱과 브라우저가 포함 목록에 있어야 기록이 시작된다. 2단계에서는 문서에 글자를 입력한 조작, 저장 단축키를 누른 조작, 앱을 바꾼 조작이 이벤트로 남는다. 화면에 떠 있던 제안서 그림 자체는 남지 않는다. 다만 타이핑한 내용이나 접근성 시스템이 제공한 맥락은 이벤트에 포함될 수 있다. 3단계와 4단계를 거치면 예를 들어 제안서 수정과 자료 검색을 나타내는 요약으로 바뀔 수 있고, 그 요약이 내 맥의 메모리 파일이 된다. 5단계에서는 그 요약이 오늘 오전 항목으로 타임라인에 정리된다. 6단계에서 같은 흐름이 반복되면 스킬 제안이 뜰 수 있다. 그 뒤 사용자는 챗지피티에 오늘 찾던 제안서 문서가 어디 있는지 물어볼 수 있다.

언제 쓰고 언제 쓰지 않는가

쓰려면 조건이 먼저 맞아야 한다. 제공된 기사에 따르면 이 기능은 맥용 챗지피티 앱에서 프로, 비즈니스, 엔터프라이즈 계정을 대상으로 한 선택형 기능이다. 비즈니스와 엔터프라이즈 작업 공간에서는 관리자가 먼저 켜야 하고, 그것만으로는 부족해 사용자 각자가 따로 동의해야 하며 메모리 기능도 켜져 있어야 한다. 제공된 기사 작성 시점에는 영국, 스위스, 유럽경제지역에서 이용할 수 없다고 보도됐다. 한계도 분명하다. 임시 이벤트 파일은 48시간 뒤 삭제되지만, 만들어진 메모리 파일은 사용자가 직접 지울 때까지 평문 마크다운으로 남는다. 이 파일은 암호화되지 않으므로 같은 맥 사용자 계정으로 실행되는 다른 프로그램이 접근할 가능성이 있다. 또한 앱이나 웹사이트의 내용에 악의적인 지시가 섞여 있으면 챗지피티나 코덱스가 영향을 받을 수 있다. 이런 문제를 프롬프트 인젝션이라고 부른다. 오픈에이아이는 참여자 모두가 명시적으로 동의하지 않은 소통 앱에는 이 기능을 쓰지 말라고 권고한다. 민감한 건강, 금융, 개인 데이터를 다루는 앱은 기록을 멈추거나 제외하라고 권한다. 기록은 맥 메뉴 막대에서 언제든 멈추고 다시 시작할 수 있다.

핵심 정리와 확인문제

상호작용 이벤트는 화면 그림이 아니라 개별 조작과 그때 제공된 맥락을 기록 단위로 삼는 방식이며, 기록 방식이 달라졌다고 해서 주의할 점이 사라지지는 않는다. 아래 확인문제 3개로 이해를 점검해 보자.

확인문제 1. 컴퓨터 히스토리가 수집하지 않는 것은 무엇이며, 화면을 찍지 않는다는 점이 무엇을 뜻하지 않는가?

확인문제 2. 비즈니스 계정에서 관리자가 기능을 켜면 바로 기록이 시작되는가?

확인문제 3. 메모리 파일과 관련해 알려진 위험은 무엇인가?

정답 1. 화면 캡처, 화면 녹화, 마이크 입력, 시스템 소리를 수집하지 않으며 비공개 탐색 모드의 활동도 포함하지 않는다. 해설: 화면을 찍지 않는다는 것이 화면 속 내용이 전혀 남지 않는다는 뜻은 아니다. 타이핑한 내용이나 접근성 시스템이 제공한 맥락은 이벤트에 포함될 수 있다.

정답 2. 아니다. 해설: 관리자의 활성화는 한 단계일 뿐이고, 사용자 각자의 개별 동의와 메모리 기능 활성화가 함께 필요하다.

정답 3. 암호화되지 않은 평문 마크다운으로 남는다는 점이다. 해설: 같은 맥 사용자 계정으로 실행되는 다른 프로그램이 접근할 가능성이 있고, 사용자가 직접 지우기 전까지 사라지지 않는다.

참고자료

• 상호작용 이벤트 입문 참고자료
• 상호작용 이벤트 입문 참고자료