에이전틱 AI 입문: 화면을 보고 소프트웨어를 다루는 AI 이해하기

이 강좌를 마치면 세 가지를 할 수 있습니다. 첫째, 이 강좌가 다루는 범위에서 에이전틱 AI가 무엇인지 자기 말로 설명하기. 둘째, 가상 작업 흐름을 예시에 적용해 오류가 이어질 수 있는 지점을 찾기. 셋째, 확인 가능성·복구 가능성·비용이라는 질문을 실제 상황에 적용해 맡길 일과 사람이 확인할 지점을 가려내기. 사전지식은 많이 필요 없습니다. 챗봇에 질문을 넣어 답을 받아본 경험, 그리고 프롬프트가 AI에게 주는 지시문이라는 정도면 충분합니다.

한 문장으로 이해하기

이 강좌에서는 화면을 인식하고 소프트웨어를 제어해 여러 작업을 수행하는 형태를 에이전틱 AI로 다룹니다. 입력 자료에 따르면 GPT-6 아스트라는 PC 화면을 인식하고 소프트웨어를 자율적으로 제어하는 기능을 갖춘 것으로 소개됐습니다. 이 강좌의 설명은 그 범위 안에서만 유효합니다. 그 밖의 넓은 쓰임새는 여기서 다루지 않습니다.

왜 필요한가

사람의 일은 한 번의 질문으로 끝나지 않는 경우가 많습니다. 프로그램을 열고, 값을 넣고, 결과를 보고, 다시 다른 프로그램으로 넘어갑니다. 이 강좌는 그런 장면을 떠올리며 ‘화면을 인식하고 소프트웨어를 제어한다’는 확인된 기능이 왜 관심을 끄는지 이해해 보려 합니다. 이는 에이전틱 AI 전반의 검증된 특성이 아니라 이 강좌가 제안하는 이해 방식입니다. 실제 장면의 하나로, 엣지엑스는 프롬프트를 이용해 3차원(3D) 제작 도구인 블렌더에서 3차원 그래픽 장면을 만드는 시연 영상을 공개했습니다. 즉 확인된 것은 ‘더 똑똑함’이 아니라 ‘사람이 쓰던 소프트웨어를 AI가 직접 다룬다’는 점입니다.

어떻게 이루어지는가

아래는 제품의 실제 내부 동작이 아니라, 이해를 돕기 위한 가상 작업 흐름입니다. 제품마다 순서는 다를 수 있습니다.

1. 목표 받기: 사람이 ‘무엇이 완성돼야 하는지’를 말합니다.
2. 작업 나누기: 그 목표를 몇 개의 작은 일로 나눕니다.
3. 도구 다루기: 화면을 보고 소프트웨어를 조작해 각 일을 처리합니다.
4. 결과 보기: 처리 결과를 확인하고 다음에 할 일을 정합니다.
5. 넘기기: 목표에 닿았다고 판단되면 결과를 사람에게 넘깁니다.

이 흐름에서 중요한 것은 사람이 각 단계를 얼마나 들여다볼 수 있느냐입니다. 여기서 들여다보는 대상은 두 가지로 나뉩니다. 하나는 화면 조작으로 바뀐 결과물, 즉 눈에 보이는 파일이나 값입니다. 다른 하나는 AI가 텍스트로 드러내는 추론 과정이며, 이를 사고 사슬(chain of thought)이라고 부릅니다. 이 강좌에서는 사고 사슬을 ‘AI가 텍스트로 드러내는 추론 과정’으로만 이해하면 됩니다. 결과물을 확인하는 일과 사고 사슬 텍스트를 살피는 일은 서로 다른 관찰이며, 하나를 했다고 다른 하나가 저절로 되지는 않습니다. TNW 보도에 따르면 안전 연구자들은 아스트라가 추론을 눈에 보이는 텍스트로 덜 드러내는 것으로 보인다고 평가했습니다. 또 같은 보도에 따르면 2025년 7월 약 40명의 연구자가 이 텍스트를 통해 AI를 관측할 기회가 취약하다는 점을 다룬 입장문을 발표했습니다. 즉 들여다보는 일 자체가 늘 쉬운 것은 아닙니다.

하나의 예시로 따라가기

가상 예시입니다. 작은 온라인 문구점 운영자가 ‘이번 달 판매 자료를 집계해 발표용 요약표까지 만들어 달라’고 지시했다고 해봅시다. 1단계에서 AI는 ‘집계된 표와 요약표’라는 목표를 받습니다. 2단계에서 자료 열기, 숫자 집계, 요약표 만들기로 일을 나눕니다. 3단계에서 표 계산 프로그램을 조작해 숫자를 모읍니다. 4단계에서 판매 숫자 한 칸이 비어 있는 것을 발견합니다. 5단계에서 완성된 요약표를 사람에게 넘깁니다.

갈림길은 4단계입니다. 여기에 사람이 확인하는 지점을 두면, 빈칸을 사람이 채우거나 되돌릴 수 있습니다. 확인 지점을 두지 않으면 4단계의 판단이 그대로 5단계로 흘러갈 수 있습니다. AI타임스는 복잡한 다단계 작업의 예외 상황에서 환각으로 작업 흐름이 끊길 수 있다는 지적을 전했습니다. 여기서 환각은 AI가 근거 없이 사실처럼 보이는 내용을 만들어 내는 오류를 뜻합니다. 이 가상 예시에서는 AI가 빈 판매 숫자를 그럴듯한 값으로 채우고, 그 값이 집계에 들어가 요약표의 합계까지 틀어지는 상황을 상상해 볼 수 있습니다. 같은 데이터가 다음 결과물로 그대로 이어지기 때문입니다.

언제 쓰고 언제 쓰지 않는가

아래는 보편적으로 확립된 도입 기준이 아니라, 이 강좌가 제안하는 판단 질문 세 가지입니다.

첫째, 결과를 내가 확인할 수 있는가. AI타임스가 전한 대로 다단계 작업의 예외 상황에서 환각으로 흐름이 끊길 수 있으니, 확인할 방법이 없는 일은 맡기기 어렵습니다. 둘째, 틀렸을 때 되돌릴 수 있는가. AI타임스는 자율적인 PC 제어와 관련해 보안 취약점 악용과 제어권 상실에 관한 경고가 제기됐다고 전했습니다. 되돌릴 수 없는 조작일수록 사람의 확인 지점이 필요합니다. 셋째, 비용과 이용 조건을 감당할 수 있는가. 같은 보도에 따르면 출시 직후 사용량 제한과 서버 불안정에 관한 이용자 불만이 나왔고, 구독료와 응용 프로그램 인터페이스(API) 이용 비용에 대한 부담도 제기됐습니다. API는 프로그램이 AI 기능을 불러다 쓰는 연결 방식을 말합니다.

오해도 하나 짚어둡니다. ‘스스로 소프트웨어를 조작한다’는 말은 ‘결과가 정확하다’는 뜻이 아닙니다. 두 가지는 서로 다른 문제입니다.

핵심 정리와 확인문제

이 강좌에서는 화면을 인식하고 소프트웨어를 제어해 여러 작업을 수행하는 형태를 에이전틱 AI로 다뤘습니다. 중간 오류는 확인 없이 다음 단계로 이어질 수 있습니다. 그래서 맡기기 전에 확인·복구·비용을 스스로 물어보는 것이 좋습니다.

확인문제 1. 이 강좌가 다루는 범위에서 에이전틱 AI는 무엇인가요? 한 문장으로 쓰세요.

확인문제 2. 위 문구점 가상 예시에서 환각이 특히 문제가 되는 지점은 어디이며 그 이유는 무엇인가요?

확인문제 3. 위 문구점 가상 예시에 세 가지 판단 질문을 적용해 보세요. 이 일을 맡길 수 있으려면 어떤 조건이 필요하고, 사람의 확인 지점은 어디에 두어야 할까요?

정답 1. 화면을 인식하고 소프트웨어를 제어해 여러 작업을 수행하는 AI입니다. 해설: 이 강좌는 입력 자료가 소개한 형태로 범위를 좁혀 다뤘습니다.

정답 2. 빈 값을 근거 없이 채우는 판단이 생길 수 있는 4단계입니다. 해설: 사람의 확인이 없으면 그 가상의 오류가 다음 집계와 요약표로 이어질 수 있습니다.

정답 3. 확인 가능성 면에서는 원래 판매 자료가 그대로 남아 있어 집계 결과와 대조할 수 있어야 합니다. 복구 가능성 면에서는 원본을 바꾸지 않은 채 요약표를 다시 만들 수 있어야 합니다. 비용 면에서는 사용량 제한과 이용 비용을 감당할 수 있는지 미리 확인해야 합니다. 사람의 확인 지점은 빈칸이 발견되는 4단계, 즉 집계가 요약표로 넘어가기 전에 두는 것이 좋습니다. 해설: 세 질문은 각각 다단계 오류, 제어권과 되돌리기, 사용량 제한과 비용 부담이라는 보도된 문제와 이어집니다.

참고자료

• 에이전틱 AI 입문 참고자료
• 에이전틱 AI 입문 참고자료
• 에이전틱 AI 입문 참고자료