티스토리 뷰
목차
저도 처음엔 이게 이렇게 어려울 줄 몰랐습니다. AI한테 강아지 캐릭터 하나 만들어달라고 했을 뿐인데, 장면이 바뀔 때마다 얼굴이 다른 애가 나오는 걸 보고 적잖이 당황했습니다. 알고 보니 이 문제, AI 이미지 생성에서 가장 흔하게 부딪히는 벽이었습니다. 프롬프트 작성 방식을 바꾸고 나서야 같은 캐릭터가 일관되게 나오기 시작했고, 그 과정에서 AI를 쓰는 방법 자체를 다시 배웠습니다.
프롬프트를 바꿨더니 캐릭터가 달라졌습니다
솔직히 이건 예상 밖이었습니다. 처음엔 "귀여운 강아지 캐릭터 만들어줘" 한 줄로 시작했습니다. 제가 키우는 장모 치와와를 모델로 하고 싶어서 견종 정도만 추가했는데, 결과물은 매번 달랐습니다. 귀 모양이 바뀌고, 털 색이 달라지고, 자세를 수정해달라고 하면 목에 두르던 스카프까지 어느새 사라져 있었습니다.
이 현상의 원인은 AI 이미지 생성 모델의 작동 방식에 있습니다. 현재 주류로 쓰이는 모델 대부분은 디퓨전 모델(Diffusion Model) 기반입니다. 여기서 디퓨전 모델이란, 노이즈에서 이미지를 점진적으로 복원해가는 방식으로 이미지를 생성하는 구조를 말합니다. 매번 생성 과정에서 확률적 샘플링이 들어가기 때문에, 프롬프트가 구체적이지 않으면 결과물이 매번 달라질 수밖에 없습니다.
"AI는 그냥 시키면 된다"라고 생각하는 분들도 있는데, 저는 직접 써보면서 전혀 그렇지 않다는 걸 느꼈습니다. 프롬프트가 얼마나 구체적이냐에 따라 결과물의 일관성이 완전히 갈립니다. 요청이 짧고 추상적일수록 AI가 채워 넣는 빈칸이 많아지고, 그 빈칸이 매번 다르게 채워지는 겁니다.
제가 직접 써봤는데, 수정 요청이 누적될수록 문제가 더 심해졌습니다. 장면을 바꿀 때마다 캐릭터 외형이 조금씩 달라지다 보니, 나중엔 처음 만들었던 캐릭터랑 완전히 다른 개가 나오는 상황이 됐습니다. 무료 사용 한도가 금방 차버리는 것도 문제였습니다. 수정 요청을 반복하다 보면 "구독을 업그레이드해야 합니다"라는 안내가 뜨고 작업이 중단됩니다. 이제 막 시작한 입장에서 유료 구독을 결제하기엔 부담이 컸습니다.
스타일 가이드가 해결책이었습니다
방법을 바꾸기로 했습니다. AI 이미지 툴에 직접 수정 요청을 반복하는 대신, 클로드(Claude AI)에게 먼저 공통 스타일 가이드를 만들어달라고 부탁했습니다. 여기서 스타일 가이드란, 캐릭터의 외형 요소(털 색, 귀 모양, 눈 크기, 액세서리, 전체적인 아트 스타일 등)를 텍스트로 고정해둔 일종의 캐릭터 설계서입니다.
클로드에게 제가 원하는 장면과 캐릭터 모습을 최대한 상세하게 설명했습니다. 장모 치와와의 특징, 원하는 그림체, 색감, 캐릭터가 입어야 할 소품까지요. 그렇게 뽑아낸 스타일 가이드를 이후 모든 장면의 프롬프트 앞부분에 고정으로 붙여 넣었습니다. 제 경험상 이 방법 하나만으로 일관성 문제가 눈에 띄게 줄었습니다.
이미지 생성에는 제미나이(Gemini AI)와 ChatGPT를 함께 활용했습니다. 두 툴 모두 텍스트 프롬프트를 이미지로 변환하는 기능을 제공하고 있으며, 스타일 가이드를 고정해서 넣는 방식이 두 툴 모두에서 유효했습니다. AI 이미지 생성 기술 자체는 빠르게 발전하고 있어서, 어떤 툴이 무조건 낫다고 단정 짓기는 어렵지만, 제가 써본 결과로는 스타일 가이드 없이 프롬프트만 넣는 것보다 훨씬 안정적인 결과물이 나왔습니다.
- 스타일 가이드에 포함할 요소: 털 색·길이, 귀 형태, 눈 색, 전체 체형, 고정 액세서리
- 아트 스타일 명시: 예) "flat illustration", "pastel tone", "chibi style" 등
- 부정 프롬프트(Negative Prompt) 활용: 바뀌면 안 되는 요소를 제외 조건으로 따로 기재
- 스타일 가이드는 매 장면 프롬프트의 첫 블록에 고정으로 배치
AI와 대화하는 방식 자체를 배웠습니다
처음엔 "나는 AI랑 맞지 않나"는 생각도 들었습니다. 주변에서는 다들 잘 쓰는 것 같은데, 저만 계속 엉뚱한 결과물이 나오는 것 같아서 답답했습니다. 근데 포기하지 않고 AI한테 직접 물어봤습니다. "내가 뭘 잘못 요청하고 있는 거냐", "어떻게 말해야 원하는 대로 나오냐"고요. 이렇게 질문 자체를 바꾸고 나서부터 조금씩 달라졌습니다.
AI를 처음 쓰는 분들 중엔 "한 번에 완벽한 답이 나와야 정상"이라고 생각하는 경우가 있는데, 저는 그 기대를 내려놓는 것부터 시작했습니다. 실제로 AI와 작업하는 방식은 프롬프트 엔지니어링(Prompt Engineering)이라는 개념으로 연구되고 있습니다. 프롬프트 엔지니어링이란, AI에게 원하는 결과물을 얻기 위해 입력 텍스트를 체계적으로 설계하고 최적화하는 기술을 말합니다. 단순히 말을 잘 하는 문제가 아니라, 반복적인 시도와 수정을 통해 결과를 다듬어가는 과정입니다.
OpenAI의 공식 문서에서도 프롬프트 작성 시 역할 지정(Role Specification)과 맥락 제공(Context Provision)이 결과물 품질에 직접 영향을 준다고 안내하고 있습니다(출처: OpenAI Prompt Engineering Guide). 역할 지정이란 AI에게 "너는 어떤 역할이다"라고 먼저 설정해주는 것을 말하고, 맥락 제공은 요청 배경을 충분히 설명해주는 것을 의미합니다. 제가 클로드에게 스타일 가이드 작성을 요청할 때 이 두 가지를 의식적으로 적용했더니 결과물의 밀도가 달라졌습니다.
전업주부로 지내면서 특별한 IT 기술이 있는 것도 아니었습니다. 그런데 이 정도 수준의 캐릭터 이미지를 직접 만들 수 있게 됐다는 게 솔직히 신기했습니다. Anthropic의 클로드 공식 문서에도 좋은 프롬프트 작성을 위한 구체적인 가이드라인이 공개되어 있습니다(출처: Anthropic Claude Prompt Engineering Overview). 처음엔 이런 문서가 있는 줄도 몰랐는데, 알고 나서 읽어보니 제가 시행착오로 터득한 것들이 꽤 체계적으로 정리되어 있었습니다.
AI를 잘 쓰는 사람들이 특별한 전문가라서 잘 쓰는 게 아니라는 생각이 이제는 듭니다. 다만 포기하지 않고 계속 물어보고, 틀린 결과가 나왔을 때 "왜 이렇게 나왔는지"를 다시 확인하는 습관이 쌓인 것 같습니다. 이터레이션(Iteration), 즉 반복적인 개선 과정이 핵심입니다. 한 번의 완벽한 시도보다 여러 번의 수정이 더 좋은 결과를 만듭니다.
자주 묻는 질문
Q. AI 이미지 생성할 때 캐릭터 얼굴이 매번 달라지는 이유가 뭔가요?
A. 디퓨전 모델 기반 이미지 AI는 생성 과정에서 확률적 샘플링을 사용하기 때문에, 같은 프롬프트를 넣어도 결과물이 매번 조금씩 달라집니다. 프롬프트가 짧고 추상적일수록 AI가 자의적으로 채워 넣는 부분이 많아지고, 그 변동폭이 커집니다. 캐릭터 외형 요소를 텍스트로 구체적으로 고정하는 스타일 가이드가 이 문제의 가장 실용적인 해결책입니다.
Q. 클로드 AI로 프롬프트를 만들면 제미나이나 ChatGPT에서 그대로 쓸 수 있나요?
A. 기본적으로는 가능합니다. 클로드로 뽑은 스타일 가이드와 장면 설명을 그대로 제미나이나 ChatGPT 이미지 생성 기능에 붙여 넣는 방식입니다. 다만 각 툴마다 이미지 생성 모델이 다르기 때문에, 동일한 프롬프트라도 결과물의 화풍이 다소 다르게 나올 수 있습니다. 제 경험상 툴마다 조금씩 표현을 조정하는 것이 더 나은 결과로 이어졌습니다.
Q. 프롬프트 엔지니어링, 비전문가도 배울 수 있나요?
A. "전문가만 할 수 있다"라고 보는 시각도 있는데, 개인적으로는 꼭 그렇지 않다고 생각합니다. 제가 직접 써본 결과, 가장 중요한 건 결과가 마음에 들지 않을 때 왜 그런지 다시 물어보는 습관이었습니다. OpenAI나 Anthropic 모두 공식 프롬프트 가이드를 무료로 공개하고 있어서, 이 문서를 읽으면서 조금씩 적용해보는 것만으로도 충분히 시작할 수 있습니다.
Q. 무료로 AI 이미지 작업하다가 한도가 자꾸 차는데 어떻게 하나요?
A. 무료 플랜에서 수정 요청을 반복하다 보면 금방 한도에 도달합니다. 제가 택한 방법은 수정 요청 횟수 자체를 줄이는 것이었습니다. 클로드로 스타일 가이드를 먼저 충분히 다듬어두고, 이미지 생성 툴에서는 최대한 처음부터 완성도 높은 프롬프트를 넣는 방식입니다. 수정 시도 횟수가 줄어들면서 무료 한도 안에서 작업을 마무리할 수 있는 경우가 늘었습니다.
결론
AI 이미지 생성에서 캐릭터 일관성 문제는 처음 쓰는 사람이라면 거의 다 겪는 벽입니다. 제가 찾은 방법은 거창한 기술이 아니었습니다. 클로드로 공통 스타일 가이드를 먼저 만들고, 그걸 모든 장면 프롬프트에 고정 삽입하는 것. 그리고 수정 요청보다 프롬프트 설계에 더 공을 들이는 것이었습니다.
전업주부로서 특별한 기술 없이 시작했지만, 포기하지 않고 계속 물어보고 다듬은 결과로 제 장모 치와와를 닮은 캐릭터를 만들어냈습니다. 이제 이 캐릭터로 영상 작업까지 도전해볼 생각입니다. 처음엔 답답하더라도, 방법을 바꿔보는 것만으로 전혀 다른 결과가 나올 수 있습니다.