Real Time 실시간 Generative AI: Krea AI

krea AI

Krea AI는 실시간 제작을 주로 하는 generative AI 서비스다.

 

이외에도 Image upscale, enhance를 통해 이미지 고화질, 해상도 개선을 해주는 역할을 하기도 하지만. 뭐라 해도 주된 서비스는 실시간 이미지 제작이라 볼 수 있다. 

 

https://www.krea.ai/home

 

Img to Img

 

Krea AI에서 이미지를 만드는 방법 중에 이미지 도형 배치를 참고해서 이미지를 생성할 수 있는데.

 

더 나아가 텍스트 프롬프트를 추가하여 디테일한 이미지를 만들어 낼 수 있다. 아래는 내가 사용한 프롬프트인데 확인해 본 결과 대문자와 소문자 차이는 없었다.

 

[cute Pika (OVERALL colored dark grey and light brown mix, white chest, dark grey colored ear, very short leg, very short arm, BIG ROUND EARS, no tail, mammal, Rodent),  look at viewer, full body,  high quality, background arches national park.]

 

위쪽 좌측에 위치한 이미지가 실제 Pika라는 북미, 아시아 쪽에 산악 지대에 사는 설치류의 한 종류인데. 아무래도 이미지 모델 트레이닝이 다람쥐, 청설모, 토끼, 곰, 웜뱃등 이름이 많이 알려진 동물들을 위주로 되어있어서. Pika의 이미지에 최대한 가깝게 이미지를 만들어내는데 조금 시간이 걸렸다.

 

하지만 무엇보다도 AI이미지 블렌드를 통해 이미지의 위치와 색상, 밝기등을 자유자재로 조절할 수 있다는 게 엄청난 강점으로 다가왔다. 이번 텍스트 프롬프트는 챗지피티의 도움을 받지 않고 그냥 자연어대로 작성해 조금 뒤죽박죽일 수는 있지만 실시간으로 프롬프트 적용 확인이 가능해 굳이 도움 받지 않고도 충분히 이미지 제작이 가능했다.

 

---

text prompt to Img

아래는 실시간 프롬프트에 대한 변화를 확인한 예시다.

 

쓰인 프롬프트

[a girl, short length hair, blond hair,  straw hat, blue eyes, white long short sleeve t-shirts, golden necklace, full bloom cherry blossom trees filled background.]

 

 

 

Krea AI generative image 장점

1. 실시간 프롬프트에 대한 이미지 확인이 가능. 로드가 빠르다

2. 주어진 트레이닝 모델에 한해서만 이미지 제작이 가능해서. 완전히 새로운 이미지나 트레이닝이 되지 않은 이미지에 대한 대응력이 낮다. 예를 들면 위의 Pika의 경우 토끼 혹은 쥐 그 사이의 동물을 만들어냈지 내가 원한 정확한 Pika의 모델을 만들지는 못했다.

 

 

또 다른 예시로 [a girl, Asian, blond hair]를 입력하게 되면 그냥 검정색 머리색깔을 가진 아시아인 여성을 만들어낸다. 그에 비해 [a girl, blond hair]를 입력하게 되면 금발의 백인 여성을 만들어낸다.

 

작성하는 프롬프트의 순서에 따라 인종이 바뀌는 게 큰 단점으로 다가왔다. 

 

좌측 이미지 [a girl, asian, green eye, gold blonde hair, beanie,]

우측 이미지 [a girl, asian, green eye, gold blonde hair]

위의 예시를 보면 프롬프트 순서에 따라 이전 텍스트가 생략/무시되는 경향이 있다.

 

 

AI Strength 의 정도에 따라 이미지가 너무 많이 차이 난다는 게 하나의 단점으로 자리 잡을 수 있을 것 같다. 특히 아시아인 여성, 상체, 눈의 색깔과 머리카락 색깔이 AI Strength에 따라 계속 바뀐다는 게.

일관된 모델 유지가 Krea AI에서는 아직은 풀어야 할 문제란 생각이 들었다.

---

Video to Video

 

집에 웹캠만 있다면 할 수있는 Video to Video 아무래도 영상을 돌리는데 컴퓨터 GPU가 많이 사용된다.

Nvidia GeForce RTX 3080 기준으로 39~40% 까지 치솟는 걸 보면 고사양 컴퓨터가 아니면 아무래도 컴퓨터 피로도가 많이 높아질 듯싶다. 하지만 뭐라 해도 실시간으로 영상 출력이 가능하다는 점에서 긍정적으로 평가할 수 있다 싶었다. 우측에 있는 Portrait, Concept, CGI, Cartoon 등의 옵션을 선택할 수 있고, 내가 적용해 본 결과 Portrait 보다는 좀 추상적인 Concept, CGI, Cartoon의 경우가 더 좋은 결과물을 냈고. AI Strength 슬라이더는 0.3~0.6 정도의 믹스에서  좋은 결과물을 냈었다.

 

다음에는 그린스크린을 뒤에 펼쳐두고 영상 테스트를 해볼까 싶었다.

 

 

 

Krea AI Overview

 

Krea AI is primarily a real-time generative AI service. While it also plays a role in enhancing image quality and resolution through image upscaling and enhancement, its primary service lies in real-time image creation.

 

-Img to Img

Among the methods for creating images in Krea AI, one involves referencing image shape arrangement. Furthermore, by adding text prompts, users can create detailed images. The following is a prompt example used, which, upon confirmation, showed no difference between uppercase and lowercase letters:

 

[cute Pika (OVERALL colored dark grey and light brown mix, white chest, dark grey colored ear, very short leg, very short arm, BIG ROUND EARS, no tail, mammal, Rodent),  look at viewer, full body,  high quality, background arches national park.]

 

The image located in the upper left corner is of a Pika, a type of lagomorph that inhabits mountainous regions in North America and Asia. However, since the image model training primarily focuses on well-known animals such as squirrels, chipmunks, rabbits, bears, and wombats, creating an image closest to a Pika required some time. Nevertheless, the ability to adjust image positions, colors, and brightness freely through AI image blending proved to be a significant advantage.

 

-Text Prompt to Img

 

Below is an example demonstrating the changes observed in real-time prompts:

 

Prompt Used:

[a girl, short length hair, blond hair,  straw hat, blue eyes, white long short sleeve t-shirts, golden necklace, full bloom cherry blossom trees filled background.]

 

**Advantages of Krea AI Generative Images**

 

1. Real-time confirmation of images based on prompts is possible, with quick loading times.

2. Since image creation is only possible within the given training models, the adaptability to completely new images or those not trained is low. For example, in the case of Pika mentioned earlier, it resulted in animals somewhere between rabbits and mice, rather than the exact Pika model desired. Another example is that entering [a girl, Asian, blond hair] generates a Caucasian girl with blonde hair, while simply entering [a girl, blond hair] produces a white girl with blonde hair.

It is evident that the order of prompts affects the ethnicity, which is a significant drawback.

 

-Image Variation According to AI Strength

 

Depending on the level of AI strength, images can vary significantly. Particularly, for Asian women, variations occur in skin tone, eye color, and hair color based on the AI strength.

 

-Video to Video

 

Video to video, if equipped with a webcam at home, is possible. However, given that it heavily utilizes the computer's GPU, especially with Nvidia GeForce RTX 3080, which can reach up to 39-40% usage, it could strain computers with lower specifications. Nevertheless, the ability to output videos in real-time is positive. Options such as Portrait, Concept, CGI, Cartoon are available on the right, and from my experience, selecting options like Concept, CGI, Cartoon resulted in better outcomes compared to Portrait. The AI strength slider yielded good results in the range of 0.3 to 0.6 mix.

Next time, I plan to test videos with a greenscreen backdrop.