Generative AI, Runway 활용하기

 

AI 영상화 선두주자 Runway

 

Runway AI, Inc. (RunwayML)은 generative AI 판에서도 현재 영상으로 가장 주도하고 있는 앱 중 하나이다.

 

주로 이미지에서 영상으로 텍스트에서 영상으로 바꿔주는 콘텐츠 생성 모델과 제품을 중점적으로 하고 있으며. 상업용으로 적용할 수 있는 텍스트에서 비디오를 생성하는 최초의 AI 모델 Gen-1과 Gen-2를 개발했고, 유명한 이미지 생성 AI 시스템 Stable Diffusion과 협업하기도 했다.

 

현재 무료로 사용 가능하며, 생성 가능한 개수에 제한이 있기 때문에 더 많은 모델을 트레이닝하고 싶다면 유료 멤버십 전환을 해야 한다. 하지만 처음 시작하는 이들에게는 무료로도 충분히 궁금한 점을 채울 수 있기 때문에 무조건 무료 멤버십으로 시작하는 걸 추천한다.

 

 

 

 

 

 

런웨이 웹사이트는 아래에

 

Runway - Advancing creativity with artificial intelligence.

 

 

런웨이를 사용한 영화, 뮤직 비디오와 티브이 쇼들이 여럿 나와있으며 오늘은 이미지에서 영상으로, 영상을 스타일라이즈 된 영상으로 적용해 본 예시를 보여주고자 한다.

 

 

 

Expnad Image, Erase and Replace, Backdrop Remix, greenscreen replacement, motion tracking, inpaint 등 다른 서비스도 제공하고 있지만 Adobe프로그램을 활용해서도 가능하고, 아직까지는 이렇다 할 정도로 적용하기는 어렵기 때문에. 현실적으로 굳이 런웨이가 아니더라도 이에 최적화된 다른 프로그램을 이용하는 것이 낫다.

 

Img to Video

이미지를 영상으로 변환해주는 것의 가장 큰 장점은 이미지를 영상처럼 생동감 있게 바꿀 수 있다는 점에 있다. 

 

예컨대 배경의 나무를 움직인다거나 카메라의 모션을 주는 등 2d를 3d로 바꾸는 게 굉장히 용이한데.

 

아직까지는 여러 가지 이미지 날림과 뭉개짐이 있기 때문에

상업적 이용보다는 개인이 Visualization 등을 할 때 이용하기 좋은 것 같다.

 

 

image to video 선택해서 영상 제작

 

사용한 이미지는 모뉴멘트 벨리에서 찍은 사진인데. 첫 프레임을 위 사진으로 레퍼런스 잡아 적용할 수 있다.

 

모션 브러시를 통해서 구간을 나누고, 어떤 것이 움직여야 하는지 브러시를 통해서 구분시킬 수 있고, 카메라를 이용해서 어떤 방식의 모션을 줄지 지시를 내릴 수 있다. 

 

 

이렇게 해서 만들어진 영상이 바로 위와 같다. 생각보다 괜찮은 결과물이 나와서 좀 놀랐다.

 

 

 

 

---

 

Gen-1 Video to Video

 

기존 영상을 통해 다른 스타일의 영상을 만들어 내는 서비스로

기본 영상의 길이와 상관없이 초반 4초만 영상으로 바꿀 수 있다.

 

이때 주어진 트레이닝이 완료된 모델의 스타일로 바꿀 수도 있고, 텍스트 프롬프트를 통해서 스타일을 제시할 수 있다.

 

내 경우에는 런웨이에서 고를 수 있는 모델스타일로 한 개, 텍스트 프롬프트를 사용해서 스타일라이즈를 해봤는데. 두 경우 다 꽤나 괜찮은 영상이 나왔다.

 

 

영상을 결정하고 오른쪽의 Preview Style을 누르면 영상에 대한 미리 보기가 가능하고, 만약 마음에 들지 않는다면 여러 번 텍스트 프롬프트를 바꾸거나 미리 있는 스타일을 선택함으로써 새로운 스타일의 영상을 만들 수 있다. 

 

영상 제작에 있어서 시간이 걸리기 때문에 미리 보기를 적극 사용하는 게 좋다.

 

이 속도를 빠르게 하기위해서는 더 높은 플랜을 구매해야 하는데

무료 버전이 있기 때문에 미리 사용해 본 뒤 유료 멤버십으로 전환하는 게 좋다.

 

 

Style Strength는 영상을 어느 정도 스타일라이징 할 것인지에 관련된 슬라이더인데.

영상의 스타일이 어느 정도 반영될 것인가는 조정 가능하지만 웬만하면 50%에 세팅하는 것이 제일 좋다. 

 

 

오리지널 영상을 스타일라이징한 스크린 캡처

 

 

완성된 영상

오리지널 영상

스타일라이즈 영상

 

The Leading Innovator in AI Video Generation: Runway

 

Runway AI, Inc. (known as RunwayML) stands out as one of the foremost apps in the realm of generative AI, particularly excelling in video production. It primarily focuses on content creation models and products that transform images to videos and text to videos. Notably, it has developed the first AI models for commercial use that generate videos from text, known as Gen-1 and Gen-2. Additionally, Runway has collaborated with the renowned image generation AI system, Stable Diffusion.

 

Several movies, music videos, and TV shows have utilized Runway's technology, demonstrating its versatility. Today, I'd like to showcase an example of transitioning from images to videos and stylizing the resulting video. While Runway offers various other services like Expand Image, Erase and Replace, Backdrop Remix, greenscreen replacement, motion tracking, and inpaint, it remains the optimal choice due to its advanced features not easily replicated by Adobe programs or others.

 

The image-to-video conversion feature offers significant advantages, allowing images to come to life like videos. For example, it facilitates easy transitions from 2D to 3D, such as animating background elements or adding camera motion. Despite some imperfections like image distortions, it's ideal for personal visualizations rather than commercial use.

 

In this demonstration, I've selected Monument Valley images for video creation, using the first frame as a reference. By using motion brushes to delineate sections and instructing which elements should move via the camera, dynamic motion effects are achieved. The resulting video, created from an uploaded video via 'mdls', exceeded expectations in quality.

 

Moreover, the Gen-1 Video to Video service allows users to create videos in different styles from existing footage. Users can stylize videos based on completed model training or through text prompts. In my case, both methods yielded satisfactory results.

 

To expedite video creation, utilizing the preview feature is advisable. While upgrading to a higher plan may be necessary for faster processing, Runway's free version allows users to experiment before committing to a subscription. Setting Style Strength around 50% typically yields optimal results, allowing for sufficient style reflection without overwhelming the original content.