AI 텍스트→이미지→영상 제작: Runway 초보의 사용 기록

AI 초보가 미드저니로 생성한 이미지 중에서 4가지 정도 뽑아서 Runway(런웨이)로 5초 영상을 한 번 뽑아봤습니다.

 

사용했던 프롬프트 및 작업물 공유합니다.

 

1. 미드저니로 생성형 이미지 뽑아보기

 

* 미드저니로 만들어본 작품입니다. / 모델은 v7입니다.

giant goldfish floating above seoul skyline at dusk, dream-like surrealism, magritte vibe, soft cinematic haze

 

steam train emerging from picture frame into living room, rich chiaroscuro, impossible perspective

 

colossal upside-down glass pyramid hovering above a storm-torn ocean, lightning bolts trapped inside the crystal, hyper-detailed surrealism, dramatic chiaroscuro

 

ancient gothic cathedral liquefying into a river of glowing stained glass, barefoot pilgrims wading through molten colors, uncanny dream, baroque shadows

 

levitating whale skeleton sheltering a neon cyber-city inside its ribcage, floating above endless salt flats, magenta dusk sky

 

2. Runway로 텍스트 투 비디오 뽑아보기

 

Runway라는 모델을 처음 사용해봤습니다. 프롬프트는 GPT o3모델을 사용해서 구현해봤습니다.

무료버전이기 때문에 5초짜리 5개 동영상을 생성하니 한도가 차더라군요.... (무료버전은 Gen4 turbo 모델만 사용이 가능합니다.)

요즘 뜨는 인스타 릴스나 유튜브 쇼츠같은 AI를 활용한 숏폼을 만드는게 제 목표기도 해서 앞으로 다양한 모델을 사용해 30초 ~ 1분가량의 숏폼을 제작하는걸 새롭게 목표로 설정하게 되었습니다.

텍스트 투 비디오로 전환하는 작업도 이미지 생성만큼 생각보다 많은 토큰이 필요하다는 걸 느꼈습니다.

무료버전이라서 5초영상 5개만 생성가능하고, 그 이후로는 업그레이드를 해야 합니다.

 

 

 

3s, gentle side-tracking shot following the red koi gliding through the sky -  giant glowing red koi, twilight city skyline below, surreal calm, soft violet-pink haze

 

3s, static frontal shot as the black steam locomotive rolls forward, smoke billows toward camera – massive black steam engine, narrow tunnel, blinding headlight, dense jet-black smoke, grim industrial mood 

 

3s, slow dolly-in toward the inverted pyramid, lightning flickers across the glass – colossal upside-down pyramid, violent blue lightning, raging storm clouds, dark ocean, cinematic lighting

 

3s, upward tilt from water surface to the nebula ceiling – grand gothic cathedral interior half-flooded, mirror-still water, swirling purple-blue cosmos overhead, ethereal silence

 

3s, slow orbital pan around the translucent skeleton whale as neon pulses inside – towering translucent whale skeleton, pink inner glow, cyber-punk skyline reflection, melancholic sci-fi beauty

 

※ 비고 : GPT로 픽셀 GIF 움짤 만들어보기 (실패)

 

GPT 4o 생성형 이미지로도 한번 시도해봤습니다.

다만 여기서는 프레임단위로 픽셀 캐릭터를 쪼개서 이를 전부합쳐 GIF로 변환하는 움짤 방식으로 생성해보는 방식으로 진행해봤습니다. 

하지만.... 계속해서 오류가 발생해서 (화면이 안맞음. 프레임에 이상하게 뭔가가 추가됨 등) 하다가 말았습니다.

비슷한 기법으로 다른 사람은 성공적으로 GPT 를 통해서 만든걸 보면 불가능한건 아닌거 같네요. 

GPT 생성형 이미지를 사용해서 프레임단위로 생성 요청하였으나, 찐빠(?) 가 나는 상황

해당 이미지를 GPT를 통해 GIF로 변환해봄