음악을 입히기 전에: AI 영화의 사운드 연출

음악이 들어오기 전에 장면 자체에 기회를 주자

장면이 덜 완성된 것처럼 느껴질 때, 음악을 더하는 일은 쉽게 선택할 수 있는 다음 단계다. 하지만 그러면 정작 문제를 듣기는 더 어려워질 수 있다. 숨소리가 들릴 여유가 없거나, 물체의 소리가 그 무게와 동떨어져 있거나, 컷이 바뀔 때마다 배경음이 달라질 수 있다. 음악이 그 모든 것 위에 깔려도 장면에서 무슨 일이 일어나는지는 여전히 잘 읽히지 않을 수 있다.

나는 관객이 무엇을 들어야 하는지 정하는 일부터 시작한다. 내가 《Borrowed Wounds》를 위해 세운 초기 사운드 계획에서는 숨소리, 옷감 소리, 멀리서 들리는 쇳소리와 바람이 저마다 구체적인 극적 역할을 맡는다. 그 계획에서 음악을 넣지 않기로 제안한 이유는, 이미 그 소리들이 장면의 행동을 전달하고 있기 때문이다. 완성된 영화의 크레딧에는 오리지널 음악이 명시되어 있다. 여기서는 초기의 계획 작업을 참고하는 것이며, 최종 사운드트랙을 설명하는 것은 아니다. 이 가이드에서도 같은 계획 방법을 사용한다. 다만 계획에 제안된 타이밍을 완성된 영화에서 측정한 값처럼 제시하지는 않는다.

이 가이드는 소리를 판단할 구체적인 기준이 화면에 이미 있는 장면을 위한 것이다. 가이드를 따라가면 무엇을 남기고, 무엇을 바꾸며, 무엇을 실제로 들어 보며 시험해야 하는지 결정할 수 있다. 이것은 사운드트랙을 연출하는 방법이지, 모델이 소리에 관한 모든 지시를 그대로 따를 것이라는 약속은 아니다.

모델이 실제로 내놓은 소리부터 확인하자

나는 원본 클립을 보관하고, 무엇이든 더하기 전에 그 안에 들어 있는 원본 오디오부터 듣는다. 처음부터 사운드트랙이 인상적인지 묻지는 않는다. 우선 무엇이 들어 있는지 알고 싶다. 발소리, 옷감이 움직이는 소리, 숨소리, 공간에 흐르는 공기 소리, 목소리, 또는 원하지 않았던 음악이 있을 수 있다.

들리는 요소를 하나씩 따로 적는다. 두 소리가 하나로 섞여 있다면 그 사실도 기록한다. 시끄러운 배경 속에서 목소리가 들린다고 해서, 편집할 수 있도록 분리된 목소리 파일이 있다는 뜻은 아니다. 작업 계획은 내가 실제로 가진 재료를 설명해야 하며, 그 재료의 한계도 함께 담아야 한다.

그다음에는 결과를 해당 숏에 요청했던 소리와 비교한다. 지시문은 의도의 증거이지, 원하는 결과를 얻었다는 증거는 아니다. 나는 빠진 소리와 예상하지 못한 소리, 소리가 발생하는 시점의 차이를 적는다. 주변 숏과 비교했을 때 배경의 잡음이 어떤지도 기록한다. 단독으로 들으면 괜찮은 클립도 바로 옆 클립과 붙는 순간 녹음의 질감이 다르다는 사실이 드러날 수 있다.

• [ ] 다른 소리를 덧붙이지 않은 상태에서 원본 오디오를 들었다.
• [ ] 목록에서 개별 요소와 하나로 섞여 있는 소리를 구분했다.
• [ ] 요청한 오디오와 실제로 나온 오디오의 차이를 기록했다.
• [ ] 비교할 수 있도록 원본을 보관하고 있다.

소리마다 자리와 역할을 정하자

남기려는 각 요소에 대해 상대적인 음량, 스테레오 폭, 들리는 거리감을 적는다. 이 셋은 서로 다른 결정이다. 소리는 작으면서도 가까이 들릴 수 있고, 먼 곳에서 벌어지는 일의 소리이면서도 두드러지게 들릴 수 있다. 모든 소리의 음량을 올린다고 해서 관객이 어디에서 듣고 있는지가 정해지는 것은 아니다.

나는 일상적인 표현을 쓴다. 전경인지 배경인지, 중앙에 모이는지 넓게 퍼지는지, 가까운지 먼지를 적는다. 이는 장면 안에서 소리들이 맺는 작업상의 관계이지, 어디에나 적용할 수 있는 믹싱 설정값이 아니다. 작업표에 숫자가 있으면 더 전문적으로 보인다는 이유만으로 데시벨 값을 정하지는 않는다.

다음으로는 행동이 이어지는 각 구간에서 어떤 소리가 관객의 귀를 이끄는지 정한다. 바탕이 된 사운드 계획에서는 외부에서 일어나는 사건의 소리가 먼저 주도하고, 인물의 몸 상태가 달라지면 숨소리가 그 역할을 이어받을 수 있다. 여기서 중요한 결정은 주도권이 넘어가는 순간이다. 모든 소리를 똑같이 두드러지게 유지하면 그 전환이 가려진다.

그 계획은 짧은 숏에서 두세 가지 주요 소리에 주의를 모은다. 나는 이를 선택에 집중하기 위한 원칙으로 받아들인다. 배경에 다른 소리가 있어서는 안 된다는 뜻은 아니다. 어떤 요소가 주도하는지 말할 수 없다면, 그 구간의 사운드 연출은 아직 끝나지 않은 것이다.

• [ ] 남기는 모든 요소의 음량, 폭, 거리감을 적었다.
• [ ] 숏의 각 구간을 주도하는 소리가 무엇인지 말할 수 있다.
• [ ] 소리의 강조점은 행동에서 확인할 수 있는 변화에 따라 바뀐다.

몸과 재질이 이야기를 전하게 하자

나는 장면에 실제로 존재하는 것들에서 소리를 표현할 어휘를 찾는다. 옷감이라면 어떤 재질이며 어떤 상태인지가 필요하다. 발소리라면 발이 닿는 표면이 필요하다. 숨소리라면 몸이 어떤 상태인지가 필요하다. 이런 구분이 단순히 극적인 분위기를 요청하는 것보다 훨씬 쓸모 있는 지시를 만들어 준다.

사운드 계획은 건조하고 뻣뻣한 리넨과 상태가 달라진 천을 구분한다. 또한 발밑에서 흩어지는 모래 위의 움직임과 단단하게 다져진 흙 위의 움직임도 구분한다. 목적은 그 세계를 알아들을 수 있게 만드는 것이지, 눈에 보이는 모든 물체에 효과음을 모아 붙이는 것이 아니다. 접촉이나 움직임, 상태의 변화가 중요할 때 그 소리가 장면에 자리를 얻는다.

말이 적은 인물이라면 극적인 변화가 일어나기 전과 후에 몸에서 나는 소리를 비교한다. 코로 길게 이어지는 호흡과 입을 벌리고 짧게 내쉬는 호흡은 서로 다른 몸 상태를 나타낸다. 나는 그 변화가 어디에서 일어나는지, 다음 숏에서도 그 상태가 유지되는지 결정한다. 새 클립이 시작된다는 이유만으로 인물의 몸 상태를 처음으로 되돌리지는 않는다.

목소리로 드러나는 반응에도 같은 절제가 필요하다. 숨을 내쉬거나 힘을 쓰며 내는 소리에는 그에 맞는 몸짓과 의도가 있어야 한다. 모든 움직임에 덧붙이는 소음이 되어서는 안 된다. 입이 보인다면, 그 소리의 연기는 얼굴과 몸이 실제로 하고 있는 행동에 어울려야 한다.

• [ ] 강조되는 접촉음마다 어떤 재질이나 표면에서 나는 소리인지 알 수 있다.
• [ ] 호흡이나 소리의 질감 변화가 장면의 변화와 맞아떨어진다.
• [ ] 앞선 숏에서 정해진 몸 상태가 다음 숏에서도 유지된다.

빈자리를 남기는 대신 침묵을 설계하자

나는 계획에 침묵을 적을 때 무엇이 멈추고 무엇이 남는지도 함께 적는다. 멀리서 들리던 쇳소리가 멈추고 바람은 계속 부는 것과, 모든 소리 층이 사라지는 것은 서로 다른 사건이다. 전자는 같은 장소 안에서 주의를 다른 곳으로 돌릴 수 있다. 후자는 장소 자체의 소리까지 없앤다. 나는 둘 중 어느 쪽을 쓸지 의식적으로 선택한다.

소리가 어떻게 멈추는지도 명시한다. 갑자기 끊기는 소리와 서서히 잦아드는 소리는 서로 다른 이야기를 한다. 행동에 맞춰 소리가 단번에 멈춰야 하는데 부드럽게 페이드아웃하면, 관객이 알아차려야 할 바로 그 사건의 힘이 약해질 수 있다.

나는 조용한 구간을 행동이나 어떤 사실이 드러나는 순간, 또는 대사와 연결해 배치한다. 그런 다음 실제 화면과 소리에 맞춰 그 길이를 판단한다. 바탕이 된 계획은 제안된 일부 공백을 청취 테스트가 필요한 설계상의 결정이라고 분명히 밝힌다. 나도 그 구분을 유지한다. 계획에 적힌 시간만으로는 그 쉼이 효과적이라는 사실을 입증할 수 없다.

침묵이 반드시 하나의 효과로서 존재감을 드러낼 필요는 없다. 때로는 경쟁하던 소리 한 층이 물러나고 작은 소리가 알아들을 수 있게 되는 것만으로 충분하다. 나는 그 결과를 듣는다. 이제 장면이 주목하라고 요구하는 소리가 들리는가?

• [ ] 멈추는 소리 층과 남는 소리 층을 각각 적었다.
• [ ] 전환이 갑작스러운 끊김인지 페이드인지 정했다.
• [ ] 조용한 구간이 특정한 사건을 뒷받침하며, 실제로 그 사건에 맞춰 시험했다.

목소리가 그 숏 안에 존재하게 하자

목소리가 또렷해도 화면 위에 따로 붙인 것처럼 들릴 수 있다. 나는 목소리에서 느껴지는 거리감과 잔향을 화면 속 공간과 비교한다. 가까이에서 녹음한 친밀한 목소리가 탁 트인 장소의 먼 곳에 서 있는 화자에게 저절로 어울리는 것은 아니다.

목소리를 키우기 전에 무엇이 자리를 내줄지 정한다. 바탕이 된 계획은 대사를 계속 깔려 있는 배경음을 압도해야 하는 층으로 취급하지 않고, 말이 나올 때 그 주변에 여유를 만든다. 그러면 대사도 장면 안에서 주의가 옮겨 가는 과정의 일부가 된다.

나는 대사를 어떻게 말할지와 음향적으로 어디에 둘지를 나누어 설명한다. 높낮이 변화 없이 조용하게 말하는 것은 연기의 결정이다. 그 목소리가 가까운지 먼지, 밀폐된 공간에 있는지 야외에 있는지 들리게 하는 것은 공간의 결정이다. 생성된 숏의 구도는 계획과 다를 수 있으므로, 두 가지 모두 실제 숏에 맞춰 확인해야 한다.

거리감과 잔향을 요청했다는 이유만으로 음성이나 효과음 생성기가 이를 충실하게 재현할 것이라 생각할 수는 없다. 결과가 화면에 어울리지 않는다면 여전히 믹싱으로 해결해야 할 일이다. 그럴듯한 지시문을 썼다고 해서 음향적으로 화면에 맞는 결과가 완성된 것은 아니다.

• [ ] 목소리의 거리감과 잔향이 화면에 보이는 공간과 일치한다.
• [ ] 경쟁하는 소리가 대사에 자리를 내준다.
• [ ] 실제 숏을 기준으로 생성된 목소리의 연기를 확인했다.

컷이 바뀌어도 장소를 이어 가자

따로 생성한 클립들은 서로 다른 배경음의 질감을 가져올 수 있다. 나는 시퀀스가 완성됐다고 판단하기 전에 클립이 이어지는 지점을 듣는다. 화면의 연속성이 유지되더라도 잡음이나 환경음이 갑자기 달라지면 편집 지점이 드러날 수 있다.

바탕이 된 내 계획은 원본 오디오를 살핀 뒤 공통으로 이어질 환경음 바탕을 만든다. 이 순서가 중요하다. 어떻게 연결할지 결정하기 전에 먼저 재료를 들어야 한다. 나는 비교적 잡음이 적은 숏을 기준으로 배경음을 비교하고, 일관되지 않은 잡음을 다룬다. 그렇다고 원본 소리를 전부 버려야 한다고 가정하지는 않는다.

연결 지점마다 무엇이 이어지고, 무엇이 바뀌며, 왜 그런지를 적는다. 표면이나 장소가 달라지면 소리가 바뀔 이유가 생긴다. 새로 생성한 클립이라는 사실만으로는 그 이유가 되지 않는다. 관객의 귀에 들려야 하는 것은 이야기 속 공간과 행동이지, 클립 사이의 경계가 아니다.

그런 다음 눈을 감고 조립된 장면 전체를 듣는다. 이야기상 이유 없이 배경음이 튀어서 컷의 위치를 알아챌 수 있다면 그 연결 지점으로 돌아간다. 이는 연속성을 확인하는 시험이지, 의도적인 소리 전환까지 모두 감추라는 요구가 아니다.

• [ ] 배경음은 생성 클립의 경계가 아니라 장면의 변화에 따라 바뀐다.
• [ ] 이어지는 소리가 연결 지점을 지나서도 같은 소리로 들린다.
• [ ] 화면을 보지 않고 시퀀스 전체를 들었다.

구체적으로 들을 수 있는 소리를 지시하자

나는 효과음 지시문이 실제로 들을 수 있는 사건을 설명하길 원한다. 소리의 근원, 행동, 질감, 원근감이 그 내용이다. 다음 예시는 사운드 계획에서 가져왔다. 분위기를 요청하는 대신 천과 접촉하는 소리를 요청한다.

An open dry palm dragging slowly and continuously across a stiff, coarse, heavily textured linen surface, a low steady friction sound with no wetness, no music.

나는 해당 재질과 행동이 맞는 곳에서만 이 지시문을 사용한다. 이것은 원래 계획에 담긴 예시이지, 특정 생성기가 어떤 결과를 낸다고 검증된 보장은 아니다. 생성이 끝나면 접촉, 타이밍, 질감을 다시 화면과 비교한다. 아무리 아름다운 효과음이라도 다른 재질의 소리라면 잘못된 효과음이다.

이 지시문에서 음악을 제외하는 이유는 요청한 효과음만 얻기 위해서다. 완성될 장면에 음악을 넣을지까지 결정하는 것은 아니다. 그 결정은 장면 전체를 보고 내려야 한다.

음악이 무엇을 더할지 결정하자

행동과 소리의 원근감, 연속성이 분명하게 읽히면 음악을 고려한다. 나는 몸과 목소리, 환경이 이미 전달하는 감정을 반복하는 것 말고 음악이 무엇을 더할 수 있는지 묻는다. 이제 장면이 스스로 무엇을 하고 있는지 들을 수 있으므로 더 확실한 판단을 내릴 수 있다.

《Borrowed Wounds》의 사운드 계획에서 음악을 넣지 않으려는 이유는 구체적이다. 주요 소리가 이미 관객의 주의를 차지하고 있고, 침묵이 극적 무게를 지니며, 음악은 같은 정보를 다시 말하게 되기 때문이다. 나는 이 선택을 모든 AI 영화에는 음악이 없어야 한다는 규칙으로 바꾸지 않는다.

나는 화면과 소리를 따로 시험한다. 화면을 가리고 들으면서 행동과 공간, 몸 상태에 관한 정보가 전달되는지 살핀다. 소리를 끄고 볼 때는 어떤 정보가 사라지는지 확인한다. 그런 다음 둘을 다시 함께 재생하고 그 관계를 판단한다. 어떤 소리 층이 유용한 정보를 더하지 않는다면, 그저 세련되게 들린다는 이유로 남기기 전에 그 역할을 다시 생각한다.

• [ ] 제안한 음악이 이 장면에 무엇을 더하는지 설명할 수 있다.
• [ ] 화면과 소리를 따로 시험한 뒤 함께 시험했다.
• [ ] 음악에 관한 결정은 장면에 필요한 것을 따른다.

장면 작업표를 작성하자

나는 이 표를 편집 작업 곁에 둔다. 직접 듣고 본 것을 바탕으로 채우고, 재료가 나오기 전까지 알 수 없는 것은 모른다고 명시해 둔다. 이 표는 계획을 승인된 결과처럼 취급하지 않으면서도 결정을 기록하는 도구다.

표에 적은 내용이 실제로 들은 것과 일치할 때만 작성을 마친다. 클립이 아직 생성되지 않았거나, 믹스를 아직 구성하지 않았거나, 전환을 아직 시험하지 않았다면 그 결정은 미완으로 남겨 둔다. 이 작업의 쓸모 있는 결과는 소리마다 존재할 이유가 있는 장면, 그리고 무엇이 더 필요한지 분명하게 드러나는 남은 작업이다.