Latenet Audio Effects (LAFx)

• DAC의 latent space에서 다양한 operation을 적용하여 오디오 이펙트를 구현하겠다는 아이디어.
• IRCAM Forum을 위해 준비하고 있음.

RVQ 방식에 관한 생각

• $z_{\text{in}}$과 $z_{e,1}$이 주어지면, 나머지 코드북들인 $z_{e,2}, ..., z_{e,9}$는 자동으로 결정됨.
• 현재까지는 $z_e = [z_{e,1}, ..., z_{e,9}]$ 전체에 대해 mix, saturation, delay 등을 적용해왔음.
• 그러나 첫 번째 코드북 $z_{e,1}$에 대해서만 operation을 적용하고, 나머지 코드북에 대해서는 $z_{\text{in}}$을 사용하여 inference되도록 해볼 수 있음.

Residual Vector의 의미 고찰

• 이 구조를 다시 보면 residual vector가 가지는 의미를 더 깊이 이해할 수 있을 것 같음.
• 첫 번째 코드북과 나머지 코드북 사이의 significance 불균형을 해결할 방법을 찾을 수 있을 가능성도 있음.

Element-wise 및 Directional Saturation 적용

• element-wise와 directional 방식의 saturation을 각각 구현했음.

  python
  코드 복사
  def saturation(x, factor, method="directional"):
      if method == "elementwise":
          x = factor * torch.tanh(x/factor)
      elif method == "directional":
          x_norm = torch.norm(x, dim=1, keepdim=True)
          saturation = factor * torch.tanh(x_norm/factor)
          saturation = saturation / x_norm
          x = x * saturation
      return x
  
  

• 그러나 문제 발생: saturation 적용 후에도 계속 원본 소리와 큰 차이가 없는 결과가 나옴.

• 원인은 quantizers[d].out_proj(latents_saturated)를 업데이트하는 과정에서 +=을 쓰지 않고 =을 사용해 누적이 제대로 이루어지지 않았던 것임.

funk_guitar_loop_2_saturated_directional_100.wav