Controlling Latent Diffusion Using Latent CLIP