Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models