GNeSF: Generalizable Neural Semantic Fields