Xã Hồ Sơn thuộc huyện Hữu Lũng, cách trung tâm huyện 4 km, Ranh giới xã được xác định như sau: phía Bắc giáp xã Cai Kinh, phía Nam giáp xã Minh Hòa và Hòa Thắng, phía Đông giáp xã Tân Thành, phía Tây giáp xã Sơn Hà.

          Diện tích tự nhiên của xã Hồ Sơn là 15,56 km². Trong đó: đất sản xuất nông nghiệp có diện tích 758,75 ha, chiếm 48,77%; diện tích đất lâm nghiệp là 619,2 ha, chiếm 39%; diện tích đất phi nông nghiệp là 176,65 ha, chiếm 11,35%. Địa hình bị chia cắt bởi nhiều suối và khe sâu, ảnh hưởng không nhỏ đến việc phát triển kinh tế và xây dựng cơ sở hạ tầng kinh tế - xã hội. Xã có đường tỉnh lộ 242, 245, đường sắt Hà Nội - Lạng Sơn đi qua.

          Tính đến tháng 5 năm 2018 xã Hồ Sơn có 5.170 nhân khẩu, với 1.198 hộ, gồm 5 dân tộc anh em cùng sinh sống là: Nùng, Kinh, Tày, Hoa, Dao, chia thành 10 thôn gồm: Đồng Sơn, Đồng Gia, Tám Nhăm, Na Ví, Sơn Hồ, Tân Hoa, Na Hoa, Trại Nhạn, Tân Vị, Phố Vị).

          Trên địa bàn xã có 5 điểm di tích là Đền Quan tam phủ Phú Vị, đình Na Hoa, đình Sơn Hồ, đình Trại Nhạn và đình Trại Thọ. Trong đó, khu di tích Đền Quan tam phủ Phú Vị đã được xếp hạng khu di tích cấp tỉnh.