辉山社区四周被辉山村环绕。距思聪街道办事处大约四公里，社区占地面积2.5平方公里，有715户居民，户籍人口3210人，常住人口1320人。下设四个村民小组，现有党员260人，下设五个党支部。社区设有一个文化站。
　　辉山社区与火车站社区、清水社区、深塘村、左垅村、茶冲村、思聪村、辉山村、红桥村、下清村、龙溪村、三华村、清水村相邻。
　　辉山社区附近有茶陵云阳山、茶陵县工农兵政府旧址、卧龙山庄景区、洣江书院、晓塘古城等旅游景点，有茶陵黄牛、茶陵大蒜、茶陵豆腐乳、茶陵紫皮大蒜、茶陵生姜等特产。