平江县图书馆成立于1978年，国家一级馆，归属平江县文广新局，落地平江县城关镇南街299号.1995年由政府投资和欧阳遇（美籍华人）基金会捐款在原址改建，故又名“欧阳遇图书馆”。目前，有工作人员19人，其中大专以上学历17人，有11人取得中级专业职称。平江县图书馆是文化部评估定级的全国县级“一级公共图书馆”，文化设施完善，布局合理，网络健全，设古籍室、地方文献室、外借室、少儿图书室、报刊阅览室、文化共享支中心、咨询室等部门，收藏各类书刊文献20万余册，是县城重要的精神文明窗口。

平江县图书馆共有14个分馆，分别是少儿分馆、四柱路分馆、启明社区分馆、红色阅读馆、三阳乡石坪分馆等建设建筑面积达到6200多平方米。平江县图书馆还管理着全县742家农家书屋及各乡镇的农家书屋阅读推广馆，形成了健全的县、乡、村公共图书网络体系。

平江县图书馆2006年被国家文化部评估定级为“一级公共图书馆”，各项建设均达到文化部规定的一级以上标准。