Könyvtárunk 1951-ben népkönyvtárként került megalapításra, majd járási könyvtárrá alakul és 1979. január 1-ig mint nagyközségi - járási könyvtár működik. A járások megszűnése után nagyközségi könyvtár lesz. 1986-tól, Szécsény városi rangra emelésétől városi könyvtárként működik.

Az intézmény 1967-től viseli Krúdy Gyula nevét.

A könyvtár 1996. augusztus 16. nappal összevonásra került a Városi Művelődési és Ifjúsági Centrummal és 1998. december 31-ig működött annak könyvtári egységeként, de régi nevének használati jogával felruházva.

Szécsény Város Önkormányzatának Képviselő-testülete 288/1998. (XII. 28.) sz. határozatával a Krúdy Gyula Városi Könyvtár önállóságát az 1997. évi CXL. tv. 67. §. /1/ és /2/ bekezdése alapján visszaállította, és új intézményt alapítva döntött a Krúdy Gyula Városi Könyvtár önálló jogi személyiségű intézményként történő működéséről.

Szintén Szécsény Város Önkormányzatának Képviselő-testülete a 205/2003. (IX. 29.) sz. határozatával összevonta a Művelődési Központot és a Krúdy Gyula Városi Könyvtárat, így 2004. január 1-től a könyvtár a Krúdy Gyula Városi Művelődési Központ és Könyvtár intézményegysége. A könyvtárvezetői feladatokat az intézmény mindenkori igazgatóhelyettese látta el.

Szécsény Város Önkormányzatának Képviselő-testülete 106/2013.(V.13.) határozatával megszűntette a Krúdy Gyula Városi Művelődési Központ és Könyvtárat, és jogutódként a nyilvános könyvtári ellátás tekintetében a Kubinyi Ferenc Múzeum és Krúdy Gyula Könyvtárat jelölte meg. Ennek értelmében a könyvtár 2013. június 1-től a Kubinyi Ferenc Múzeum és Krúdy Gyula Könyvtár intézményegysége.

2007. szeptember 1-től, ismét a képviselő-testület döntése értelmében az összevont intézményhez csatolták a szécsényi II. Rákóczi Ferenc Bölcsőde, Óvoda, Általános Iskola, Gimnázium és Szakközépiskolában működő könyvtárakat, így ettől az időponttól két, külön épületben működő fiókkönyvtárral bővült az intézmény. A fiókkönyvtárak 2013. január 1. nappal kikerültek a városi könyvtár feladatai közül.

A könyvtár története során több épületben működött. A kezdetektől 1965-ig a Rákóczi út 64. szám alatt (ma Rákóczi út 72.), majd 1965 és 1993 között a Feszty Árpád út 1-ben nyert elhelyezést. 1993-tól 2008. március végéig a Sas u. 1. volt az otthona, jelenleg pedig a művelődési központtal közös épületben (Ady Endre u. 12.) található. Az első költözés alapterület bővülést, míg a többi folyamatos csökkenést hozott magával.

Az elmúlt több mint 60 évben sokan dolgoztak az intézményben szakmai és kisegítő munkakörökben egyaránt.