Město Moravská Třebová bylo úzce spjaté s německou národnostní menšinou a během druhé světové války bylo součástí tzv. Sudet. Novodobá historie zdejší knihovny začíná až rokem 1945. Původně knihovna sídlila v budově Holzmeistrova muzea (po Náprstkově muzeu je místní egyptská sbírka největší v České republice a návštěvníci zde mohou obdivovat mumii princezny Hereret) a prvním dobrovolným knihovníkem byl poštovní úředník A. Hloušek. Jak už to tak bývá, knihovní fond byl zpočátku budován z darů místních občanů. Knihovna byla zprofesionalizována 1. září 1951 a její fond se rozrostl na 2000 svazků. Pozvedla také kulturní dění ve městě a zvala své čtenáře na besedy se spisovateli (např. František Kožík, Zdeněk Pluhař, František Buriánek aj.). V létě 1979 se knihovna přestěhovala do budovy zámku, kde měla k dispozici tři místnosti pro veřejnost (ty však neumožňovaly vytvořit samostatná oddělení pro děti a dospělé) a dále sklad a kancelář. Díky rekonstrukci zámku získala knihovna nové, větší prostory a bylo možné zřídit dvě samostatná oddělení - pro děti a pro dospělé.
A kdo byl Ladislav z Boskovic (asi 1455-1520)? Především nepřehlédnutelná (svým významem) postava přelomu 15. a 16. století na Moravě a přední osoba svého rodu. V roce 1485 koupil Moravskou Třebovou, která se stala jeho oblíbeným sídlem. A my se mu vůbec nedivíme! Ladislav z Boskovic započal přestavbu starého hradu na zámek s raně renesančními prvky. Díky tomuto šlechtici se může Moravská Třebová chlubit nejstarší dochovanou renesanční památkou v České republice, kterou je zámecký portál, dnes vsazený do jižní brány (dřívější hlavní vchod na nádvoří). Portál je datovaný rokem 1492 a je na něm uvedeno jméno stavebníka s letopočtem: Ladislaus de Boskovic et Nigromonte Dominus castri humus me fecit sub anno Domini 1492 (Ladislav z Boskovic a z Černé Hory, pán tohoto zámku, mne vystavěl L. P. 1492). 