Od 1546 roku, kiedy Mikołaj Radziwiłł Rudy został kalwinem, aż do połowy XVIII w., Birżami rządziła protestancka, birżańsko-dubincka gałęź Radziwiłłów. Birże stały się ośrodkiem kalwinizmu. Krzysztof Radziwiłł-Piorun wybudował zamek - rezydencję. W celu obronnym, po spiętrzeniu dwóch rzek: Agluony i Apaszcza (lit. Apaščia), powstał najstarszy na Litwie sztucznie uformowany zbiornik wodny o powierzchni 336 ha - jezioro Szirwenos (lit. Širvėnos).
Miasto było otoczone obronnymi murami i wałami. Wybudowano ratusz i inne budynki użyteczności publicznej oraz kościół ewangelicko-reformowany.
Na zamku podczas wojny północnej została podpisana słynna Umowa Birżańska pomiędzy carem Piotrem I i elektorem Saksonii Augustem II. Na początku XIX w. zamek Radziwiłłom zabrał car, jakoby za niespłacone długi i tanio sprzedał Tyszkiewiczom. Tyszkiewiczowie wybudowali dwór w Astrawie, do którego obecnie prowadzi długi most przez jezioro.