Kiedy postawiono pierwsze drewniane krzyże na tak zwanej Łysej Górze nie wiadomo. Według legendy, upamiętniły one męczeństwo siedmiu zakonników franciszkanów. Zakonników było siedmiu, a krzyże trzy. Najprawdopodobniej są one symbolem Golgoty i symbolem religii dominującej w mieście. Wjeżdżając do Wilna, z daleka było widać, że przybywa się do miasta chrześcijańskiego.
Na początku XX wieku na starych zdjęciach drewniane krzyże jeszcze są, później już ich brakuje lub są kopie. W 1915 roku, kiedy miasto było okupowane przez Niemców, okazało się, że na inicjatywy narodowo-religijne okupanci patrzą solidarnie i krzyże im nie przeszkadzają.
Inicjatywy odbudowania krzyży podjął się architekta, rzeźbiarz Antoni Wiwulski, który już wcześniej wybudował kaplicę Matki Bożej w Szydłowie (na Żmudzi) i pomnik Grunwaldzki w Krakowie, a tymczasem budował w Wilnie kościół Serca Pana Jezusa. Antoni Wiwulski jest również autorem płaskorzeźby Tadeusza Kościuszki, którą można zobaczyć w kościele akademickim św. Janów.
Według pierwszego projektu planowano budować krzyże z rzeźbami Jezusa i łotrów, ale w końcu zdecydowano wyróżnić tylko gwoździe. Do budowy pomnika Trzech Krzyży użyto żelbeton – mało znany w tamtym czasie materiał.
Prace odbywały się bardzo szybko, bo obawiano się żeby władza nie zmieniła zdania. Pomnik wybudować pozwolili, ale poświęcić nie. Budowa trwała 2 miesiące i kosztowała 3642 marki. Połowę sumy ofiarowali Wilnianie.
W 1950 r. Pomnik Trzech Krzyży został wysadzony w powietrze przez władze sowieckie. W tym samym roku strącono z dachu katedry i rzeźby: św. Heleny, św. Stanisława i św. Kazimierza. Obecnie wszystko jest odbudowane.
Podczas wojny polsko-bolszewickiej Antoni Wiwulski wstąpił do Samoobrony Wileńskiej. W nocy 3 stycznia 1919 r., gdy Niemcy opuszczali Wilno, a bolszewicy nacierali, pełnił wartę na Zarzeczu przed domem sztabu Samoobrony. Przy zmianie warty oddał swój szynel zziębniętemu żołnierzowi. Sam tej nocy wracając do domu przeziębił się, zachorował na zapalenie płuc i po kilku dniach zmarł. Nigdy nie ożenił się, bo jak sam mówił: żonie mógłby poświęcić tylko dwa miesiące w roku. Reszta czasu – to praca. Został pochowany w niedobudowanym kościele Serca Pana Jezusa. Po przebudowie kościoła na Pałac Kultury Budowlańców jego szczątki zostały przeniesione na Górkę Literacką na wileńską Rossę.
