В 1844 году Чарльза Бэрри наняли для восстановления здания парламента, сгоревшего десять лет назад. Было решено, что обновленная постройка будет украшена башней с часами, создание которых архитектор поручил уважаемому часовых дел мастеру по имени Льюис Вуллами.
"Биг-Беном" обычно называют всю часовую башню, хотя на самом деле это прозвище самого крупного колокола на ней. Башня же официально именуется Башней Елизаветы в честь Королевы Елизаветы II, потому что так решили.
В отношении названия "Биг-Бен" существует две основных теории. Согласно первой, оно произошло от имени Бенджамина Холла, куратора строительных работ, бывшего, к тому же, весьма тучным. Вторая теория предполагает, что название было заимствовано из бокса - в то время всех тяжеловесов называли "Большими Бенами" в честь легендарного чемпиона в тяжелом весе Бенджамина Каунта.
В нижней части каждого из циферблатов Биг-Бена присутствует выгравированная на латыни надпись "Боже, храни королеву Викторию Первую".