Ejendommen på hjørnet af Brogade og Havnepladsen har igennem mere end 150 år fungeret som hotel og gæstgiveri. Hvornår denne virksomhed begyndte vides ikke præcist. Ejendommen var igennem mere end 30 år ejet af købmand Rasmus Peter Baagøe. Første gang der nævnes noget om et gæstgiveri er i 1845, hvor Baagøes enke Kristine Brandt driver et værtshus på hjørnet. Samme år sælges ejendommen til godsejeren på Hesselagergård Andreas Dons. Han har ikke selv boet i Brogade, men har i stedet lejet den ud. Der er muligvis nogen der har fortsat værtshusvirksomheden på hjørnet.
I 1854 køber Caroline Hanefeldt ejendommen for at drive gæstgiveri. Hun var enke efter købmand Niels Madsen på Torvet 7. Fra dette tidspunkt har der med nogle få undtagelser været hoteldrift til i dag. I 1867 købtes hotellet af en Jens Pedersen, som tidligere havde erhvervet sig som småkører. Med Pedersen fik hotellet samtidig sit navn: Gæstgivergården Svendborg eller senere Hotel Svendborg (skal ikke forveksles med det nuværende Hotel Svendborg på Centrumpladsen). Det var i hvert fald navnet da Pedersen foretog en stor ombygning i 1871. I et forsøg på at tiltrække flere kunder til hotellet erstattedes den gamle ejendom i 1881 med en ny og moderne bygning. Denne er næsten identisk med den nuværende.
I 1877 døde Jens Pedersen og hotellet blev herefter drevet videre af først dennes enke og efterfølgende sønnen Peder Pedersen. Efter Peder Pedersens død skiftede hotellet ejer mange gange. Blandt dem var hotelejer La Cour, som ved siden af også drev hotellerne ved Christiansminde.
I 1920’erne skiftede hotellet navn og kom igennem de næste mere end 50 år til at hedde Ny Missionshotel. Navneskiftet skete muligvis samtidig med at Carl Nielsen overtog hotellet. Denne havde det kun i nogle få år, men efterlod i 1937 hotellet til sønnen Sigfred Nielsen. Sigfred drev hotellet frem til 1977.
Hotellet kom rimelig helskindet igennem besættelsesårene, men blev i marts 1945 inddraget til at huse tyske flygtninge. Efter befrielsen 5. maj 1945 blev flygtningene flyttet. På trods af at de blot havde boet på hotellet i et par måneder, gik der mere end to måneder med at gøre rent og desinficere værelserne.
I 1977 var hotellet ikke længere nogen god forretning og blev solgt til restauratør Aksel Svensson (tidligere ejer af restaurant Hønen i Vestergade 48), som ville forsøge at revitalisere det gamle hotel. Stedet fik nyt navn, Axelhus, og en ny steakrestaurant på stueetagen. Det lykkedes dog ikke og Svensson måtte ret hurtigt dreje nøglen om. Den efterfølgende periode blev turbulent. Flere tvangsauktioner blev afværget og ejendommen blev bl.a. udlejet til Flygtningehjælpen.
I 1979 købtes stueetagen af italieneren Salvatore Micalizio, som omdannede den til restauranten, Bella Italia. Micalizio driver fortsat restauranten på havnen. Det øvrige af ejendommen blev opdelt i lejligheder og solgt til CAMA kollegiet i 1991, som ungdomsboliger. I 2008 solgte CAMA kollegiet ejendommen til Hotel Ærø og Brogade 2-4 blev dermed igen anvendt til hoteldrift.
Hotellet har haft mange gæster i årenes løb, men er nok bedst kendt for at Sixten Sparre og Elvira Madigan boede her i en kort periode før de begik selvmord i Nørreskoven på Tåsinge (se afsnittet om parret her på siden).
