Midden in de dorpskern van Oost-Souburg ligt de oude burg. De ingang is aan de Karolingenbaan. De houten palissade, het stukje gracht en de wal rondom de burg geven een indruk van de omvang van de burg die ooit is gebouwd om de Vikingen het hoofd te kunnen bieden. De kerk, bijna direct naast de burg, werd in 1520 verheven tot parochiekerk. De architectuur van de kerk wijst op een vroegere functie als kapel die in 1250 aan Maria werd gewijd. In die tijd sprak men nog over Sutburgh: 'Sut' omdat deze burg in het zuiden van Walcheren ligt. Later werd het Subburgh en in de vijftiende eeuw veranderde de u in een ou.

​

Op 5 december 1898 werd er in Oost-Souburg een fanfarekorps opgericht met de naam 'Vooruitgang is ons Streven'. Dit korps was geen lang leven beschoren: omstreeks 1911 ging het ter ziele. Oost-Souburg zonder muziekkorps is ondenkbaar, zullen enkele dorpelingen gedacht hebben, want op 8 augustus 1921 vindt er een belangrijke bijeenkomst plaats. Een ijverig 'secretaris' maakte er de volgende aantekening van:

Op 11 november 1921 werd begonnen met het leren noten lezen onder leiding van de toen reeds aangetrokken dirigent van Soelen, die daarbij werd geassisteerd door A. Kruithof. De leden konden gratis beschikken over zaal 'Rehoboth' en later ook over de zaal café 'Dorpszicht', in welk pand tegenwoordig snackbar 'City' en het aangrenzende Chinees-Indisch restaurant zijn gevestigd.Omdat er onder de aangemelde leden slechts een enkele houtblazer zat, werd de naam van de vereniging al op 25 november veranderd in 'Chr. Fanfarecorps Tot Steun in den Strijd'. Op 10 april 1922 (?) werden de eerste instrumenten aangekocht en de eerste uitvoering - voor begunstigers - werd op 1 maart 1924 gehouden.Op 7 mei 1925 werd de naam van de vereniging nogmaals gewijzigd. Vanaf dat moment was het 'Vlijt & Volharding'. Men was bij nader inzien toch niet zo gelukkig met 'Tot Steun in den Strijd'; om welke strijd moest het dan immers gaan?