Schmersau, das wendischen Ursprungs ist, taucht in der Geschichte zum ersten Male in einer Urkunde vom Jahre 1337 als smersowe auf. Die nächste Nachricht über das Dorf gibt das bekannte Landbuch Kaiser Karls IV aus dem Jahre 1375.
Die verhältnismäßig späte Besiedlung wird darauf zurückgeführt, dass durch die angestauten Wasser der Biese über längere Zeit hindurch hier ein Sumpfgebiet bestand.
Der heutige Ort lag in der damligen Zeit etwa 500 m nörlich an der Biese. Auf einer gerodeten Lichtung im damligen Eichenwald hatten sich die ersten Kolonisten ihre Siedlung gebaut. Erst später entstand der Ort auf der heutigen Stelle, da das Sumpfgebiet eine Verlegung notwendig machte.
Im dreißigjährigen Krieg wurde der Ort geplündert und zum Teil zerstört. Schmersau war unter den damaligen feudalistischen Verhältnissen der sogenannten Vogtei Brome des Klosters Wolfsburg unterstellt. Hier hatte das Geschlecht der Feudalherren Graf von Schulenburg ihre Residenz. Im Jahre 1853 hatte die Gemeinde das Fischereirecht.
Die Krisenzeit um 1920 bis 1930 ging an der Gemeinde Schmersau so gut wie spurlos vorüber. Auch der 2. Weltkrieg zeigt für die Gemeinde keine direkten Auswirkungen, jedoch war ein Rückgang im wirtschaftlichen Leben sprürbar geworden.
Neu geschaffen haben sich die Schmersauer und Orpensdorfer ein tolles Dorfgemeinschaftshaus an der Straße in Richtung Natterheide. Das Mehrzweckgebäude dient gleichzeitig der Feuerwehr als Versammlungsraum und als Fahrzeughalle für das Fahrzeug der Feuerwehr.
Die Feuerwehr selbst wurde 1901 gegründet und zählte damals 15 Kameraden.
Die Schmersauer Kirche ist ein romanischer Feldsteinbau, der aus dem Turm, dem Kirchenschiff und dem etwas niedrigeren, ostwärts durch zwei kleine Fenster beleuchteten Altarhaus bestand. An diesem ursprünglichen Bau sind im Laufe der Zeit allerlei Veränderungen vorgenommen worden.
(Quelle: www.osterburg.de)
Durch einen Gebietsänderungsvertrag haben die Gemeinderäte der Gemeinden Ballerstedt (am: 24. November 2008), Düsedau (am: 12. November 2008), Erxleben (am: 10. November 2008), Flessau (am: 27. November 2008), Gladigau (am: 26. November 2008), Königsmark (am: 25. November 2008), Krevese (am: 12. November 2008), Meseberg (am: 19. November 2008), Rossau (am: 10. November 2008), Walsleben (am: 10. November 2008) und der Hansestadt Osterburg (Altmark) (am: 6. November 2008) beschlossen, dass ihre Gemeinden aufgelöst und zu einer neuen Einheitsgemeinde mit dem Namen Hansestadt Osterburg (Altmark) vereinigt werden. Dieser Vertrag wurde vom Landkreis als unterer Kommunalaufsichtsbehörde genehmigt und trat am 1. Juli 2009 in Kraft.
Amtsblatt des Landkreis Nr. 2/2009 Seite 13-19