Het gemaal Oude Rijn is gelegen in de zogenaamde Drie Dorpenpolder. Deze bestaat uit de oude polders Herwen, Aerdt en Pannerden, die sinds het graven van het Pannerdens kanaal in 1701-1707 als een eiland zijn ingesloten tussen de Nederrijn, Waal en het kanaal. Ten behoeve van de waterhuishouding van de polder en het daarin uit de omliggende waterwegen binnenkomende kwelwater kwamen enige uitwateringssluisjes tot stand, waaronder de in 1802 gebouwde sluis in de dijk langs de Oude Rijn, waarnaast zich thans het voormalige stoomgemaal Oude Rijn bevindt.

Na een periode met grote wateroverlast nam de dijkgraaf van het toenmalige Polderdistrict Herwen, Aerdt en Pannerden het initiatief de haalbaarheid van het stichten van een stoomgemaal voor de waterbeheersing van het gebied te onderzoeken. Het Polderdistrict  wendde zich voor advies tot Van Hasselt en De Koning uit Nijmegen. Zij leverden in maart 1883 hun ontwerp voor het gemaal, bestaande uit twee door horizontale stoommachines met expansie en condensatie aangedreven centrifugaalpompen. Het door machinefabriek Stork te Hengelo vervaardigde plan voor de installaties ging uit van stoommachines van het fabrikaat Gwynne, met Cornwall ketels en Galloway waterbuizen en centrifugaalpompen van fabrikant Allen & Co. Het polderdistrict nam de plannen aan, waarna de bouw van het gemaal plaatsvond in de periode mei 1883 tot mei 1884.

In 1915 werd besloten één van de twee stoommachines van het gemaal door een elektromotor te vervangen. De aanpassing werd in 1916 uitgevoerd onder leiding van de firma Groeneveld & Ruempol te Amsterdam, die daartoe een 80 pk sterke elektromotor van de Zweedse fabrikant Eck leverde. Na de ingebruikname van de installatie bleek de capaciteit tegen te vallen, hetgeen te wijten was aan de verouderde pompen. Het adviesbureau Dwars, Groothof & Verhey (het latere DHV, thans gefuseerd met Royal Haskoning) adviseerde de pomp geheel te vervangen door een nieuwe pomp van Stork Hengelo, hetgeen gebeurde. De nieuwe pomp werd in 1917 besteld, maar kon door materiaalschaarste als gevolg van de Eerste Wereldoorlog pas eind 1918 geleverd en begin 1919 in bedrijf gesteld worden. De capaciteit van de pomp bedroeg net als die van de oude installatie 63 m3 water per minuut. De elektromotor werd in 1920 opgevoerd van 80 naar 100 pk.
Toen het Rijkstoezicht op het Stoomwezen, dat al meerdere keren had gewaarschuwd voor de slechte staat van het onderhoud aan het gemaal, in 1921 een grondige inspectie naar de kwaliteit van de nog resterende stoommachine en –ketels aankondigde, besloot het polderbestuur een plan te laten uitwerken om tot totale elektrificatie van het gemaal over te gaan. Dit plan werd in 1923 uitgevoerd, waarbij ook de andere oude pomp vervangen door een nieuwe Stork-centrifugaalpomp, aangedreven door een Heemaf SKA NK 93-8 elektromotor van 120 PK. De overbrenging van de al bestaande installatie werd bij de plaatsing van de nieuwe installatie aangepast, zodat deze voor beide installaties identiek was. Deze overbrenging bestond uit riemschijven met een doorsnede van drie meter aan de pompen, die via leren riemen waren verbonden met de elektromotoren. Door de grootte van de riemschijven was het noodzakelijk de motoren verder van de pompen te plaatsen. Daartoe werd aan de voorzijde van de machinekamer een uitbouw gemaakt die tevens ruimte bood aan de benodigde transformatorruimte.  Na de ingebruikneming  van de nieuwe installatie werden de oude stoomketels uit het ketelhuis verwijderd en werd het ketelhuis verbouwd tot woonhuis voor de machinist.

In 1970 werd de Oude Rijn van het Pannerdens kanaal afgesloten, waardoor het belang van de dijken rondom de Oude Rijn in belangrijke mate verviel. In hetzelfde jaar werd de functie van het gemaal Oude Rijn overgenomen door het nieuwe dieselgemaal Kandia in Groessen. Het gemaal en de daarin aanwezige installaties zijn echter bewaard gebleven. In 1996-1997 werd het gebouw gerestaureerd, waarbij de in 1923 gerealiseerde aanbouw tegen de voorgevel van de machinekamer werd verwijderd en de oorspronkelijke gevel werd gereconstrueerd. Bij de restauratie werd tevens de inlaat van het gemaal grotendeels vernieuwd. In 2015-2016 vond een nieuwe restauratie plaats, waarbij de contour van de schoorsteen in de vorm van een stalen frame werd teruggeplaatst. Het ketelhuis en de loods kregen daarbij een herbestmming als expositieruimte, educatief centrum en bed&breakfast.