De villa Valkenburg was gelegen aan de zuidkant van de Utrechtseweg in het westen van Oosterbeek, op de hoek met de huidige Van Borsselenweg. Oorspronkelijk stond hier de Koude Herberg, maar toen Robert Daniel Wolterbeek dit terrein in 1845 aankocht, veranderde hij de naam in Valkenburg, en liet hij een nieuwe Koude Herberg er schuin tegenover bouwen, op de plaats waar nog steeds een eet- en slaapgelegenheid met dezelfde naam staat.

	Robert Daniel Wolterbeek en zijn vrouw Henrietta Maria Anna Meijer, geschilderd door Charles Hodges

Robert Daniel Wolterbeek was bankier en is gedurende 10 jaar (1858-1868) directeur van de Nederlandsche Bank geweest. Hij werd in 1801 geboren in Amsterdam. Hij was lid van de gemeenteraad van Amsterdam en ook van de provinciale staten van Noord-Holland. Later werd hij lid van de provinciale staten van Gelderland. In 1829 trouwt hij met de in 1802 geboren Henrietta Maria Anna Meijer. Zij krijgen zes kinderen, te weten Margaretha Johanna Christina (1829), Joan Leonard (1831), Willem Pieter (1832), Anna Henrietta (1834), Dirk Jacob (1836) en Maria Antoinette (1838), die allen in Amsterdam zijn geboren. Zoals veel gegoede randstedelingen werd hij aangetrokken door de mooie natuur in Oosterbeek. Zijn halfbroer Dirk Jacob Wolterbeek was van 1820-1827 predikant geweest in de Oude Kerk, en mogelijk heeft deze Robert Daniel op de schoonheid van Oosterbeek geattendeerd. Later schrijft Robert Daniel over Valkenburg: "Het is op dat bevallige plekje, in die heerlijke omgeving, dat ik met mijn geliefde Echtgenoote en onze kinderen, gedurende vele Jaren, door Gods groote Goedheid, in Zijne altoos zoo vriendelijke natuur, het ruimste en edelste levensgenot mogt smaken". Hoewel Robert Daniel zelf regelmatig op en neer naar Amsterdam zal hebben moeten reizen, lijkt het er op dat zijn vrouw en kinderen het grootste deel van de tijd in Oosterbeek verbleven.

	Robert Daniel Wolterbeek en zijn vrouw Henrietta Maria Anna Meijer in de periode dat zij op Valkenburg woonden

In 1866 slaat het noodlot echter toe. Allereerst overlijdt plotseling zijn vrouw Henrietta. Zij wordt begraven in het familiegraf op de Oude Begraafplaats aan de Fangmanweg, niet ver van de plaats waar twee jaar later Jacob van Lennep ter aarde besteld zal worden. Later dat jaar koopt zijn zoon Willem Pieter de villa Schoonoord in Oosterbeek, wat tot veel financiele problemen in de familie zal leiden. Een andere zoon van Robert Daniel, Dirk Jacob, had zich als suikerfabrikant in Nederlands-Indie gevestigd. Hij had daar bij een inlandse vrouw, Djasmina, in 1868 een dochter Ans (Petronella Anna Henrietta Maria) en in 1869 een zoon Jaap (Dirk Jacob) verwekt. Overigens had hij beide kinderen formeel erkend, toen hij in 1870 bij een schietpartij om het leven kwam. Robert Daniel besloot om beide kinderen naar Nederland te halen om er voor te zorgen dat zij hier een goede opleiding zouden kunnen volgen. Wat er van moeder Djasmina terecht is gekomen, vertelt de geschiedenis niet. Beide kinderen waren niet echt gelukkig in Nederland, omdat zij vanwege hun donkere huidskleur op school werden gepest. Als in 1883 Robert Daniel overlijdt, heeft hij Valkenburg vermaakt aan zijn ongehuwde dochter Anna Henrietta, die in Oosterbeek bekendheid genoot als schilderes van landschappen, stillevens en bloemen. Zij erfde echter niet alleen het huis, maar ook de zorg voor de beide kinderen van haar broer. Ans Wolterbeek trouwde in 1892 met Carl Frederik Frowein, van beroep expediteur. Zij gingen in Heelsum wonen en kregen een dochter, die interessant genoeg naar haar Indische grootmoeder Djasmina Frederika Louisa werd genoemd. Dirk Jacob, die economie studeerde en in de familie bekend stond als de "zwarte oom Jaap", trouwde in 1900 met zijn volle nicht Maria Elisabeth Wolterbeek, een dochter van Willem Pieter Wolterbeek en diens vrouw Maria Elisabeth van Marken (deze laatste was weer een zus van Jacob Cornelis van Marken, de oprichter van de Nederlandsche Gist- & Spiritusfabriek in Delft). Zij kregen vier kinderen, te weten Maria Elisabeth (1902), Anna Henrietta (1903), Dirk Jacob jr. (1909) en Joan Leonard (1910). Toen hun beider tante Anna Henrietta in 1905 overleed, vermaakte zij Valkenburg aan Dirk Jacob, die daar al sinds zijn jongensjaren gewoond had. De tijden veranderden echter snel, en het werd steeds moeilijker om grote landgoederen zoals Valkenburg te onderhouden. Ondanks verkoop van omliggend roerend goed, kreeg Dirk Jacob steeds grotere financiele problemen en was hij in 1923 gedwongen Valkenburg te verkopen. Hij verhuisde naar Doetinchem, waar zijn vrouw Maria Elisabeth al in 1926 overleed. De meeste Wolterbeken die in Oosterbeek hebben gewoond, liggen in het familiegraf op de Oude Begraafplaats begraven. De villa Valkenburg overleefde de oorlog, maar kon begin zeventiger jaren de sloophamer niet ontlopen.

	Foto van de familie Wolterbeek op Valkenburg (1905) De oude man in de linkergroep is Joan Leonard Wolterbeek, oudste zoon van Robert Daniel. De kleinere man staand in het midden is Dirk Jacob Wolterbeek (zwarte oom Jaap), eigenaar van Valkenburg, en de vrouw tweede van rechts is zijn zus Ans Frowein-Wolterbeek