Het begin van de herberg ’t Vosje is niet precies bekend. Er bestaat er een tekening van deze herberg uit 1784 (tekening door H. Tavenier).
Volgens de Kroniek van de Indische Buurt bestaat de herberg al vanaf 1733. De herberg lag aan de Zeeburgerdijk, met een eigen loods en wat woonhuizen. Eerder moet hier de Herberg Het Dorstige Hert gelegen hebben. Herberg ‘t Vosje schijnt in de eerste tijd vooral door vissers en molenaars uit de nabije omgeving gefrequenteerd geworden te zijn geweest; volgens de overlevering zouden hier regelmatig valse kaartspelers actief zijn geweest die in de afgelegenheid onnozele veehandelaars uitplunderden.
In het begin wordt de herberg ook veel door veehandelaren en andere reizigers gebruikt als overnachtingsplek als zij de poorten van de stad gesloten vonden. Pas veel later wordt het meer en meer een café. Vooral buurtbewoners uit de Dapperbuurt bezochten het café.
Bekend is ’t Vosje toch vooral als uitspanning. Maurits Dekker heeft hier mooi over geschreven. ’T Vosje werd een echte pleziertuin veelvuldig bezocht door hele families die op zonnige zomerdagen daar een heerlijke dg doorbrachten. De kinderen vermaakten zich met allerlei speeltoestellen als wip, schommel of zweefmolen. De toegang was gratis, maar het was niet toegestaan eigen proviand mee te nemen. Meegebrachte etenswaren en dranken werden daarom naar binnen gesmokkeld. Natuurlijk werd er wel iets besteld, maar beperkt. Het ene gekochte broodje werd dan aangevuld met eigen consumpties, met het glaasje limonade gebeurde hetzelfde. Gezinnen bleven soms tot in de avond.
Bovenstaand verhaal is o.a. gebaseerd op een artikel uit Ons Amsterdam (nov. 1960)