Tijdens een groot conflict met pastoors en aalmoezeniers, waarin het RCOAK door de burgemeesters werd gesteund, besluiten de bezorgers, later regenten geheten, om voortaan veel meer het heft in eigen handen te houden. Vanaf nu zou al het uitvoerende werk rondom de bedeling vanuit het RCOAK zelf gaan plaatsvinden. Daarvoor was een nieuwe, grotere behuizing nodig. Het RCOAK vond die op Keizersgracht 384, op de plek waar voorheen de stadsschouwburg stond, die in 1772 in vlammen was opgegaan. Het stadsbestuur raadde herbouw van de schouwburg op dezelfde plek in de dichtbevolkte binnenstad af. Zo kreeg de katholieke armenzorg de beschikking over een groot terrein, centraal in de stad.
Vanuit dit nieuwe grote onderkomen deden de regenten alles zelf. Het bevatte een regentenzaal, een plek waar de armen werden ontvangen en een bakkerij, waar het brood dat werd uitgedeeld aan de armen gebakken werd.
Op dit onderkomen, waar nu hotel The Dylan is gevestigd, zou het RCOAK tot laat in de 20e eeuw gevestigd blijven.
Bron: Jurjen Vis, Liefde is het Fondament: 400 jaar Roomsch Katholijk Oude Armen Kantoor in Amsterdam. Boom, 2008, pp. 89 – 106