Ce quartier fut, au moyen Age, dénommé Olivolo par référence probable à une grande oliveraie en exploitation à l'époque. Le nom actuel de Castello rappelle qu'une ancienne forteresse était sur la petite île de San Pietro et a disparu. C'est le plus grand des six quartiers, étiré vers l'est et développé jusqu'aux environs immédiats de San Marco, à l'ouest. Il a gardé l'empreinte des ateliers du chantier naval de l'Arsenal et de ses maisons ouvrières où logeaient les Arsenalotti. Les bâtiments y sont sans faste. On n'y voit pas de palais, mais des maisons dont certaines sont très modernes, dans un univers verdoyant. On peut y habiter au rez -de-chaussée, alors que dans les autres quartiers, ce sont les boutiques qui occupent l'espace : légèrement en hauteur, le sol du Castello est abrité des hautes eaux (aqua alta). Aussi les chaises et les tables peuvent-elles rester dehors. Des chaises encore occupées dans un passé trés récent par les dentellières, par les pêcheurs qui réparent leurs filets et par les joueurs de cartes, jusqu'au coucher du soleil.