L'edificio ingloba un'antica torre, presumibilmente da identificare con una proprietà della Consorteria degli Importuni che in questa zona aveva le proprie case.
Distrutta dai Ghibellini nel 1260 fu ricostruita successivamente: di questo periodo si conserva una porzione di affresco che adornava la camera nuziale e che raffigura degli uccelli e il motivo del vaio ricordando molto gli affreschi di Palazzo Davanzati. Nel 1515 l'edificio fu acquisito dagli Agostiniani che in quegli anni si erano insediati nella vicina Chiesa di Santo Stefano al Ponte e continuarono ad amministrare la proprietà fino al 1783. Nell'Ottocento l'edificio fu occupato dalla pensione Quisisana, frequentata da intellettuali e artisti, soprattutto anglosassoni.Anche nel corso del Novecento la pensione mantenne pressoché invariato il carattere avuto nel secolo precedente, tanto da essere scelta, nel 1985, dal regista James Ivory per ambientarvi alcune scene della versione cinematografica del romanzo di Edward Morgan Forster "A Room with a View" (Camera con vista).
Attualmente il palazzo - dopo essere stato interessato dai necessari lavori di restauro e essere stato oggetto di una radicale ristrutturazione in seguito all’attentato dei Georgofili del 1993 - è occupato da Hotel degli Orafi.
Esternamente l'edificio guarda al Lungarno degli Archibusieri, con un ampio fronte che si estende per cinque assi su cinque piani e ancora prosegue sopra l'arcata che sovrasta Via de’ Georgofili per altri due assi su tre piani.
Su quello che era il portone principale di accesso si trova ancora uno scudo con una variante dell'arme della famiglia Fabbroni.
