À Hong-Kong, en 1962, deux couples emménagent le même jour dans une petite pension. M. Chow et sa voisine de palier Mme Chan découvrent bientôt que leurs conjoints respectifs entretiennent une liaison. Choqués par cette découverte, les époux trompés se rapprochent l'un de l'autre et essayent de comprendre. Mais au fil de leurs rencontres, M. Chow sent ses sentiments changer envers sa confidente...