才賀紀左衛門、知人と寿司屋へ→深夜帰りで家族に会えず　翌朝もすれ違い…妻はトラブル示唆