Desearía haber estado contigo... 
O que tu hayas estado conmigo... 

O que hubieramos estado juntos en alguna parte del mundo...