Normalmente ocurre (creo) cuando el que te ha mandado una invitación está dentro de una partida. Yo intento unirme cuando el que me la envía está buscando partida. Aunque algunos también les ocurre por fallos de conexión.
Un saludo, y si te he ayudado, no olvides darme las gracias!!