No sé si entiendo tu problema.
Si consideras que todo el agua que entra al sistema debe salir, es decir, si tomas el agua como referencia, tienes que entran:
\( m_{H_2O} = 1800\ g\cdot 0.6 = \color{blue}{1080\ g} \)
La masa de etanol que sale del separador, teniendo en cuenta la proporción de la corriente de salida, es:
\( m_s(EtOH) = 1080\ g\ H_2O\cdot \frac{1\ g\ EtOH}{5\ g\ H2O} = \color{blue}{216\ g\ EtOH} \)
Esto quiere decir que debes tener una tercera salida del separador donde salga el etanol puro. La masa de etanol que salga por esa corriente de salida será la diferencia entre la masa de la corriente de entrada y las masas de agua y etanol en la corriente de salida:
\[ m_{EtOH} = (1800 - 1080 - 216)\ g = \color{red}{504\ g\ EtOH} \]
Al separador entra una masa de 1 800 g y salen dos masas; una de 1 296 g de mezcla de agua y etanol y otra de 504 g de etanol puro.