Si entiendo bien el enunciado, se trata de un problema en el que la masa del sistema no es constante. Esta masa depende de la cuerda que esté en el lado de la polea en la que está el objeto a subir.
La masa inicial del sistema la tomo como la suma de la masa del objeto y la de la cuerda, es decir, 11 kg. A medida que asciende el objeto la masa decrece en un factor \( \frac{h}{2} \) ya que la masa de la cuerda es medio kg por metro de cuerda. Podrías escribir el trabajo, como la variación de la energía potencial, en función de este factor:
\[ W = \Delta E_P = \int^{10}_0 (m - \frac{h}{2})\cdot g\cdot dh \]
Al resolver la integral definida obtienes:
\[ W = g\big(m\cdot h|^{10}_0 - \frac{h^2}{4}|^{10}_0\Big) = \color{red}{833\ J} \]
Te pediría un favor. Cuando corrijas el problema, si lo he interpretado bien, ¿podrías decírmelo? Gracias.