Ta xác định điểm H(x;y;z) sao cho \(2.\overrightarrow {HA}  + \overrightarrow {HB}  = \overrightarrow 0 \) 

\(\overrightarrow {HA}  = \left( { - 1 - x;2 - y; - 3 - z} \right)\); \(\overrightarrow {HB}  = \left( {5 - x;2 - y;3 - z} \right)\) nên

\(\begin{array}{l}
2\overrightarrow {HA}  + \overrightarrow {HB}  = \overrightarrow 0  \Leftrightarrow \left( { - 2 - 2x;4 - 2y; - 6 - 2z} \right) + \left( {5 - x;2 - y;3 - z} \right) = \overrightarrow 0 \\
 \Leftrightarrow \left\{ \begin{array}{l}
 - 2 - 2x + 5 - x = 0\\
4 - 2y + 2 - y = 0\\
 - 6 - 2z + 3 - z = 0
\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}
x = 1\\
y = 2\\
z =  - 1
\end{array} \right. \Rightarrow H\left( {1;2; - 1} \right)
\end{array}\)

Ta có

\(\begin{array}{l}
2M{A^2} + M{B^2} = 2{\overrightarrow {MA} ^2} + {\overrightarrow {MB} ^2} = 2.{\left( {\overrightarrow {MH}  + \overrightarrow {HA} } \right)^2} + {\left( {\overrightarrow {MH}  + \overrightarrow {HB} } \right)^2}\\
 = 2.\left( {M{H^2} + 2\overrightarrow {MH} .\overrightarrow {HA}  + H{A^2}} \right) + \left( {M{H^2} + 2.\overrightarrow {MH} .\overrightarrow {HB}  + H{B^2}} \right)\\
 = 3M{H^2} + 2H{A^2} + H{B^2} + 2\overrightarrow {MH} \left( {2\overrightarrow {HA}  + \overrightarrow {HB} } \right)\\
 = 3M{H^2} + 2H{A^2} + H{B^2}\left( {do\,\,2.\overrightarrow {HA}  + \overrightarrow {HB}  = \overrightarrow 0 } \right)
\end{array}\)

Ta có \(\overrightarrow {HA}  = \left( { - 2;0; - 2} \right);\overrightarrow {HB}  = \left( {4;0;4} \right) \Rightarrow H{A^2} = 8;H{B^2} = 32\) nên \(2M{A^2} + M{B^2} = 3M{H^2} + 2.8 + 32 = 3M{H^2} + 48\)

Từ đó \(2M{A^2} + M{B^2}\) lớn nhất khi \(MH^2\) lớn nhất hay MH lớn nhất.

Mặt cầu (S) có tâm I(3;1;1), bán kính R = 2.

Ta có \(M{H_{\max }} = HI + R = \sqrt {4 + 1 + 4}  + 2 = 5\).

Như vậy \(2M{A^2} + M{B^2}\) đạt GTLN là \(3M{H^2} + 48 = 3.25 + 48 = 123\).