주머니 \(A\)에서 흰 공이 나올 확률은 \(\frac{3}{4}\), 주머니 \(B\)에서 흰 공이 나올 확률은 \(\frac{2}{4} = \frac{1}{2}\)이다.

전확률 공식에 의해 \(p_{n+1} = \frac{3}{4}p_n + \frac{1}{2}(1 - p_n) = \frac{1}{4}p_n + \frac{1}{2}\)이다.

특성방정식 \(\alpha = \frac{1}{4}\alpha + \frac{1}{2}\)에서 \(\alpha = \frac{2}{3}\)이므로 \(p_{n+1} - \frac{2}{3} = \frac{1}{4}\left(p_n - \frac{2}{3}\right)\)이다. \(p_1 = \frac{3}{4}\)이므로 \(p_1 - \frac{2}{3} = \frac{1}{12}\)이며, 따라서 일반항은 \(p_n = \mathbf{\frac{2}{3} + \frac{1}{12}\left(\frac{1}{4}\right)^{n-1}}\)이다.

\(p_2 = \frac{2}{3} + \frac{1}{48} = \frac{33}{48} = \frac{11}{16}\)이고, \(p_3 = \frac{2}{3} + \frac{1}{192} = \frac{129}{192} = \frac{43}{64}\)이다.

\(2\)회와 \(3\)회 모두 흰 공이 나올 확률은 \(p_2 \cdot \frac{3}{4} = \frac{11}{16} \cdot \frac{3}{4} = \frac{33}{64}\)이다.

따라서 조건부확률의 정의에 의해 구하는 확률은 \(\frac{33/64}{43/64} = \mathbf{\frac{33}{43}}\)이다.

확률변수 \(X\)는 \(X = I_1 + I_2 + I_3\) (단, \(I_k\)는 \(k\)회 시행에서 흰 공이 나오면 \(1\), 아니면 \(0\)인 지시확률변수)로 표현되며, 각 경로별 확률은 다음과 같다:

• \(P(X=0) = P(BBB) = \frac{1}{4}\cdot\frac{1}{2}\cdot\frac{1}{2} = \frac{4}{64}\)

• \(P(X=1) = P(WBB) + P(BWB) + P(BBW) = \frac{3}{4}\cdot\frac{1}{4}\cdot\frac{1}{2} + \frac{1}{4}\cdot\frac{1}{2}\cdot\frac{1}{4} + \frac{1}{4}\cdot\frac{1}{2}\cdot\frac{1}{2} = \frac{6 + 2 + 4}{64} = \frac{12}{64}\)

• \(P(X=2) = P(WWB) + P(WBW) + P(BWW) = \frac{3}{4}\cdot\frac{3}{4}\cdot\frac{1}{4} + \frac{3}{4}\cdot\frac{1}{4}\cdot\frac{1}{2} + \frac{1}{4}\cdot\frac{1}{2}\cdot\frac{3}{4} = \frac{9 + 6 + 6}{64} = \frac{21}{64}\)

• \(P(X=3) = P(WWW) = \frac{3}{4}\cdot\frac{3}{4}\cdot\frac{3}{4} = \frac{27}{64}\)

따라서 \(E(X) = \frac{0\cdot 4 + 1\cdot 12 + 2\cdot 21 + 3\cdot 27}{64} = \frac{12 + 42 + 81}{64} = \frac{135}{64}\)이며(이는 \(p_1 + p_2 + p_3 = \frac{48 + 44 + 43}{64} = \frac{135}{64}\)와 정확히 일치함), \(E(64X) = \mathbf{135}\)이다.

세 절편 \(A(3, 0, 0), B(0, 3, 0), C(0, 0, 6)\)을 지나는 평면 \(\alpha\)의 방정식은 \(\frac{x}{3} + \frac{y}{3} + \frac{z}{6} = 1 \implies 2x + 2y + z - 6 = 0\)이며, 법선벡터는 \(\vec{n} = (2, 2, 1)\)이다.

구 \(S\)의 중심 \(M(0, 0, 3)\)에서 평면 \(\alpha\)까지의 거리는 \(\overline{MH} = \frac{|0 + 0 + 3 - 6|}{\sqrt{2^2 + 2^2 + 1^2}} = \frac{3}{3} = 1\)이다.

구 \(S\)의 반지름이 \(R = 3\)이므로 단면 원 \(C_0\)의 반지름은 \(r = \sqrt{R^2 - \overline{MH}^2} = \sqrt{9 - 1} = 2\sqrt{2}\)이며, 단면 원 \(C_0\)의 넓이는 \(\pi r^2 = \mathbf{8\pi}\)이다.

평면 \(\alpha\)의 법선벡터 \(\vec{n} = (2, 2, 1)\)과 \(xy\)평면의 법선벡터 \(\vec{k} = (0, 0, 1)\)이 이루는 각 \(\theta\)에 대하여 \(\cos\theta = \frac{|\vec{n}\cdot\vec{k}|}{|\vec{n}||\vec{k}|} = \frac{1}{3}\)이다.

따라서 원 \(C_0\)를 \(xy\)평면 위로 정사영한 넓이는 \(K_1 = 8\pi \cos\theta = \mathbf{\frac{8\pi}{3}}\)이다.

원점 \(O(0,0,0)\)에서 평면 \(\alpha\)까지의 높이는 \(h_O = \frac{|-6|}{\sqrt{2^2 + 2^2 + 1^2}} = \frac{6}{3} = 2\)이므로, 원뿔 \(O-C_0\)의 부피는 \(V = \frac{1}{3} \times 8\pi \times 2 = \mathbf{\frac{16\pi}{3}}\)이다.

구 \(S\)의 중심 \(M(0,0,3)\)에서 평면 \(\alpha\)에 내린 수선의 발 \(H\)는 \(M + t(2, 2, 1)\)을 \(2x + 2y + z - 6 = 0\)에 대입하면 \(9t - 3 = 0 \implies t = \frac{1}{3}\)이므로 \(H\left(\frac{2}{3}, \frac{2}{3}, \frac{10}{3}\right)\)이다.

점 \(D(3, 3, 0)\)은 \(2(3) + 2(3) + 0 - 6 = 6 \ne 0\)이므로 평면 \(\alpha\) 밖의 점이다. 점 \(D\)에서 평면 \(\alpha\)에 내린 수선의 발을 \(D'\)이라 하면 평면 \(\alpha\)까지의 거리는 \(d_1 = \overline{DD'} = \frac{|6 + 6 + 0 - 6|}{3} = 2\)이다.

또한 \(\overline{DH}^2 = \left(3 - \frac{2}{3}\right)^2 + \left(3 - \frac{2}{3}\right)^2 + \left(0 - \frac{10}{3}\right)^2 = \frac{49 + 49 + 100}{9} = \frac{198}{9} = 22\)이므로, 평면 \(\alpha\) 위에서 원의 중심 \(H\)와 수선의 발 \(D'\) 사이의 거리는 \(d_2 = \overline{D'H} = \sqrt{\overline{DH}^2 - d_1^2} = \sqrt{22 - 4} = 3\sqrt{2}\)이다.

삼수선의 정리에 의해 원 \(C_0\) (반지름 \(r = 2\sqrt{2}\)) 위의 점 \(P\)에 대하여 \(\overline{D'P}\)의 최댓값은 \(d_2 + r = 3\sqrt{2} + 2\sqrt{2} = 5\sqrt{2}\), 최솟값은 \(d_2 - r = 3\sqrt{2} - 2\sqrt{2} = \sqrt{2}\)이다.

따라서 \(\overline{DP} = \sqrt{d_1^2 + \overline{D'P}^2}\)의 최댓값은 \(M_{\max} = \sqrt{4 + 50} = 3\sqrt{6}\), 최솟값은 \(M_{\min} = \sqrt{4 + 2} = \sqrt{6}\)이며, 두 값의 곱은 \(3\sqrt{6} \times \sqrt{6} = \mathbf{18}\)이다.