1) Zależność między $a$, $h$ i $l$
W ostrosłupie prawidłowym wierzchołek leży nad środkiem podstawy.
Odległość środka podstawy od wierzchołka kwadratu to połowa przekątnej kwadratu:
$$
r=\frac{a\sqrt{2}}{2}.
$$
W trójkącie prostokątnym (wierzchołek ostrosłupa – środek podstawy – wierzchołek podstawy) mamy:
$$
l^2=h^2+r^2
=h^2+\left(\frac{a\sqrt{2}}{2}\right)^2
=h^2+\frac{a^2}{2}.
$$
Stąd:
$$
h=\sqrt{l^2-\frac{a^2}{2}}.
$$
2) Wzór na objętość jako funkcja $a$
$$
V(a)=\frac{1}{3}\cdot a^2 \cdot h
=\frac{1}{3}a^2\sqrt{l^2-\frac{a^2}{2}},
$$
przy czym $0<a<\sqrt{2}\,l$.
3) Maksymalizacja
Wprowadzamy podstawienie $u=a^2$ (gdzie $u>0$). Wtedy maksymalizujemy:
$$
f(u)=u\sqrt{l^2-\frac{u}{2}}.
$$
Liczymy pochodną:
$$
f'(u)=\sqrt{l^2-\frac{u}{2}}
+u\cdot\frac{1}{2\sqrt{l^2-\frac{u}{2}}}\cdot\left(-\frac12\right)
=
\sqrt{S}-\frac{u}{4\sqrt{S}},
$$
gdzie $S=l^2-\frac{u}{2}$.
Warunek ekstremum $f'(u)=0$ daje:
$$
\sqrt{S}=\frac{u}{4\sqrt{S}}
\Rightarrow S=\frac{u}{4}.
$$
Zatem:
$$
l^2-\frac{u}{2}=\frac{u}{4}
\Rightarrow l^2=\frac{3u}{4}
\Rightarrow u=\frac{4}{3}l^2.
$$
Czyli:
$$
a^2=\frac{4}{3}l^2 \Rightarrow a=\frac{2l}{\sqrt{3}}.
$$
Wysokość:
$$
h^2=l^2-\frac{a^2}{2}
=l^2-\frac{1}{2}\cdot\frac{4}{3}l^2
=l^2-\frac{2}{3}l^2
=\frac{1}{3}l^2,
$$
więc:
$$
h=\frac{l}{\sqrt{3}}.
$$
4) Największa objętość
$$
V_{\max}=\frac{1}{3}\cdot a^2\cdot h
=\frac{1}{3}\cdot\frac{4}{3}l^2\cdot\frac{l}{\sqrt{3}}
=\frac{4l^3}{9\sqrt{3}}.
$$
Dla $l=10$:
$$
a=\frac{20}{\sqrt{3}}=\frac{20\sqrt{3}}{3},\qquad
h=\frac{10}{\sqrt{3}}=\frac{10\sqrt{3}}{3},
$$
oraz
$$
V_{\max}=\frac{4\cdot 10^3}{9\sqrt{3}}
=\frac{4000}{9\sqrt{3}}
=\frac{4000\sqrt{3}}{27}.
$$
Odpowiedź:
Maksymalna objętość jest dla
$a=\dfrac{20\sqrt{3}}{3}$ oraz $h=\dfrac{10\sqrt{3}}{3}$.
Największa objętość:
$V_{\max}=\dfrac{4000\sqrt{3}}{27}$.