๋ฏธ๋ถ ํ์ฉ โ ๊ทน๊ฐ๊ณผ ์ต์ ํ
๊ณต์ฅ์ ํ๋ฃจ ๊ฐ๋ ์๊ฐ์ ์ผ๋ง๋ก ํด์ผ ๋น์ฉ์ด ๊ฐ์ฅ ์ ์๊น์? ๋ก์ผ์ด ๊ฐ์ฅ ๋์ด ์ฌ๋ผ๊ฐ๋ ์๊ฐ์ ์ธ์ ์ผ๊น์? ๋ฏธ๋ถ์ด ์ด ๋ชจ๋ ์ต์ ํ ๋ฌธ์ ๋ฅผ ํ ๋ฒ์ ํด๊ฒฐํฉ๋๋ค.
๐ก ์ ํ์ํ ๊น์?
๋ฌผ๋ฆฌํ์์ ํฌ๋ฌผ์ ๊ถค์ ์ ์ต๊ณ ์ ์ ์ธ ์๊ฐ์ ๋๋ค. ๊ฒฝ์ ํ์์ ์ด์ต ํจ์์ ์ต๋์ ๋ ์ผ๋ก ์ฐพ์ต๋๋ค. ์ธ๊ณต์ง๋ฅ์ ํ์ต์ ์์คํจ์์ ์ต์๊ฐ์ ์ฐพ๋ ๊ฒ์ด๋ฉฐ, ์ด ๋ชจ๋๊ฐ ์กฐ๊ฑด์ ๋ฐ๋ณต์ ์ผ๋ก ์ ์ฉํ๋ ๊ณผ์ ์ ๋๋ค. ๋ฏธ๋ถ์ ํ์ฉ์ ํ๋ ๊ณผํยท๊ธฐ์ ์ ํต์ฌ ์์ง์ ๋๋ค.
๐ ์ญ์ฌ ์ด์ผ๊ธฐ
ํผ์๋ฅด ๋ ํ๋ฅด๋ง
1638๋ ยท ํ๋์ค ํด๋ฃจ์ฆ
17์ธ๊ธฐ ํ๋์ค์ ๋ฒ๊ด์ด์ ์๋ง์ถ์ด ์ํ์ ํผ์๋ฅด ๋ ํ๋ฅด๋ง(Pierre de Fermat, 1607~1665)๋ ๋น์ ๋๊ตฌ๋ ๊ฐ์ง ๋ชปํ ํต์ฐฐ์ 1638๋ ํธ์ง ํ ํต์ ๋ด์์ต๋๋ค. ๊ทธ๋ ๋ดํด๊ณผ ๋ผ์ดํ๋์ธ ๊ฐ ๋ฏธ์ ๋ถํ์ ์์ฑํ๊ธฐ ์ฝ 40๋ ์ ์, "์ด๋ค ํจ์๊ฐ ์ต๋ ๋๋ ์ต์๊ฐ ๋๋ ์ ์์ ๊ทธ ํจ์์ ๋ณํ์จ์ด 0์ด ๋๋ค"๋ ์ฌ์ค์ ์ง๊ด์ ์ผ๋ก ํ์ ํ์ต๋๋ค. ์ด๊ฒ์ด ์ค๋๋ ์ฐ๋ฆฌ๊ฐ ์ด๋ผ ๋ถ๋ฅด๋ ๊ทน๊ฐ์ ํ์์กฐ๊ฑด์ ๋๋ค. ํ๋ฅด๋ง๋ ์ด ์์ด๋์ด๋ฅผ **์ ์จ๋ฒ(method of adequality)**์ด๋ผ ๋ถ๋ ์ต๋๋ค. ๊ทธ๋ ๋ก ๋๊ณ ์ ๊ทนํ์ ์ทจํ๋ ๋ฐฉ์์ผ๋ก ๊ทน๊ฐ ์กฐ๊ฑด์ ์ ๋ํ์ต๋๋ค. ํ๋ ํ๊ธฐ๋ก๋ ๊ณผ ์ ํํ ๊ฐ์ ์์ด๋์ด์ ๋๋ค. ๋ดํด๊ณผ ๋ผ์ดํ๋์ธ ๊ฐ ๋ํ๋๊ธฐ๋ ์ ์, ๋ฒ์ ์์ ์ผํ๋ ์ฌ์ผ ์ํ์๊ฐ ๋ฏธ๋ถ์ ํต์ฌ ์์ฉ์ ์ด๋ฏธ ์์ ์ฅ๊ณ ์์๋ ๊ฒ์ ๋๋ค. ํ๋ฅด๋ง์ ์ต์ ํ ์์ด๋์ด๋ ์ค๋๋ ๊ณตํยท๊ฒฝ์ ํยท์ธ๊ณต์ง๋ฅ์ ๊ทผ๊ฐ์ ์ด๋ฃน๋๋ค. ๊ธฐ๊ณ ํ์ต์์ ์์คํจ์์ ์ต์๊ฐ์ ์ฐพ๋ ๊ฒฝ์ฌํ๊ฐ๋ฒ(gradient descent)์ ๋ณธ์ง์ ์ผ๋ก ์ธ ์ ์ ์ถ์ ํ๋ ๊ฒ์ด๊ณ , ์ด๋ ํ๋ฅด๋ง๊ฐ 1638๋ ์ ํธ์ง๋ก ๊ธฐ์ ํ ๊ฒ๊ณผ ๊ฐ์ ์๋ฆฌ์ ๋๋ค. ์ ์กฐ์ ์์ ์๊ฐ ์ต์ํ, ํญ๊ณต๊ธฐ ๋ ๊ฐ ์ค๊ณ์ ์๋ ฅ ์ต๋ํ, ์์ฝํ ํฌ์ฌ ์๊ฐ ์ต์ ํ ๋ชจ๋ ๋ฏธ๋ถ์ ํตํ ๊ทน๊ฐ ํ์์ ๋๋ค.
"๋๋ ์ด๋ค ์์ด ์ต๋ ๋๋ ์ต์๊ฐ ๋๋ ์ ์์, ๊ทธ ์์ ๋น๊ต(adequality)๊ฐ 0์ด ๋๋ค๋ ๊ฒ์ ๋ฐ๊ฒฌํ๋ค." โ ํ๋ฅด๋ง, 1638๋
๐ฌ ์ง์ ๋ฐ๊ฒฌํ๊ธฐ
๐ ๊ณต์ ์ดํดํ๊ธฐ
f'(a) = 0 \Rightarrow \text{๊ทน๊ฐ ํ๋ณด} \quad f''(a) > 0 \Rightarrow \text{๊ทน์} \quad f''(a) < 0 \Rightarrow \text{๊ทน๋}๋ํจ์ ์ธ ์ ์ด ๊ทน๊ฐ ํ๋ณด์ ๋๋ค. ์ด๊ณ๋ํจ์ ์ ๋ถํธ๋ก ๊ทน๋ยท๊ทน์๋ฅผ ํ๋ณํฉ๋๋ค. ๊ตฌ๊ฐ์์์ ์ต๋ยท์ต์๋ ๊ทน๊ฐ๊ณผ ๊ฒฝ๊ณ ๊ฐ์ ๋ชจ๋ ๋น๊ตํด์ผ ํฉ๋๋ค.
f'(a)- ์ ์์์ ๋ํจ์ (= ์ ์ ์ ๊ธฐ์ธ๊ธฐ)
f''(a)- ์ ์์์ ์ด๊ณ๋ํจ์ (๋ํจ์์ ๋ํจ์)
- ์ด๊ณ ์ข์ฐ์์ ๊ฐ ๋ก ๋ณํ ๋
- ์ด๊ณ ์ข์ฐ์์ ๊ฐ ๋ก ๋ณํ ๋
- 11๋จ๊ณ: ์ ํด๋ฅผ ๊ตฌํ๋ค โ ์ด ์ ๋ค์ด ๊ทน๊ฐ ํ๋ณด.
- 22๋จ๊ณ: ์ฆ๊ฐํ ์์ฑ โ ์ ๋ถํธ ๋ณํ ํ์ธ. ์ด๋ฉด ๊ทน๋, ์ด๋ฉด ๊ทน์.
- 33๋จ๊ณ: ์ด๊ณ๋ํจ์ ํ๋ณ๋ฒ โ ์ด๋ฉด ๊ทน๋, ์ด๋ฉด ๊ทน์, ์ด๋ฉด ํ๋จ ๋ถ๊ฐ(์ฆ๊ฐํ ์ฌ์ฉ).
- 44๋จ๊ณ (์ต๋ยท์ต์): ๋ซํ ๊ตฌ๊ฐ ์์ ๊ทน๊ฐ๊ณผ ๊ฒฝ๊ณ๊ฐ ๋ฅผ ๋ชจ๋ ๋น๊ต.
๐งฌ ์๋ฆฌ: ์ด๋ป๊ฒ ํ์ํ๋?
๊ณต์์ ์ธ์ฐ๋ ๊ฒ์ด ์๋๋ผ, ์ด๋์ ์๋์ง๋ฅผ ์ดํดํ๋ ๊ฒ์ด์์
ํ์ ๋ฐฐ๊ฒฝ
๋ฏธ๋ถ ํ์ฉ์ ๋ฏธ๋ถ์ ์ ์()์์ ์์ฐ์ค๋ฝ๊ฒ ํ์ํ์ต๋๋ค. ํจ์๊ฐ ์ต๋ยท์ต์๊ฐ ๋๋ ์ ๊ทผ์ฒ์์๋ ๋ณํ์จ์ด 0์ ๊ฐ๊น์์ง๊ณ , ๋ฐ๋ก ๊ทธ ์๊ฐ ์ด ์ฑ๋ฆฝํฉ๋๋ค. ํ๋ฅด๋ง๊ฐ 1638๋ ์ ๋ฐ๊ฒฌํ ์ด ๊ด์ฐฐ์ด ํ๋ ์ต์ ํ ์ด๋ก ์ ์ถ๋ฐ์ ์ ๋๋ค.
ํต์ฌ ๊ด๊ณ์
๊ทน๊ฐ ์กฐ๊ฑด $f'(a) = 0$์ ์ ์ ์ ๊ธฐ์ธ๊ธฐ๊ฐ 0, ์ฆ ์ ์ ์ด ์ํ์ ์์ ์๋ฏธํฉ๋๋ค. ์ด๊ณ๋ํจ์ $f''(a)$๋ ํจ์์ ์ค๋ชฉยท๋ณผ๋ก(concavity)์ ๋ํ๋ด๋ฏ๋ก, $f''(a) > 0$์ด๋ฉด ์๋๋ก ๋ณผ๋ก(๊ทน์), $f''(a) < 0$์ด๋ฉด ์๋ก ๋ณผ๋ก(๊ทน๋)๊ฐ ๋ฉ๋๋ค. ์ด ๋ ๊ฐ์ ๋ํจ์๊ฐ ํจ๊ป ๊ทน๊ฐ์ ์์น์ ์ฑ์ง์ ์์ ํ ๊ฒฐ์ ํฉ๋๋ค.์ ๊ณต์์ ์ธ์ธ ํ์๊ฐ ์๋์?
์ฐ์ ์ ์์ ์๋ฉด ์ด๋ ๋ฐฉํฅ์ผ๋ก ๊ฐ๋ ๋ด๋ ค๊ฐ๋๋ค. ์ด๋ฅผ ์ํ์ผ๋ก ํํํ๋ฉด '์ ์ ๊ทผ์ฒ์์ ๋์ด ์ ๋ณํ์จ ๊ฐ 0'์ ๋๋ค. ๋ฐ๋๋ก ๊ณ๊ณก ๋ฐ๋ฅ์์๋ ์ด๋ ๋ฐฉํฅ์ผ๋ก ๊ฐ๋ ์ฌ๋ผ๊ฐ๋ฏ๋ก ์ญ์ ์ ๋๋ค. ๊ทน๋ยท๊ทน์ ๋ชจ๋ ์ธ ์ด์ ๊ฐ ๋ฐ๋ก ์ฌ๊ธฐ์ ์์ผ๋ฉฐ, ๋ถํธ ๋ณํ๋ก ์ ์์ธ์ง ๊ณ๊ณก์ธ์ง๋ฅผ ๊ตฌ๋ถํ๋ ๊ฒ์ด ์ฆ๊ฐํ์ ์ญํ ์ ๋๋ค.
๐ ํด์ฆ๋ก ํ์ธํ๊ธฐ
ํจ์ ์์ ์ ๋ง์กฑํ๋ ์ ๊ฐ์?
๋ฌดํ ๋๋ฆด ์ฐ์ต
๋๋ค 20๋ฌธ์ ยท ์ฝ 10๋ถ
๐ ์๋ฅ ๊ธฐ์ถ ๋ฌธ์
๐ ์ด ๊ฐ๋ ์ ์๋ฅ ์ถ์ ํจํด
๋ํจ์๋ก ๊ทน๊ฐยท์ต๊ฐ ๊ตฌํ๊ธฐ
๋งค๋ ยท 2023, 2022, 2021, 2020ํ๋ ๋