๋ฏธ๋ถ๋ฒ โ ๋คํญํจ์ ๋ฏธ๋ถ ๊ณต์
์๋์ฐจ๊ฐ 1์ด๋ง๋ค ์ผ๋ง๋ ๋นจ๋ผ์ง๋์ง, ๊ณต์ฅ์ด ์ ํ 1๊ฐ๋ฅผ ๋ ๋ง๋ค ๋ ๋น์ฉ์ด ์ผ๋ง๋ ๋์ด๋๋์ง โ ์ด ๋ชจ๋ '์๊ฐ ๋ณํ์จ'์ ๊ณ์ฐํ๋ ๋ฐฉ๋ฒ์ด ๋ฏธ๋ถ๋ฒ์ ๋๋ค.
๐ก ์ ํ์ํ ๊น์?
๋ฌผ๋ฆฌํ์์ ์์นํจ์ ๋ฅผ ๋ฏธ๋ถํ๋ฉด ์๋ ๊ฐ ๋๊ณ , ๋ค์ ๋ฏธ๋ถํ๋ฉด ๊ฐ์๋ ๊ฐ ๋ฉ๋๋ค. ๊ฒฝ์ ํ์์๋ ๋น์ฉํจ์ ๋ฅผ ๋ฏธ๋ถํ์ฌ ํ๊ณ๋น์ฉ ๋ฅผ ๊ตฌํ๊ณ , AI ์ ๊ฒฝ๋ง ํ๋ จ์์๋ ์์คํจ์๋ฅผ ์๋ฐฑ๋ง ๋ฒ ๋ฏธ๋ถํ๋ ์ญ์ ํ(backpropagation)๋ก ์ต์ ์ ๊ฐ์ค์น๋ฅผ ์ฐพ์ต๋๋ค.
๐ ์ญ์ฌ ์ด์ผ๊ธฐ
๊ณ ํธํ๋ฆฌํธ ๋นํฌ๋ฆ ๋ผ์ดํ๋์ธ
1684๋ ยท ๋ ์ผ ํ๋ ธ๋ฒ
๊ณ ํธํ๋ฆฌํธ ๋นํฌ๋ฆ ๋ผ์ดํ๋์ธ (Gottfried Wilhelm Leibniz, 1646-1716)๋ ์ฒ ํ์์ด์ ์ธ๊ต๊ด์ด๋ฉด์ ๋์์ ์ญ์ฌ์ ๊ฐ์ฅ ์ฐฝ์์ ์ธ ์ํ์ ์ค ํ ๋ช ์ด์์ต๋๋ค. ๊ทธ๋ ํ๋ฆฌ์์ ์ธ๊ต ์๋ฌด๋ฅผ ์ํํ๋ ์ค ๋ค๋๋๋ ์ํ์ ํธ์ด๊ฒ์ค(Huygens)๋ฅผ ๋ง๋ ์ํ์ ๋ณธ๊ฒฉ์ ์ผ๋ก ๊ณต๋ถํ๊ธฐ ์์ํ์ต๋๋ค. 1675๋ , ๋ผ์ดํ๋์ธ ๋ ๋ถ๊ณผ ๋ช ์ฃผ ์ฌ์ด์ ๋ฏธ๋ถ๋ฒ๊ณผ ์ ๋ถ๋ฒ์ ๊ธฐ๋ณธ ๊ท์น๋ค์ ๋๋ถ๋ถ ์์ฑํ๊ณ , , , , ๊ฐ์ ํ๊ธฐ๋ฒ์ ์ฐฝ์ํ์ต๋๋ค. 1684๋ ๋ผ์ดํ๋์ธ ๋ ๋ ผ๋ฌธ ใNova Methodus pro Maximis et Minimisใ(๊ทน๋ยท๊ทน์๋ฅผ ๊ตฌํ๋ ์๋ก์ด ๋ฐฉ๋ฒ)์์ ์ฒ์์ผ๋ก ๋ฏธ๋ถ๋ฒ ๊ท์น๋ค์ ๊ณต๊ฐ ์ถํํ์ต๋๋ค. ์ด ๋ ผ๋ฌธ์์ ๊ทธ๋ ํฉ์ ๋ฏธ๋ถ๋ฒ , ๊ณฑ์ ๋ฏธ๋ถ๋ฒ , ๋ชซ์ ๋ฏธ๋ถ๋ฒ์ ๋ชจ๋ ๋ฐํํ์ต๋๋ค. ๋๋๊ฒ๋ ๋ดํด๋ ๋น์ทํ ์๊ธฐ์ ๋ ๋ฆฝ์ ์ผ๋ก ๋ฏธ๋ถ๋ฒ('์ ์จ๋ฒ')์ ๋ฐ๊ฒฌํ์ง๋ง, ๋ดํด์ ํ๊ธฐ ๋ณด๋ค ๋ผ์ดํ๋์ธ ์ rac{dy}{dx} ํ๊ธฐ๊ฐ ํจ์ฌ ๊ณ์ฐํ๊ธฐ ํธ๋ฆฌํ์ต๋๋ค. ๋ผ์ดํ๋์ธ ์ rac{dy}{dx} ํ๊ธฐ๋ ๋จ์ํ ๊ธฐํธ๊ฐ ์๋์์ต๋๋ค. ์ด ํ๊ธฐ ๋๋ถ์ ์ฐ์๋ฒ์น rac{dy}{dx} = rac{dy}{du} cdot rac{du}{dx}๊ฐ ๋ง์น ๋ถ์์ ์ฝ๋ถ์ฒ๋ผ ์ง๊ด์ ์ผ๋ก ์ดํด๋ฉ๋๋ค. ์ ๋ฝ ๋๋ฅ์ ์ํ์๋ค์ ๋ผ์ดํ๋์ธ ์ ํ๊ธฐ๋ฒ์ ์ฑํํ๊ณ , ์ด๊ฒ์ด ์ค๋๋ ์ ์ธ๊ณ ์ํ ๊ต์ก์ ํ์ค์ด ๋์์ต๋๋ค. ๋ผ์ดํ๋์ธ ์ ๋ดํด ์ฌ์ด์ '๋ฏธ์ ๋ถ ์ฐ์ ๊ถ ๋ ผ์'์ ์ํ์ฌ์์ ๊ฐ์ฅ ๋จ๊ฑฐ์ด ๋ ผ์ ์ค ํ๋์์ต๋๋ค. ํ์ฌ๋ ๋ ์ฌ๋์ด ๋ ๋ฆฝ์ ์ผ๋ก ๋ฐ๊ฒฌํ๋ค๋ ๊ฒ์ด ์ ์ค์ ๋๋ค. ํ์ง๋ง ๋ฏธ๋ถ๋ฒ ๊ณต์์ ๊ธฐํธ์ ์ฒด๊ณ๋ ๋ผ์ดํ๋์ธ ์ ๊ฒ์ ์ฌ์ฉํฉ๋๋ค.
"์์ฐ์ ๋น์ฝํ์ง ์๋๋ค(Natura non facit saltus) โ ๋ชจ๋ ๋ณํ๋ ์ฐ์์ ์ด๋ค."
๐ฌ ์ง์ ๋ฐ๊ฒฌํ๊ธฐ
๐ ๊ณต์ ์ดํดํ๊ธฐ
(x^n)' = nx^{n-1}, \quad (cf)' = cf', \quad (f \pm g)' = f' \pm g', \quad (fg)' = f'g + fg', \quad \left(\frac{f}{g}\right)' = \frac{f'g - fg'}{g^2}๋คํญํจ์ ๋ฏธ๋ถ์ 5๋ ๊ณต์์ ๋๋ค. ๊ฑฐ๋ญ์ ๊ณฑ ๋ฏธ๋ถ ์ด ๊ธฐ๋ณธ์ด ๋๊ณ , ์์๋ฐฐยทํฉยท์ฐจ ๊ท์น์ ๋ฏธ๋ถ์ ํญ๋ณ๋ก ๋๋์ด ๊ณ์ฐํ๊ฒ ํด ์ค๋๋ค. ๊ณฑ์ ๋ฏธ๋ถ๋ฒ๊ณผ ๋ชซ์ ๋ฏธ๋ถ๋ฒ์ ๋ ํจ์์ ๊ณฑยท๋๋์ ์ ๋ฏธ๋ถํ ๋ ์ฌ์ฉํฉ๋๋ค.
f, g- ๋ฏธ๋ถ ๊ฐ๋ฅํ ํจ์
- ์ง์ (์ค์)
- ์์
f'- ์ ๋ํจ์
g'- ์ ๋ํจ์
- 1๊ทนํ ์ ์์์ ์ถ๋ฐ:
- 2๊ฑฐ๋ญ์ ๊ณฑ: ์ด๋ฏ๋ก
- 3ํฉ์ ๋ฏธ๋ถ:
- 4๊ณฑ์ ๋ฏธ๋ถ: ์ ๋ํ๊ณ ๋นผ์ ์ ๋ฆฌํ๋ฉด
๐งฌ ์๋ฆฌ: ์ด๋ป๊ฒ ํ์ํ๋?
๊ณต์์ ์ธ์ฐ๋ ๊ฒ์ด ์๋๋ผ, ์ด๋์ ์๋์ง๋ฅผ ์ดํดํ๋ ๊ฒ์ด์์
ํ์ ๋ฐฐ๊ฒฝ
๋ฏธ๋ถ๋ฒ ๊ณต์์ ๊ทนํ์ ์ ์ ์์ ์ง์ ์ ๋๋ฉ๋๋ค. ๊ทนํ์ด๋ผ๋ ํ ๋ ์์ ๊ฑฐ๋ญ์ ๊ณฑ ๊ณต์์ด ์ธ์์ง๊ณ , ๊ทธ ์์ ํฉยท์ฐจยท๊ณฑยท๋ชซ ๊ท์น์ด ์์ด๋ ๊ณ์ธต ๊ตฌ์กฐ์ ๋๋ค. ์ฆ ๋ฏธ๋ถ๋ฒ์ ์๋ก์ด ๊ณต๋ฆฌ๊ฐ ์๋๋ผ ๊ทนํ์ ์ฑ์ง(์ ํ์ฑ)์ ํจ์ ๊ณ์ฐ์ ์ ์ฉํ ๊ฒฐ๊ณผ์ ๋๋ค.
ํต์ฌ ๊ด๊ณ์
ํต์ฌ ๊ด๊ณ๋ '๋ฏธ๋ถ์ ์ ํ์ฑ': $(cf + dg)' = cf' + dg'$์
๋๋ค. ์ด ์ฑ์ง ๋๋ถ์ ์ด๋ค ๋คํญํจ์๋ ํญ๋ณ๋ก ๋ถํดํ์ฌ ๊ฐ๊ฐ ๊ฑฐ๋ญ์ ๊ณฑ ๊ท์น์ ์ ์ฉํ ๋ค ํฉ์น๋ฉด ๋ฉ๋๋ค. ๊ณฑ์ ๋ฏธ๋ถ๋ฒ $(fg)' = f'g + fg'$๋ ๋ผ์ดํ๋์ธ ๊ท์น(Leibniz rule)์ด๋ผ๊ณ ๋ ๋ถ๋ฆฌ๋ฉฐ, ๊ณ ๊ณ ๋ฏธ๋ถ์ผ๋ก ํ์ฅํ๋ฉด $(fg)^{(n)} = \sum_{k=0}^{n} \binom{n}{k} f^{(k)} g^{(n-k)}$๊ฐ ๋ฉ๋๋ค.์ ๊ณต์์ ์ธ์ธ ํ์๊ฐ ์๋์?
๊ณฑ์ ๋ฏธ๋ถ๋ฒ์ด ๊ฐ ์๋ ์ธ ์ด์ ๋ฅผ ์ง์ฌ๊ฐํ์ผ๋ก ์ดํดํ ์ ์์ต๋๋ค. ๊ฐ๋ก , ์ธ๋ก ์ธ ์ง์ฌ๊ฐํ์ ๋์ด๊ฐ ์ผ ๋, ๊ฐ๋ก๊ฐ , ์ธ๋ก๊ฐ ๋์ด๋๋ฉด ๋์ด ์ฆ๊ฐ๋ถ์ ์ ๋๋ค. ๊ทนํ์์ ํญ์ ์ฐจ์์ด๋ฏ๋ก ๋ฌด์๋๊ณ , ๋ง ๋จ์ต๋๋ค.
๐ ํด์ฆ๋ก ํ์ธํ๊ธฐ
๋ฅผ ๋ฏธ๋ถํ๋ฉด ๋?
๋ฌดํ ๋๋ฆด ์ฐ์ต
๋๋ค 20๋ฌธ์ ยท ์ฝ 10๋ถ
๐ ์๋ฅ ๊ธฐ์ถ ๋ฌธ์
๐
์ด ๊ฐ๋ ์ ๊ธฐ์ถ ๋ฌธ์ ๋ฅผ ์ถ๊ฐ ์ค์ด์์
์๋ฅ ๊ธฐ์ถ ์ ์ฒด ๋ชฉ๋ก์์ ๊ด๋ จ ๋ฌธ์ ๋ฅผ ์ฐพ์๋ณด์ธ์.
๐ ์๋ฅ ๊ธฐ์ถ ์ ์ฒด ๋ณด๊ธฐ โ