๋”ฅ๋Ÿฌ๋‹ #๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ• 1

[๋”ฅ๋Ÿฌ๋‹] ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(Gradient Descent)

์˜ค์ฐจ์˜ ๋ฑํ™”์— ๋”ฐ๋ผ ์ด์ฐจํ•จ์ˆ˜ ๊ทธ๋ž˜ํ”„๋ฅผ ๋งŒ๋“œ๋ก ์ ์ ˆํ•œ ํ•™์Šต๋ฅ ์„ ์„ค์ •ํ•ด ๋ฏธ๋ถ„ ๊ฐ’์ด 0์ธ ์ง€์ ์„ ๊ตฌํ•˜๋Š” ๊ฒƒ. ์ตœ์†Œ์ œ๊ณฑ๋ฒ•์„ ์“ฐ์ง€ ์•Š๊ณ  ํ‰๊ท ์ œ๊ณฑ์˜ค์ฐจ, ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•์œผ๋กœ ์›ํ•˜๋Š” ๊ฐ’ ๊ตฌํ•˜๊ธฐ ๊ฐ€๋Šฅ ํ•จ์ˆ˜์˜ ๊ธฐ์šธ๊ธฐa๋ฅผ ๊ธฐ์šธ๊ธฐ๊ฐ€ ๋‚ฎ์€ ์ชฝ์œผ๋กœ ๊ณ„์† ์ด๋™์‹œ์ผœ ์ตœ์†Ÿ๊ฐ’ m์— ์ด๋ฅผ ๋•Œ๊นŒ์ง€ ๋ฐ˜๋ณตํ•œ๋‹ค. ์ตœ์†Ÿ๊ฐ’ m์—์„œ์˜ ์ˆœ๊ฐ„๊ธฐ์šธ๊ธฐ , ๊ธฐ์šธ๊ธฐ๊ฐ€ 0 = ๋ฏธ๋ถ„๊ฐ’์ด 0์ธ ์ง€์  ์ฐพ๊ธฐ ์ตœ์ ์˜ b, y์ ˆํŽธ ๊ตฌํ•  ๋•Œ๋„ ์‚ฌ์šฉ 1. a1์—์„œ ๋ฏธ๋ถ„ 2. ๊ตฌํ•œ ๊ธฐ์šธ๊ธฐ์˜ ๋ฐ˜๋Œ€ ๋ฐฉํ–ฅ(๊ธฐ์šธ๊ธฐ๊ฐ€ +๋ฉด ์Œ์˜ ๋ฐฉํ–ฅ)์œผ๋กœ ์–ผ๋งˆ๊ฐ„ ์ด๋™์‹œํ‚จ a2์—์„œ ๋ฏธ๋ถ„ 3. ๋ฏธ๋ถ„๊ฐ’์ด 0์ด ๋‚˜์˜ฌ ๋•Œ๊นŒ์ง€ ๋ฐ˜๋ณต ๊ธฐ์šธ๊ธฐ์˜ ๋ฐ˜๋Œ€ ๋ฐฉํ–ฅ์œผ๋กœ ์ด๋™์‹œ ๋„ˆ๋ฌด ๋ฉ€๋ฆฌ ์ด๋™์‹œํ‚ค๋ฉด a๊ฐ’์ด ์œ„๋กœ ์น˜์†Ÿ์•„๋ฒ„๋ฆผ ํ•™์Šต๋ฅ  - ์ด๋™ ๊ฑฐ๋ฆฌ๋ฅผ ์ •ํ•ด์ฃผ๋Š” ๊ฒƒ. ์ตœ์ ์˜ ํ•™์Šต๋ฅ ์„ ์ฐพ์•„์•ผ ํ•œ๋‹ค. import numpy as np import..