@whdan.ai: عملت فيديو ملخص لكل Optimization Algorithm في Deep Learning و الفرق بينهم على نفس ال Case. ال Optimization Algorithms بتعمل تحديث للـ Weights و Biases وقت تدريب الموديل، عشان تقلل Loss وتحسن Predictions. 1. SGD (Stochastic Gradient Descent) بيحدث ال Weights بناء على Gradient المحسوب من كل Batch من الداتا، وبيتحرك في الاتجاه اللي يقلل Loss. ميزته إنه بسيط ومش محتاج Memory كبيرة، بس التحديثات ممكن تكون متذبذبة أو Oscillation عشان الكلمة دي مهمة، و عشان يوصل لل Minimum ممكن ياخد وقت. 2. Momentum بيطور SGD لانة بيحفظ جزء من اتجاه التحديثات الي اتعملت، كأنه بيدي الموديل دفعة كده او زخم يساعده يكمل في الاتجاه الصح. ده بيقلل التذبذب في بعض الاتجاهات وبيساعد الموديل يوصل أسرع. 3. Nesterov Momentum شبه Momentum، بس بدل ما يحسب ال Gradient من المكان الحالي بس، بيبص على المكان المتوقع أنه يوصل له بعد خطوة من ال Momentum. ده أكيد بيخلية ياخد قرار أحسن في حالات و بيمنع أو بيقلل أن يحصل Updates اوڤر أو زيادة. 4. AdaGrad هنا زيادة جزء ال History، يعني بيستخدم ال Gradients القديمة عشان يغير ال Learning Rate لكل Parameter لوحدة. يعني ال Parameters اللي بتستقبل تحديثات كتير ممكن يقلل ال Learning Rate بتاعها، وده مفيد تحديداً مع نوع داتا ال Sparse Data. مشكلتة إن ال Learning Rate ممكن يقل جدًا مع الوقت، لدرجة إن التعلم يبقى بطيء. 5. RMSProp بيحل شوية من مشكلة AdaGrad عن طريق أن هو بيحسب المتوسط أو Moving Average لمربعات ال Gradients بدل ما يعتمد على كل ال Gradients القديمة بنفس الطريقة. ده بيخلي ال Learning Rate يتكيف مع التحديثات الجديدة، و بيحسن التدريب في حالات كتير. 6. Adam (Adaptive Moment Estimation) دا أشهر واحد فيهم، لأنه بيجمع بين فكرتين: Momentum، اللي بيتابع متوسط اتجاه ال Gradients، و RMSProp، اللي بيتابع المتوسط أو متوسط مربعاتها. و كده هو بيستفيد من معلومات عن الاتجاه وحجم التحديثات عشان يحدد التعديل المناسب لكل Parameter. في الغالب هو الأحسن في معظم الحالات بس مش كلها. في حجات تانية بتفرق في التدريب غير ال Optimizer، عندك Learning Rate، Batch Size، Data، وModel Architecture كلهم مهمين بيأثروا، هعمل لكل واحد منهم فيديو زي ده و بوست شرح إن شاء الله. #computerscience #chatgpt #artificialintelligence #ذكاء_اصطناعي #ai
