Muhammad Fathi
@Muhammad_Fathi4
Followers
403
Following
25
Media
14
Statuses
196
Explore trending content on Musk Viewer
LINGORM TSOU EP1
• 569047 Tweets
$WATER
• 232721 Tweets
#INDvsAUS
• 171791 Tweets
Jake Tapper
• 143782 Tweets
#DontForgetGaza
• 129226 Tweets
Superman
• 77351 Tweets
Wade
• 63141 Tweets
Joselu
• 62519 Tweets
Diniz
• 58505 Tweets
Albania
• 51023 Tweets
Cuca
• 36100 Tweets
Nosferatu
• 35965 Tweets
الزمالك
• 34354 Tweets
Bumrah
• 30028 Tweets
Robert Eggers
• 29192 Tweets
Bangladesh
• 28580 Tweets
Dobbs
• 28251 Tweets
Travis Head
• 27378 Tweets
Axar
• 24846 Tweets
エニグマ
• 22028 Tweets
HüdaKaya SerbestBırakılsın
• 15635 Tweets
Kuldeep
• 13517 Tweets
LA INVITADA IS COMING
• 11601 Tweets
#دعاه_الفتنه_اهلكوهم
• 11518 Tweets
Jadeja
• 11462 Tweets
David Corenswet
• 11146 Tweets
Hakan Fidan
• 10049 Tweets
Pinned Tweet
السلام عليكم
بما إني الفترة دي بذاكر Spark, فانا هشارك بعض المعلومات والملاحظات بناء على فهمي المتواضع للموضوع اللي بذاكره, تطبيقا لفكرة (learning on public) وكطريقة لتثبيت المعلومة عندي
1/12
2
10
48
السلام عليكم
أنا بدور على شغل ك Data Engineer/ Big Data Engineer
أنا كارير شيفتر ودرست Data Engineering لمدة سنة تقريباً، وعملت اكتر من mock interview مع ناس سينيورز والحمد لله الفيدباكس كلها كانت كويسة
لو حد عنده بوزيشن او عنده امكانية يعملي referal هكون شاكر ليه جداً ....
15
89
249
إن شاء الله هتشوفوا محتوى عربي مميز في Spark
ربنا يتقبل منك يا هندسة
بخصوص كورس سبارك إحنا شغالين عليه في الأجزاء النهائية. وحالياً رفعنا 18 حلقة بالمونتاج بتاعهم. هنقفل الجزء التطبيق العملي ونخليهم متاحيين للجميع.
حالياً بيتم مراجعة الحلقات وبيتم عمل مونتاج للDemos الكورس هيكون طويل حوالي 100 حلقة بس ده عشان فيهم تطبيقات كثيرة.
نسأل الله القبول.
23
36
425
0
3
61
أتفضل..
الثريد اللي فات كان بيتكلم عن تاريخ Spark وفي الثريد ده و2 او 3 ثريدز جايين إن شاء الله هتكلم عن بنيان أو معمارية spark ومكوناته الأساسية و ازاي Spark بينفذ البرنامج اللي بنديهوله.
هبدأ في الثريد ده بسرد مكونات معمارية Spark أو Spark Architecture: ....
2
9
35
رأي مهندس مصطفى فيا فرحني وحاجة أعتز بيها جدا
ربنا يباركلك يا
@_MoustafaM
على كل شيء, أنا لما بدأت اتعلم DE كانت القناة بتاعتك هي البداية ليا ومازلت برجع وأعيد حاجات منها وكل مرة بتعلم معلومة جديدة من نفس الفيديو حضرتك -بعد ربنا- فضلك كبير عليا
ربنا يرزقك الاخلاص ويتقبل منك 💚
محمد من أشطر الناس اللي اتكلمت معاهم من فترة كبيرة وحقيقي بيسأل أسئلة حد فاهم جداً وبيذاكر بشكل تفصيلي نادراً لما حد يكون بيعمل المستوى ده بشكل ثابت. لو عندي بوزشن في التيم هاخده معايا من غير تفكير. لأنه فعلاً شاطر ومجتهد وذكي.
أخيراً: محمد مش بس بيسأل وبيذاكر هو كمان ساعدني
0
5
116
0
0
26
إن شاء الله هتشوفوا محتوى متعوب عليه فعلاً
مهندس مصطفى بازل في السلسلة دي مجهود كبير، دعواتكم ليه إن ربنا يعينه على إستكمالها
اليوتيوب بعتلي ديه. الخبر الجميل إن يكره هينزل الجزء الأول من الكورس حوالي ٢٥ حلقة (في خمس حلقات هينزلوا كمان في نصف الأسبوع إن شاء الله) يبقى على بعضه ٣٠ حلقة.
🚀
4
2
147
1
0
17
@_MoustafaM
ما لما يبقى نقاش ياخد مننا حوالي ساعة وربع من البحث في اكتر من مرجع عشان نحسم نقطتين، وبعد اللي حضرتك اكتشفته أثناء قراءتنا للسورس كود، فنقدر نقول وبكل أريحية إنه فعلاً أسطورة هو والتيم اللي اشتغل معاه
كمية تفاصيل فوق الوصف معمولة في Spark
1
0
16
@MAF74__
مأجور إن شاء الله على نشرك لحاجة زي كده
قال رسول الله صلى الله عليه وسلم (إن مما يلحق المؤمن من عمله وحسناته بعد موته علماً علمه ونشره)
احتسبه لله ولك الاجر إن شاء الله
1
1
11
السلام عليكم
بدأت أشتغل على تجميع الاسئلة وإجاباتها
ولكن في الأول هحط الاسئلة عشان نتناقش فيها ولو حد عنده معلومة نشاركها مع بعض وده هيكون افضل
@MuTarek74
@mmosaad0699
@BooOooDi5
2
2
9
@MuhammedSoudiAI
تجربتي الشخصية:
المنبهات مرة واحدة اول اليوم ولو العصر اذن قبلها يبقى مفيش منبهات(بلاش منبهات بعد العصر), لو انت نظام يومك الحالي مقلوب يعني بتصحى متأخر وبتسهر الليل يبقى تعالى على نفسك في يوم واصحى بدري حتى لو نايم ساعتين بس وخد المشروب بتاعك ايا كان نوعه وكمل هتلاقي نفسك ......
1
0
8
ولو حد عنده امكانية ل referal وحابب يتواصل معايا ويعرف اكتر عن مستوايا أو يطلب references يسألهم عني انا معنديش مشكلة
دي الكونتاكتس بتاعتي:
Mail: muhammad.fathi1001
@gmail
.com
Mobile: 01115771001
Linkedin:
0
0
7
@SomeOneElse244
@MuhammedSoudiAI
ده لينك tutorial كويسة جدا
وذاكر معاها برضو من كتاب Learning Spark
2
1
7
@_MoustafaM
اللي بنعمله جزء صغير جنب المجهود اللي بتبذله في التحضير والشرح والإخراج
كفاية وقت نومك وراحتك اللي بتقتطع منه جزء مش صغير عشان تطلع الكورس في أقرب وقت
ربنا يتقبل إن شاء الله
1
0
6
قال تعالى (كنتم خير أمة أخرجت للناس تأمرون بالمعروف وتنهون عن المنكر)
الأمر بالمعروف والنهي عن المنكر واجب على كل مسلم, فلما حد ينصحك هو مش بينظّر عليك هو بيحاول يسحبك للطريق الصح واستهزاءك من أمر زي ده فهو استهزاء ضمني بالدين, ومعتقدش إن حد يحب يختبر عقوبة ربنا على الاستهزاء ...
خليني أضرب مثال إثبات على صحة الكلام ده، أنا شغال في شركه 90% منها auc و guc،بيئة العمل صحيه والناس بتتعامل مع بعض باحترام،كنت شغال في شركه قبلها كانوا شايفين اللي مش بيصلي ده شخص ميتقعدش معاه ووحش ويتعامل بعنصريه ولازم نمشيه،مش بعمم طبعاً انا مش خريج الجامعات دي بس ده الـavg
15
20
553
1
1
4
إن شاء الله هستخدم هاشتاج
#Spark_Notes_
بالعربي عشان يسهل الوصول للثريدز المتعلقة بالموضوع.
الثريدز هتكون بناء ع فهمي كحد مبتدئ, بس هحاول بقدر الإمكان اني اشرح المفاهيم بطريقة سليمة وغير مخلة باذن الله.
وارجو من الله اني اقدر استمر وموقفش في النص إن شاء الله
2/12
1
1
4
If yes, What happens to the client requests during the failover?
Assuming we have an HA Hadoop cluster and need to migrate from NFS to QJM, how will the QJM build the edit logs? What will happen in general?
1
0
2
@_MoustafaM
وجهة نظري ان ممكن نستخدمه عشان يظبطلنا التنسيقات أو يقترحلنا صياغات أفضل لسرد الموضوع أو يصححلنا الgrammer mistakes، إنما إني اديله عنوان واخليه يكتبلي الموضوع واخده نسخ ولصق دي بصراحة حاجة غير مفيدة بالمرة ليا ولغيري
1
0
3
الراجل ده أنا بمشيله تِلت ساعة عشان أصلي وراه، ما شاء الله صوته قوي وجميل وبيرتل بأكثر من أداء كمان ما شاء الله
0
0
3
0
0
1
@_MoustafaM
نفس الموضوع اللي كنت بتكلمني فيه أول امبارح 😅
يارب تيمات البيزنس تتنيل تعرف هيا عايزه ايه كويس بدل العمر اللي بيضيع ف ميتنجز ملهاش لازمه دي
3
0
23
1
0
3
@MuTarek74
عارف ايه اللي لفت نظري و استفزني؟!
إنها كاتبة "طريقت صنيت"
الخطأ في الكتابة باللغة العربية -خصوصا لو فادح- بيستفزني بصراحة😅
0
0
2
@_MoustafaM
متفق تماماً
وخصوصاً اللي في سننا وأصغر، في جزء مش قليل منهم عنده بعض من الكبر والخيلاء والإعجاب بالنفس ومعرفش سببه ايه بالظبط
وللعلم انا اخواتي الاتنين أطباء وزوجتي قطاع طبي وعدد الأطباء في العيلة عندي كتير
0
0
2
-المشكلة التانية إن MR كان عبارة عن batch processing فقط ومكنش في امكانية لبعض المهام المختلفة التانية زي الML و ال Streaming وال Interactive queries, فعشان يتعاملوا مع الworkloads دي تم تطوير أنظمة مخصصة زي(Hive, Storm, Impala, Giraph, Mahout) كل واحد ليه ال APIs بتاعته و-
7/12
1
0
2
@mmosaad0699
@_MoustafaM
@MuTarek74
أكيد إن شاء الله
بس صدقاً الفترة دي ولغاية أسبوع لقدام أنا مشغول في حاجات ومهندس مصطفى وطارق عارفين ده, فإن شاء الله أفضى وأجمع كل الأسئلة والاجابات اللي وصلنالها واشيرها معاكم
بس أنا فعلا مش عايز أعمل أي حاجة وخلاص واكتبلكم كام سؤال وأجري, دعواتك
1
0
2
What will happen if the majority of the journal nodes don't commit an edit?
أسئلة HDFS ماشية بالتدريج ومش هتعرف تجاوب سؤال غير لو عارف إجابة اللي قبله وزيادة عليه شوية حاجات تانية
0
0
2
@aemad1449
ما احنا قولنا بقى المشكلة في حاجتين:
-بالنسبة للنظام فالمشكلة في السلطة المطلقة (السلطة المطلقة مفسدة)
-بالنسبة للناس فالمشكلة ضعف الدين وعدم مراقبة الله في أفعالهم (ودي برضو متعلقة بالسلطة المطلقة فلولاها ما ظهر ما بهم من سوءات)
فالحل عدم إعطاء السلطة المطلقة دون رقيب
0
0
2
@Sobhey001
@HasanIs30299681
ده حقيقي فعلاً ، هما لسه مشتغلوش بكامل طاقتهم الإنتاجية
وممكن فعلاً كلام حضرتك يكون صحيح، أنا حبيت اوضح معلومة عندي، الله المستعان
1
0
2
component gives the instruction to kill the task?
Hadoop Questions:
If we have a Hadoop cluster up and running for a while and need to perform routine maintenance on the cluster (e.g., updating the namespace image), how do we achieve that? Do we make a graceful shutdown?
2
0
2
- Spark Driver
وده العقل المتحكم والمسؤل عن إدارة ال Spark application ( الSpark app هو البرنامج اللي عايزين ننفذه بSpark)
الdriver مسؤل عن بدء ال Spark Session ومسؤل انه يتواصل مع الCluster manager عشان يوفر الموارد المطلوبة لتنفيذ البرنامج وبيوزع التاسكات على ال...
1
0
2
@AhmedEmad_07
تجربة شخصية أنا مريت بيها:
أنا كنت شخص سباب يكاد لا يخلو حديثي من السب والقذف وكان الموضوع ده مسببلي ضيق داخلى ومهما حاولت امسك لساني مش بكمل كام يوم وارجع تاني لما كنت عليه
الحمد لله ربنا من عليا وأكرمني وعرفت أتغلب ع الموضوع ده، واللي انا عملته واعتقد إن كان ليه الأثر الأكبر:
1
0
2
بدينه
فخلوا بالكم من كل كلمة تقولوها واللي ممكن يكون الدافع وراها هو بغض شخص الناصح أو بغض طريقته ولكن انت كده بترتكب إثم انت مش قد عواقبه
والواجب على الناصح برضو انه يتحرى حسن النصحية ويتحرى ضوابط الأمر بالمعروف والنهي عن المنكر
وده مقطع للشيخ الشعراوي بيتكلم فيه عن ..
1
0
1
في الميموري لحين الانتهاء من الوظيفة ككل.
-بيقدم مجموعة APIs سهلة باكتر من لغة برمجة زي (Java, Scala, Python) بتدعم الworkloads المختلفة.
وكان التقدير الاولي لأداء Spark بيقول إنه اسرع ب 10-20 مرة من MR, بعدها فضلوا مطورين سبارك شغالين ع تطويره لغاية 2013
9/10
1
0
2
Spark Questions:
What Spark component is responsible for launching the Spark Executors?
Is the relation between the Driver and Cluster manager is to request resources only?
In Speculative execution, What Spark component is responsible for killing the hung task? And which co..
1
0
2
2-في 2012 تم تطوير Yarn وبقى هو ال most used cluster manager لانه بييجي مع Hadoop كمكون أساسي by default على عكس Mesos اللي عشان يشتغل على Hadoop هيحتاج انك تعمله configuration خاصة بيه, عشان كده في اغلب الاحيان هنلاقي Spark بيشتغل on top of Yarn, ومؤخرا Kubernetes
11/12
1
0
2
@MuhammedSoudiAI
هو م.احمد سامي مش شارح MapReduce بالتفصيل هو شرحه زي ما موجود في part1 من الكتاب لكن مشرحش part2 اللي بيتكلم عن MR بالتفصيل
لو عايز حاجة عربي م. مصطفى علاء شرح MR بالتفصيل اكتر
0
0
2
3-في نهاية 2016 Spark بقى The most active Apache project in history
وبكده أنتهى أول ثريد, أنا حاولت أختصر واتجنب استخدام الانجليزية بقدر الامكان بس فيه مصطلحات معرفتش أوجد ليها بديل بنفس المعنى بالعربي.
إن شاء الله ربنا يقدرني وأشارك باقي اللي بتعلمه في ثريدز جاية -دعواتكم-
12/12
1
0
2
انتهى الثريد وإن شاء الله في الثريدز الجاية هنتكلم عن تفاصيل الlife cycle اللي بيمر بيها الSpark application
دعواتكم💚
1
1
2
أول شيئ هبدأ بيه هيكون نبذة عن تاريخSpark بحيث إننا نكون فكرة عن السؤال اللي هيجي بعدين (ليه Spark؟)
بسم الله:
من أين أتينا إلى Spark؟
-الموضوع بيبدأ في 2009 من جامعة كاليفورنيا UC Berkeley لما كان فيه مشروع بحثي اسمه "AMP Lab" واللي كانو شغالين على تطوير "Cluster manager"
3/12
1
0
2
لما تبرعوا بSpark ل Apache Software Foundation واصبح Apache Spark.
ملحوظات:
1-مطورين Spark بعدها أنشأوا الشركة الخاصة بيهم اللي هي Databricks وهي cloud-based unified data analytics platform بتعتمد على Spark مع اضافة بعض الخصائص والمزايا التانية.
10/12
1
0
2
@_MoustafaM
أنا مش مصدق نفسي إن حضرتك ذكرتني في تويتة
والله يا هندسة ليك بعد ربنا فضل كبير عليا وعلى ناس كتير في المجال وانا أول بدايتي الفعلية في الDE كانت من القناة عندك
رينا يجزيك خيرا على كل اللي بتقدمه ورزقك الاخلاص ومن عليك بقبوله إن شاء الله
1
0
1
الclient machine هنا مسمى الgateway machine او الedge node وبتكون single point of failure عشان كده المود ده مش بيستخدم في الproduction ولكن بيستخدم في الdevelopment لانه بيكون اسرع في الحصول على feedback للsubmited jobs لان هنا الdriver شغال على...
1
0
1
وتكملة للموضوع, انا لما اجي انفذ الSpark applications بيكون عندنا 3 deployment/execution modes بنختار منهم
لو عندي cluster هنفذ عليها الSpark application فأقدر اختار بين 2 modes:
الCluster Mode: وهنا انا لما بعمل submit للكود بتاعي من الclient machine الcluster manager بي..
1
0
1
اللهم صل على محمد وعلى آل محمد، كما صليت على إبراهيم، وعلى آل إبراهيم، إنك حميد مجيد، اللهم بارك على محمد، وعلى آل محمد كما باركت على إبراهيم، وعلى آل إبراهيم إنك حميد مجيد
0
0
1
@AhmedEmad_07
-البعد عن بعض الأصدقاء (ربنا يغفرلنا وإياهم)
-المداومة على ذكر الله
أكيد في حاجات تاني ممكن تتعمل عشان الواحد يتمكن من حفظ لسانه بس انا كتبت اللي مريت بيه شخصياً، أسأل الله أن يحفظ ألسنتنا عن كل ما يغضبه
0
0
1
الله أكبر ولله الحمد
الله أكبر ولله الحمد
الله أكبر
أبو عبيدة يعلن الآن عن نجاح كتائب القسام في تنفيذ في عملية أسر استهدفت عددا من جنود الاحتلال في جباليا
140
2K
8K
0
0
1
طيب ليه اصلا طوروا Spark بالرغم من وجود MapReduce وإمكانية استخدامه؟
كان فيه مشكلتين رئيسيتين فيMR وكان في حاجة ملحة لايجاد حل ليهم :
-المشكلة الأولى إن MR عشان يعمل بعض الوظائف المعقدة واللي فيها Iterative computation (a lot of MR tasks) زي تاسكات ال ML -على سبيل المثال-
5/12
1
0
1
نفس الجهاز اللي بيتم عليه الdevelopment انما في الproduction بيتم استخدام الcluster mode عشان الdurability وانه ميكونش عندي SPOF وميزة كمان اني بستفيد بموارد الcluster اللي في الغالب بتكون افضل من الclient machine
1
0
1
@_MoustafaM
ما اعمل كده سألت نفسي السؤال ده وكنت في حيرة شديدة ولكن كنت بستخير ربنا في كل خطوة وهداني إني اكمل، وكلي عشم إنه مش هيخذلني وهيكرمني من فضله
0
0
1
الClient Mode: مشابه للنمط اللي فات من حيث إن الcluster manager بيكون مسؤل انه يوفر الresources للexecutors ولكن الاختلاف هنا ان الdriver بيتكريت على الclient machine وبالتالي هي اللي هتكون مسؤلة انها تحافظ على تشغيل ال driver process ومينفعش افصلها وبيطلق على ال.....
1
0
1
@_MoustafaM
والله بنبسط جدا بالنقاش مع حضرتك, أنا فعلاً بتعلم من نقاشي معاك حاجات صعب أتعلمها حتى بعد4 أو 5 سنين خبرة أو ممكن ما أتعلمهاش خالص اصلا لو معرفتهاش منك
ربنا يباركلك ويرضى عنك♥️
1
0
1
@_MoustafaM
أه بالفعل ده جزء من اللي اتناقشنا فيه بخصوص طبيعة العلاقة بين الDriver والCluster Manager + الجزئية الخاصة بالSpeculative Execution :
- How?
- Which component is responsible for it?
- Which component does kill the task (Physically)?
0
0
1
بيكريت الspark driver process على واحدة من الworker nodes وكذلك الامر بالنسبة للexecutors. وهنا Spark بيكون مسؤل عن إنه يmaitain كل الSpark App Processes بما فيهم الSpark driver process وساعتها اقدر افصل الclient machine
2
0
1
*باذل
بيستفزني الغلط في الكتابة باللغة العربية وفي الآخر عملتها أنا😅
0
0
1
@Sobhey001
@HasanIs30299681
للتوضيح، كنت بتكلم النهارده مع حد تاني من داخل القناة وفعلاً الخبر طلع مش صحيح
1
0
1
الcluster configuration الخاصة بيه وده طبعا بيخلي تشغيل Hadoop اكتر تعقيدا وكمان بيكون محتاج مستوى تعليم كبير من المطورين.
ومن هنا جه Spark عشان يحل المشكلتين دول من خلال انه: -يدعم تخزين النواتج الوسيطة (intermediate results) الناتجة عن الiterative map & reduce computations
8/12
1
0
1
@_MoustafaM
اخدت قرار مشابه -بس الفرق اني معايا طفل واحد مش ٢- من اكتر من سنة لما سبت شغلي وبدأت اتعلم DE وقبلها كنت عمري ما كتبت سطر كود ولا اعرف ادنى اساسيات الsoftware engineering أصلا اللي تخليني اقدر اكمل، ولكن بفضل الله مشيت على رود ماب وحالياً خلصتها وبدأت رحتلي في البحث عن عمل
وقبل م
1
0
1
قال ﷺ (إن من أفضل أيامكم يوم الجمعة فأكثروا علي من الصلاة فيه فإن صلاتكم معروضة علي)
اللهم صل على محمد وعلى آل محمد كما صليت على إبراهيم وعلى آل إبراهيم في العالمين إنك حميد مجيد، اللهم بارك على محمد وعلى آل محمد كما باركت على إبراهيم وعلى آل إبراهيم في العالمين إنك حميد مجيد
0
0
1
الLocal mode: وده مختلف كليا عن ال2 اللي فاتوا لان هنا انا بشغل كل الSpark application processes على جهاز واحد وبيتحقق الparallelizm هنا بان التاسكات بتتوزع ع الthreads اللي في الجهاز, والمود ده اللي بنستخدمه لما نيجي نتعلم Spark ونختبر الapplications بتاعتنا
2
0
1
والله لأمثاله خلقت
0
0
1
اللهم صل على محمد وعلى آل محمد كما صليت على إبراهيم وعلى آل إبراهيم في العالمين إنك حميد مجيد، وبارك على محمد وعلى آل محمد كما باركت على إبراهيم وعلى آل إبراهيم في العالمين إنك حميد مجيد
0
0
1
بنفس مفهوم ال docker containers
- Spark Session
هي نقطة البداية في أي Spark application وهي اللي ��ن خلالها بقدر اتواصل مع الcluster وانفذ العمليات بتاعتي (Spark operations) وجواها بيتم كل الManuplations, وبقدر من خلالها برضو استخدم كل الlower level APIs زي ...
1
0
1
فكان الناتج من كل MR task بيتكتب ع الlocal disk عشان يستخدم في التاسك اللي بعدها ومن ثم يتم قراءته مرة تانية, وده معناه عمليات كتيرة من desk I/O فطبعا كان بيسبب بطء كبير كلما كانت الوظيفة أكثر تعقيدا وكان ممكن large MR job تاخد ساعات عشان تتعمل
6/12
1
0
1
الexecuters وبيتابع تنفيذها
- Executors
ودي العضلات اللي بيتنفذ عليها البرنامج بتاعنا وبعد ما تخلص بتبعت النواتج للdriver. وكل Spark app بيكون ليه الexecuters الخاصة بيه
ملحوظة: كلا من الdriver والexecutors هي عبارة عن processes شغالة على physical machines تقدر تفكر فيها ب..
1
0
1
@MuhammedSoudiAI
تاني يوم نمت بدري غصبا عنك ومن هنا تبدأ تظبط نومك والموضوع ممكن ياخد منك اكتر من يوم عشان تعرف تظبطها عادي
بالنسبة لمنبهات فهي بتختلف من شخص للتاني يعني انا مثلا جهازي العصبي بيستجيب جدا للمنبهات فنادرا لو شربت قهوة ولو هشرب بتكون كوباية شاي اول اليوم وبس انما القهو بتخليني مهيبر
1
0
1
@aemad1449
هو فيه حل ممكن يحسن الperformance شوية بس هيحتاج storage اكبر، هو قريب من الحل اللي اتذكر باني هعمل table جديد بس بدل ما احتاج اعمل join مع كل query ممكن اعمل materialzed view واخزن فيه نتيجة الjoin واعمل عليه تحديث بصفة مستمرة، ولما احب اجيب الداتا هرن كويري ع الview
1
0
1
@YosefKhale81639
@_MoustafaM
طب ما تعمله بلوك يا معلم عشان متشوفش الأفكار اللي مش عاجباك وسيب كل واحد يمشي بأفكاره من غير ما تحكم عليه ابتدأاً
هو حب يقصر عليك وينهي النقاش من الاول وقالك "معلش" لكن انت مُصر تجبره على الاستمرار فيه
أظن مهاجمتك ليه بالطريقة دي هي التطرف بعينه
0
0
1
@SomeOneElse244
@MuhammedSoudiAI
انا ذاكرت شوية من Learning Spark
انما Spark the definitive guide مبصتش عليه غيرة في تفصيلة ملقتهاش في الكتاب الاولاني
1
0
1
زي (SparkContext, SqlContext & HiveContext). وكل Spark application بيكون ليه الSparkSession الخاصة بيه
- Cluster Manager
وهو المسؤل عن إدارة مجموعة الاجهزة (cluster) اللي هتنفذ الspark app وهو اللي بيتم التواصل معاه عشان يوفر الphysical machines بالموارد المطلوبة اللي ه....
1
0
1
أنا عندي يقين إن كل اللي بيحصل فينا ده بسبب الدم اللي إتسفك اللي جزء مش قليل من الشعب طلع رقص على جثثهم وأيد القتل والباقي سكت أي كان سبب سكوته, ده غير الناس اللي بتعتقل بوتيرة شبه يومية لاتفه الاسباب والسعي لمحاربة وتجريد الناس من الدين بكل طريقة ممكنة
1
0
1
بحيث يكون فيه مكون منفصل للتحكم في Hadoop Cluster, -لأن في Hadoop 1 كان MapReduce عبارة عن مكونين (Job Tracker , Task Tracker) وكان ال Job Tracker هو اللي بيقوم بدور ال Cluster manager-
وهنا قدروا يطوروا Mesos وطوروا Spark لإثبات مدى سهولة وسرعة تشغيل كلاستر بإستخدام Mesos
4/12
1
0
1
معنى الاية المذكورة وياريت الناس تفهم إن نبذ من لا ينتهي عن المنكر -بعد نفاذ المحاولات معه- أمر من الدين
0
0
0
هيشتغل عليها ال driver & executors او الexecutors بس -على حسب الdeployment configurations- عشان انفذ الSpark application.
وSpark بيدعم 4 انواع من الcluster managers:
-Built-in standalone cluster manager
-YARN
-Mesos
-Kubernetes
1
0
1