שיפור הביצועים של נטפרי

[nigun]

@magicode אמר בשירות VIP:

@www @nigun

תמיד יש מקום לשיפור בכל תחום. אבל שיפור מצריך עבודה ועבודה בדרך כלל באה על חשבון דברים אחרים. ויוצרת תקלות חדשות ודברים חדשים שצריך לתחזק.
פה באשכול הזה זה באמת סטיה לדון על זה, אם אתם חושבים שהשיפור הוא נדרש. אני לא חושב כי אצלי זה ממש טס ובכלל לא מפריע לי. אבל אם אתם חושבים אתם יכולים להציע את זה במקום המתאים לזה בפרום.

אכן נראה לי שאני אשם בכך שהדיון באשכול הקודם סטה מהנושא.
למעשה נראה לי שהדבר הכי מעשי שנטפרי יכולים לעשות כרגע זה להוסיף לוגים במקומות המועדים שמודדים את הביצועים של הבקשות, וכך אפשר לקבל גרף שיתן תמונה אמיתית מה קורה אצל האנשים בפועל.
יש לזה הרבה כלים מוכנים ונראה לי שמכנים את הרעיון הזה באופן כללי Observability (או בקיצור o11y), רק צריך לקחת בחשבון מה מודדים כי אם מודדים את כל הבקשת HTTP מתחילה ועד הסוף אז כל הבקשות מהלקוחות עם אינטרנט איטי ישפיעו לרעה על הגרף כשזה לא תלוי בנטפרי.
אולי צריך לשים את המדידה על פונקציות פנימיות שלוקחות הרבה משאבים (כמו פניה למסד נתונים,אתר חיצוני, סינון טקסט, בדיקת האש של תמונה וכו'), ולא רק בחיפוש בגוגל אלא גם בכניסה פשוטה לאתר יכול להיות שימצאו שיש חלק קטן שגורם לאיטיות ושכתוב של הקטע הקטן הזה בrust/V/C/GO..... ישפר את הביצועים של כל המשתמשים של נטפרי באופן ניכר, או שיגלו שהספק צריך להוסיף עוד שרתים, או אולי הפתעה אחרת.

אחרי שיהיה לנטפרי תמונה ברורה איפה יש איטית אז אפשר לדון במה חשוב להשקיע אם בכלל.
וזה הרעיון של o11y שיהיה שקיפות בכל המערכת כך שלא יצטרכו לנחש מה קורה בפנים, וידעו איפה להשקיע את המשאבים.

[DovidStroh]

@nigun בכל הקלטה אפשר לראות כמה זמן לקח בכל בקשה.

[nigun]

@dovidstroh אמר בשיפור הביצועים של נטפרי:

@nigun בכל הקלטה אפשר לראות כמה זמן לקח בכל בקשה.

ברור, אבל:

1. אתה לא בודק כל הזמן מה ממוצע הבקשות אצלך.
2. אתה לא יכול לבדוק את הממוצע אצל כל משתמשי נטפרי.
3. והכי חשוב, למשתמש הקצה אין דרך לדעת מה הגורם לאיטיות.

רק מדידה מצד נטפרי בכל המערכת תוכל להציג את כל הנתונים האלו

[magicode]

מדדנו בעבר וביטלנו את זה כי המדידה לוקחת משאבים.
אנחנו יודעים מה מפריע ולא כל בעיה ניתן לפתור ביום אחד.
אנחנו לא משועממים ומחפשים מה צריך לעשות. ידנו מלאות עבודה.
וצריך שתשרה ברכה במעשה ידינו ושיהיה לנו הרבה הצלחה וסיעתא דשמיא זה הכי חשוב והכי מועיל.

[nigun]

@magicode אמר בשיפור הביצועים של נטפרי:

מדדנו בעבר וביטלנו את זה כי המדידה לוקחת משאבים.

השאלה איך מודדים?
אם שולחים את המדידה למסד נתונים זה אכן יכול לקחת הרבה משאבים בפרט אם שולים את המידע ישירות מתוך הקוד.
אבל אם אוספים את המידע מתוך הלוגים ושולחים לשירות SaaS שמיועד לזה
זה לא מאט את השרת (כי המידע יכול להאסף גם כמה דקות אחרי שהוא נכתב) ומשלמים לפי כמות הבקשות וזה לא אמור לצאת כל כך יקר.

אנחנו יודעים מה מפריע ולא כל בעיה ניתן לפתור ביום אחד.
אנחנו לא משועממים ומחפשים מה צריך לעשות. ידנו מלאות עבודה.

לא חשבתי שאתם משועממים
רק בשרשור הקודם טענת שלא ידוע לך על צוואר בקבוק בחיפוש בגוגל
ויש כאלו שטוענים שיש צוואר בקבוק, לכן הצעתי שימדדו מה קורה בפועל כדי שזה לפחות יהיה ברשימת המתנה לפיתוח.

[magicode]

@nigun
אני חייב לציין שהירידה שלך לפרטים הטכנים גורמת לי להרגיש טמבל.

[nigun]

@magicode
אני מתחיל מאפס כדי לוודאות שאין משהו שמובן מאליו אצלי ושאנחנו מדברים על דברים שונים, ואני חושב שגם מתכנתים עם הרבה נסיון יכולים לפעמים לפספס טכנולוגיות שונות, ולא יזיק לומר את מה שאני חושב בצורה שתהיה מובנת לכל קוראי הפורום (אא"כ מישהו יעלב ח"ו).

[אלי TZA]

@nigun אמר בשיפור הביצועים של נטפרי:

והכי חשוב, למשתמש הקצה אין דרך לדעת מה הגורם לאיטיות.

השנקל שלי: אני עם סים 019 ולפני כמה חודשים הייתה איטיות בשעות העומס שהתגברה לאט לאט מיום ליום. האשם הראשון בעיני היה כמובן עומס על האנטנה כי אני גר בשכונה חרדית די צפופה. ממליא לא עשיתי כלום בנידון כי זה בחירה שלי לשלם זול על סטיק ולא להחזיק קו ביתי.
הימים והשבועות חלפו והאיטיות החריפה עד שהגענו למצב של קריסה מוחלטת שחוויתי כמה ימים בשעות 8-10 בערב.
רק לאחר שהאינטרנט נפל לחלוטין אני קורא כאן בפורום שהייתה תקלה בשרתי סינון של 019 וכשהיא נפתרה קיבלתי מהירויות שלא ראיתי לפחות חצי שנה אחורה.

בקיצור קרה לי בדיוק מה שאתה מתאר שהייתה תקלה בשרת שסבלתי ממנה תקופה ארוכה אבל לא הייתה לי ולנטפרי דרך לדעת שהיא קיימת בכלל.

[zeevgros]

בימים האחרונים מסתובב שמועה שבבני ברק ותל אביב יש בעיה בכל העיר עם הקליטה של פרטנר ויש אצלהם איזה בעיה שלבנתיים כפי הבנתי זה עוד לא טופל

[יעקב ישראל]

@zeevgros אתם סטיתם לגמרי מהנושא

[אלי TZA]

@יעקב-ישראל ממש לא. זה דוגמאות עד כמה ניטור כזה נחוץ.