שירות VIP

[shloimy95]

@צדיק-תמים אמר בשירות VIP:

יש לייעל את המנגנון הנוכחי בדרך יחסית פשוטה של איחוד הבקשות לסוקט אחד

זה שיפור טוב, רק ניסיתי להסביר למה אני כל כך בטוח שלנטפרי יש סיבה שלא ניתן לעשות את זה בשרת. (שזה היה הרעיון המקורי).

[צדיק תמים]

@shloimy95 אמר בשירות VIP:

רק ניסיתי להסביר למה אני כל כך בטוח שלנטפרי יש סיבה שלא ניתן לעשות את זה בשרת

למיטב ידיעתי נטפרי יודעים להסביר את עצמם מצויין, אם יש סיבה ניתן לכתוב אותה, לא נראה לי שיש עניין "להסביר" אותם, ועוד על ידי ניחושים והנחות ש"בטח יש סיבה" שלא מבוססים על ידע בנושא
מה שכתבת מתבסס כמו שאמרתי על "הנחת מלאכים" (כלומר שבנטפרי יושבים מלאכים ולא בני אדם)...

[magicode]

הסינון לא מתבצע אצל הלקוח זה מתבצע בשרת.
מי שפרשן אחרת פשוט לא מבין איך זה עובד.

[nigun]

@magicode
ברור שהסינון הוא בצד שרת
אבל בפועל יש סריקפט בצד לקוח ששולח בקשה נפרדת לכל כתובת בחיפש גוגל לhttps://www.google.com/~netfree/test-url?u.
ולחלק מהבקשות לוקח 4 שניות, ואם הבקשה לוקחת יותר מ30 שניות אז מקבלים TIMEOUT
לא יודע האם נטפרי אוספים את הממוצע של הבקשות אבל לפעמים זה לוקח הרבה זמן וזה מאוד מציק.
לא יודע איפה הצוואר בקבוק אבל אני מאמין שזה נמצא בעוד מקומות שפחות ניכרים למשתמש למשל בכניסה לקובץ בדרייב שלפעמים לוקח הרבה זמן לתגובה הראשונה וכו'.

זה כנראה באמת לא יעזור לאחד את כל הבקשות לסוקט אחד
כי הצוואר בקבוק בצד שרת

[צדיק תמים]

@nigun אמר בשירות VIP:

זה כנראה באמת לא יעזור לאחד את כל הבקשות לסוקט אחד
כי הצוואר בקבוק בצד שרת

מהנטוורק נראה שחלק מהבקשות ממתינות, שזה אומר לכאורה (כמו שקישרתי לעיל) שהדפדפן ממתין שיהיה פחות מ6 בקשות פעילות

[magicode]

בחיפוש גוגל נבדק תוכן הדף של לינק שמוביל.
אם האתר שמופיע בתוצאות מגיב לאט אז התגובה תהיה איטית.

[nigun]

@magicode אמר בשירות VIP:

בחיפוש גוגל נבדק תוכן הדף של לינק שמוביל.
אם האתר שמופיע בתוצאות מגיב לאט אז התגובה תהיה איטית.

לפעמים הרבה מהתוצאות מחזירים TIMEOUT
לא בדקתי האם כל התוצאות הם מאותו אתר לכן חשדתי שזה איטיות בצד של נטפרי.

בכל אופן URLים שנבדקו בעבר יכולים לקבל קיצור דרך ולא לעבור סריקה מלאה מחדש (אולי זה כבר מיושם אין לי דרך לבדוק את זה)

[ברצינות]

@nigun אמר בשירות VIP:

(אולי זה כבר מיושם אין לי דרך לבדוק את זה)

לבדוק על כתובת אתר שלך ולהחזיר לדקה אחת קוד שגיאה 500

[shraga]

@nigun אמר בשירות VIP:

בכל אופן URLים שנבדקו בעבר יכולים לקבל קיצור דרך ולא לעבור סריקה מלאה מחדש (אולי זה כבר מיושם אין לי דרך לבדוק את זה)

לחלוטין לא, זה דינמי, זה בודק ספציפית פר משתמש ולא לפי ההגדרה הכללית בנטפרי, הבדיקה מוכרחת להיות בכל פעם מחדש מכיוון שהגדרות הסינון של המשתמש (וגם של נטפרי) הן דינמיות ומשתנות מעת לעת.

[nigun]

@shraga
אבל לא צריך לגשת לאתר בכל פעם מחדש
למשל אם אני חסמתי בהגדרות שלי אתרי חדשות
ובתוצאות יש הפניה לJDN אין צורך שהשרת של נטפרי יגש לJDN מספיק לראות את הURL.

[shraga]

@nigun אמר בשירות VIP:

@shraga
אבל לא צריך לגשת לאתר בכל פעם מחדש
למשל אם אני חסמתי בהגדרות שלי אתרי חדשות
ובתוצאות יש הפניה לJDN אין צורך שהשרת של נטפרי יגש לJDN מספיק לראות את הURL.

אז אם אני מבין נכון, טענתך היא ש:

1. לא צריך בדיקה של תוכן הדף עצמו כפי שמתבצע כיום, אלא רק של הURL האם הוא פתוח למשתמש הספציפי וכפי הבדיקה שמתבצעת במערכת נטפרי בכל נסיון גישה של משתמש X לURL כלשהו. וכך לכאורה זה גם יהיה בדיקה מהירה הרבה יותר ולא תלויה במהירות התגובה של האתר (אלא של השרת של נטפרי...).

2. הבדיקה צריכה להיות בצד השרת של נטפרי בלבד.

פתרון של קאש כפי שמישהו הציע לעיל כמובן לא רלוונטי עקב הדינמיות של הסינון.
אבל למה זה לא מתבצע בצד השרת? שאלה טובה. אולי בכדי לחסוך במשאבים?!

[nigun]

@shraga אמר בשירות VIP:

@nigun אמר בשירות VIP:

@shraga
אבל לא צריך לגשת לאתר בכל פעם מחדש
למשל אם אני חסמתי בהגדרות שלי אתרי חדשות
ובתוצאות יש הפניה לJDN אין צורך שהשרת של נטפרי יגש לJDN מספיק לראות את הURL.

אז אם אני מבין נכון, טענתך היא ש:

1. לא צריך בדיקה של תוכן הדף עצמו כפי שמתבצע כיום, אלא רק של הURL האם הוא פתוח למשתמש הספציפי וכפי הבדיקה שמתבצעת במערכת נטפרי בכל נסיון גישה של משתמש X לURL כלשהו. וכך לכאורה זה גם יהיה בדיקה מהירה הרבה יותר ולא תלויה במהירות התגובה של האתר (אלא של השרת של נטפרי...).

2. הבדיקה צריכה להיות בצד השרת של נטפרי בלבד.

פתרון של קאש כפי שמישהו הציע לעיל כמובן לא רלוונטי עקב הדינמיות של הסינון.
אבל למה זה לא מתבצע בצד השרת? שאלה טובה. אולי בכדי לחסוך במשאבים?!

בדקתי את המהירות תגובה לכל בקשה בכרטיסיה נפרדת
נראה שאכן נטפרי מחזירים תשובה יותר מהירה לכתובת חסומה מאשר לכתובת בreddit
לכתובת חסומה בquora.com חוזרת תוך 40ms, ולreddit לוקח 1.87s.

אבל משום מה כשזה מתוך הסקריפט זה לוקח לאותם בקשות 550ms ו 2.09s (גם אחרי רענון לכן נראה שזה לא בגלל קאש)

לכן הציעו שנטפרי ישלחו את הבקשה מעל WS כדי לחסוך בקשות
ומעל אותו WS אפשר לשלוח את כל הבקשות ולהחזיר אותם באופן אסינכרוני ושלא יחסמו אחד את השני.

בנוסף אפשר לשפר את המהירות של בדיקת כתובות כי כרגע זה נראה כאילו עוברים על כל הבדיקה כל פעם מחדש אפילו כשמודבר על אותה כתובת, לכאורה אין צורך בפניה לאתר בכל חיפוש מחדש (ואם חוששים לתוכן דינאמי אין לדבר סוף כי יש אתרים שיציגו תוכן שונה לכל משתמש, ויש אתרים שיקח 10 שניות להעלות את כל התוכן)

[אלמוני_צר]

אחזור רגע לדיון הקודם (היו צריכים פה 3 אשכולות נפרדים, אבל נו שוין...)

@מושט אמר בשירות VIP:

כלומר אם הם עושים ממוצע של כל הלקוחות שלהם ודאי שיתכן שהממוצע נמוך משום שיש הרבה אנשים בעיקר זקנים, או כל מיני סימים של מכונות סליקה וכד'. שבקושי צורכים גלישה. אז זה לא הקבלה נכונה למשתמשי נטפרי.

נראה לי שהסברת היטב את טענת הספקיות: הממוצע הכללי בהשתמשות בסים הוא נמוך בגלל מבוגרים, מכונות סליקה וכדומה שמשתמשים מעט, אז למרות שישנם רבים שמשתמשים רבות (לצערנו) לצפיה או משחק, בסוף זה מתקזז עם האחרים ושווה לחברות התקשורת לגבות על חבילות של 150 ג"ב גם סכומים של 20-25 ש"ח.

מה שאין כן משתמשי נטפרי שמשתמשים אך ורק לגלישה, אין את הממוצע הנמוך הזה.

בנוסף, בדקתי כמה עולה סים לדאטה בלבד ללא סינון, המחירים לא כל כך רחוקים! חבילת גלישה של 50 ג"ב בחברת פלאפון לדאטה בלבד, עולה 39.9, והגיוני בעיני הפער הקטן שנשאר, לתשלום על תמיכה ממוקדת ומגזרית. בסוף, בל נשכח, אנחנו (עדיין) לא שוק מספיק גדול כדי שיהיה זול מספיק להשקיע עלינו צוות תמיכה ושירות. ועדיין - הפערים לא גדולים!

[a0533057932]

@אלמוני_צר אמר בשירות VIP:

אחזור רגע לדיון הקודם (היו צריכים פה 3 אשכולות נפרדים, אבל נו שוין...)

@מושט אמר בשירות VIP:

כלומר אם הם עושים ממוצע של כל הלקוחות שלהם ודאי שיתכן שהממוצע נמוך משום שיש הרבה אנשים בעיקר זקנים, או כל מיני סימים של מכונות סליקה וכד'. שבקושי צורכים גלישה. אז זה לא הקבלה נכונה למשתמשי נטפרי.

נראה לי שהסברת היטב את טענת הספקיות: הממוצע הכללי בהשתמשות בסים הוא נמוך בגלל מבוגרים, מכונות סליקה וכדומה שמשתמשים מעט, אז למרות שישנם רבים שמשתמשים רבות (לצערנו) לצפיה או משחק, בסוף זה מתקזז עם האחרים ושווה לחברות התקשורת לגבות על חבילות של 150 ג"ב גם סכומים של 20-25 ש"ח.

מה שאין כן משתמשי נטפרי שמשתמשים אך ורק לגלישה, אין את הממוצע הנמוך הזה.

בנוסף, בדקתי כמה עולה סים לדאטה בלבד ללא סינון, המחירים לא כל כך רחוקים! חבילת גלישה של 50 ג"ב בחברת פלאפון לדאטה בלבד, עולה 39.9, והגיוני בעיני הפער הקטן שנשאר, לתשלום על תמיכה ממוקדת ומגזרית. בסוף, בל נשכח, אנחנו (עדיין) לא שוק מספיק גדול כדי שיהיה זול מספיק להשקיע עלינו צוות תמיכה ושירות. ועדיין - הפערים לא גדולים!

הזכרת את פלאפון
פלאפון עולה 1000 גיגה ב100
500 ב80
אתה רוצה להשוות מחירים לספקי נטפרי?

[אלמוני_צר]

@a0533057932
חבילה של 1000 ג"ב לא קיימת באף ספקית של נטפרי

לעומת זאת, בשאר החבילות, הפער הוא לא גדול!
חבילת 500 ג"ב - 95/100 ש"ח בספקית תומכת נטפרי לעומת 79.9 ש"ח בפלאפון
חבילת 100 ג"ב - 50/65 ש"ח בספקית נטפרי לעומת 49.9 ש"ח בפלאפון
וכן הלאה והלאה

לא חושב שהפער כזה גדול

לא?!

[אלמוני_צר]

אגב, בבדיקה באתר כמהזה, אני רואה מחירים הרבה הרבה יותר גבוהים בחברות סלקום/פרטנר/הוט/019 במסלולים הרגילים (17 ג"ב ב-79 ש"ח או 10 ג"ב ב-99 ש"ח! הגיוני בכלל?!)
יש שם גם מסלולים זולים והגיוניים יותר, אבל עדיין, נראה שסימים לדאטה בלבד הם יקרים יותר גם במסלולים הרגילים.

[shloimy95]

@shraga אמר בשירות VIP:

אבל למה זה לא מתבצע בצד השרת? שאלה טובה. אולי בכדי לחסוך במשאבים?!

אני לא חושב ששרת יקשיב לבקשת REST או API אחרת, יעבד אותה ויענה עבור כל תוצאה של חיפוש בגוגל הוא פחות מאמץ משאבים מאשר בדיקת כל התוצאות בשרת לפני הגשת הדף ללקוח.

[a0533057932]

פוסט זה נמחק!

[nigun]

@shloimy95 אמר בשירות VIP:

@shraga אמר בשירות VIP:

אבל למה זה לא מתבצע בצד השרת? שאלה טובה. אולי בכדי לחסוך במשאבים?!

אני לא חושב ששרת יקשיב לבקשת REST או API אחרת, יעבד אותה ויענה עבור כל תוצאה של חיפוש בגוגל הוא פחות מאמץ משאבים מאשר בדיקת כל התוצאות בשרת לפני הגשת הדף ללקוח.

יש עלות לבקשות נפרדות אבל זה זניח
בכל אופן בדיקה לפני הגשת הדף ללקוח תהיה הרבה יותר גרועה כי אם יש כתובת אחת שלוקח 13 שניות לבדוק אותה זה יעצור את כל הדף משאין כן כשהלקוח מבצע את כל הבקשות.
אבל לכאורה אם הלקוח יבצע WS זה יחסוך עוד יותר.

[WWW]

@magicode אמר בשירות VIP:

הסינון לא מתבצע אצל הלקוח זה מתבצע בשרת.
מי שפרשן אחרת פשוט לא מבין איך זה עובד.

נכון שיש כאן כאלה שלא מבינים.
אבל יש כאן גם טענה מקצועית.
היות וחיפוש גוגל זה האתר הכי נפוץ בנטפרי, נשמח שיהיה שדרוג רציני בצורת הסינון.

ושאלה שלי שכבר שאלתי למעלה: למה יש ביטול קאש של בקשות לכתובת https://www.google.com/~netfree/test-url כשממילא יש כבר ערך (h) שמשתנה על כל בקשה גם לאותו URL.
ז"א אם יעשו חיפוש חדש אף פעם זה לא יהיה אותו URL, גם בלי הרנדומלי.
מה שקורה כיום שגם כשחוזרים אחורה בדפדפן, כל הבקשות נשלחות שוב, במקום שיחזור מיד מהקאש.