שירות VIP

[מישהו12]

@צדיק-תמים זו ההנחה הרווחת בפורום.
אם תחלוק עליה, עלולים לכעוס עליך.
הארכתי בנושא כאן.
אסור להגיד רע לנטפרי.

[shloimy95]

@צדיק-תמים אמר בשירות VIP:

@shloimy95 מה שאתה כותב נכון רק בהנחה שבנטפרי יש מלאכים שלא עושים לעולם טעויות...

ממש לא, לעומת זאת מנקודת מבט של מפתחים, אם כבר יש לי מערכת שעובדת עבור כל דף אינטרנט למה ליצור מערכת אחרת עבור דף בודד?

[צדיק תמים]

@shloimy95 אולי כי ככל הנראה ה"דף אינטרנט" הזה הכי בשימוש (אחרי גי'מייל)?

[shloimy95]

@צדיק-תמים אמר בשירות VIP:

@shloimy95 אולי כי ככל הנראה ה"דף אינטרנט" הזה הכי בשימוש (אחרי גי'מייל)?

אני לא מבין את הנקודה שלך. אתה אומר שנטפרי בנתה מערכת אחרת לחיפושי גוגל כי זה השירות הכי בשימוש?
למה? מה היתרון לנטפרי?

[צדיק תמים]

@shloimy95 וודאי
בדף כל כך פופולארי מצופה מנטפרי לתת פתרון, או לכל הפחות מצופה לא לתקוף את מי שמבקש, כאילו זה דבר מיותר/שלא הגיוני שיטופל

@shloimy95 אמר בשירות VIP:

למה? מה היתרון לנטפרי?

לא הבנתי

[shloimy95]

@צדיק-תמים נטפרי פיתחה מערכת לסינון אתרים בשרת. ואז עבור אתר אינטרנט בודד, חיפוש בגוגל, הם פיתחו מערכת אחרת הפועלת על מכשיר המשתמש באמצעות סקריפט בדפדפן וב-APIS.
איזה תועלת יש לנטפרי ליצור מערכת חדשה לחיפושי גוגל כאשר כבר הייתה להם מערכת לסינון אתרים בשרת. זה בטח לקח זמן להתפתח, למה הם ביצעו את ההשקעה הזו אם לא הייתה להם סיבה?
מכיוון שחיפוש בגוגל פופולרי במיוחד לא מסביר את היתרון לנטפרי, בדיוק ההיפך המערכת המשמשת עבור כל שאר האתרים היא מהירה יותר ולכן יש להשתמש בה עבור האתר הפופולרי ביותר, לא מערכת איטית אחרת.

[צדיק תמים]

@shloimy95 שוב, אתה טוען שזה לא הגיוני המצב הנוכחי? גם אני טוען ככה
האם התשובה האוטומטית היא שכולם טועים ובטוח שיש סיבה הגיונית? כמו שאמרתי,

@צדיק-תמים אמר בשירות VIP:

@shloimy95 מה שאתה כותב נכון רק בהנחה שבנטפרי יש מלאכים שלא עושים לעולם טעויות...

@shloimy95 אמר בשירות VIP:

מכיוון שחיפוש בגוגל פופולרי במיוחד לא מסביר את היתרון לנטפרי, בדיוק ההיפך המערכת המשמשת עבור כל שאר האתרים היא מהירה יותר ולכן יש להשתמש בה עבור האתר הפופולרי ביותר, לא מערכת איטית אחרת.

טיעון לא רלוונטי בעליל, אתה לא יודע איך טכנית המערכת עובדת ומה יותר השקעה
לא טענתי שהמערכת הקיימת כיום מתאימה כמו שהיא/בלי פיתוח מיוחד לחיפוש גוגל, אלא שגם אז זה אכן כך זה מצדיק את ההשקעה, ולכל הפחות בינתיים יש לייעל את המנגנון הנוכחי בדרך יחסית פשוטה של איחוד הבקשות לסוקט אחד
אפילו פיצול של זה לכמה דומיינים יעזור

[shloimy95]

@צדיק-תמים אמר בשירות VIP:

יש לייעל את המנגנון הנוכחי בדרך יחסית פשוטה של איחוד הבקשות לסוקט אחד

זה שיפור טוב, רק ניסיתי להסביר למה אני כל כך בטוח שלנטפרי יש סיבה שלא ניתן לעשות את זה בשרת. (שזה היה הרעיון המקורי).

[צדיק תמים]

@shloimy95 אמר בשירות VIP:

רק ניסיתי להסביר למה אני כל כך בטוח שלנטפרי יש סיבה שלא ניתן לעשות את זה בשרת

למיטב ידיעתי נטפרי יודעים להסביר את עצמם מצויין, אם יש סיבה ניתן לכתוב אותה, לא נראה לי שיש עניין "להסביר" אותם, ועוד על ידי ניחושים והנחות ש"בטח יש סיבה" שלא מבוססים על ידע בנושא
מה שכתבת מתבסס כמו שאמרתי על "הנחת מלאכים" (כלומר שבנטפרי יושבים מלאכים ולא בני אדם)...

[magicode]

הסינון לא מתבצע אצל הלקוח זה מתבצע בשרת.
מי שפרשן אחרת פשוט לא מבין איך זה עובד.

[nigun]

@magicode
ברור שהסינון הוא בצד שרת
אבל בפועל יש סריקפט בצד לקוח ששולח בקשה נפרדת לכל כתובת בחיפש גוגל לhttps://www.google.com/~netfree/test-url?u.
ולחלק מהבקשות לוקח 4 שניות, ואם הבקשה לוקחת יותר מ30 שניות אז מקבלים TIMEOUT
לא יודע האם נטפרי אוספים את הממוצע של הבקשות אבל לפעמים זה לוקח הרבה זמן וזה מאוד מציק.
לא יודע איפה הצוואר בקבוק אבל אני מאמין שזה נמצא בעוד מקומות שפחות ניכרים למשתמש למשל בכניסה לקובץ בדרייב שלפעמים לוקח הרבה זמן לתגובה הראשונה וכו'.

זה כנראה באמת לא יעזור לאחד את כל הבקשות לסוקט אחד
כי הצוואר בקבוק בצד שרת

[צדיק תמים]

@nigun אמר בשירות VIP:

זה כנראה באמת לא יעזור לאחד את כל הבקשות לסוקט אחד
כי הצוואר בקבוק בצד שרת

מהנטוורק נראה שחלק מהבקשות ממתינות, שזה אומר לכאורה (כמו שקישרתי לעיל) שהדפדפן ממתין שיהיה פחות מ6 בקשות פעילות

[magicode]

בחיפוש גוגל נבדק תוכן הדף של לינק שמוביל.
אם האתר שמופיע בתוצאות מגיב לאט אז התגובה תהיה איטית.

[nigun]

@magicode אמר בשירות VIP:

בחיפוש גוגל נבדק תוכן הדף של לינק שמוביל.
אם האתר שמופיע בתוצאות מגיב לאט אז התגובה תהיה איטית.

לפעמים הרבה מהתוצאות מחזירים TIMEOUT
לא בדקתי האם כל התוצאות הם מאותו אתר לכן חשדתי שזה איטיות בצד של נטפרי.

בכל אופן URLים שנבדקו בעבר יכולים לקבל קיצור דרך ולא לעבור סריקה מלאה מחדש (אולי זה כבר מיושם אין לי דרך לבדוק את זה)

[ברצינות]

@nigun אמר בשירות VIP:

(אולי זה כבר מיושם אין לי דרך לבדוק את זה)

לבדוק על כתובת אתר שלך ולהחזיר לדקה אחת קוד שגיאה 500

[shraga]

@nigun אמר בשירות VIP:

בכל אופן URLים שנבדקו בעבר יכולים לקבל קיצור דרך ולא לעבור סריקה מלאה מחדש (אולי זה כבר מיושם אין לי דרך לבדוק את זה)

לחלוטין לא, זה דינמי, זה בודק ספציפית פר משתמש ולא לפי ההגדרה הכללית בנטפרי, הבדיקה מוכרחת להיות בכל פעם מחדש מכיוון שהגדרות הסינון של המשתמש (וגם של נטפרי) הן דינמיות ומשתנות מעת לעת.

[nigun]

@shraga
אבל לא צריך לגשת לאתר בכל פעם מחדש
למשל אם אני חסמתי בהגדרות שלי אתרי חדשות
ובתוצאות יש הפניה לJDN אין צורך שהשרת של נטפרי יגש לJDN מספיק לראות את הURL.

[shraga]

@nigun אמר בשירות VIP:

@shraga
אבל לא צריך לגשת לאתר בכל פעם מחדש
למשל אם אני חסמתי בהגדרות שלי אתרי חדשות
ובתוצאות יש הפניה לJDN אין צורך שהשרת של נטפרי יגש לJDN מספיק לראות את הURL.

אז אם אני מבין נכון, טענתך היא ש:

1. לא צריך בדיקה של תוכן הדף עצמו כפי שמתבצע כיום, אלא רק של הURL האם הוא פתוח למשתמש הספציפי וכפי הבדיקה שמתבצעת במערכת נטפרי בכל נסיון גישה של משתמש X לURL כלשהו. וכך לכאורה זה גם יהיה בדיקה מהירה הרבה יותר ולא תלויה במהירות התגובה של האתר (אלא של השרת של נטפרי...).

2. הבדיקה צריכה להיות בצד השרת של נטפרי בלבד.

פתרון של קאש כפי שמישהו הציע לעיל כמובן לא רלוונטי עקב הדינמיות של הסינון.
אבל למה זה לא מתבצע בצד השרת? שאלה טובה. אולי בכדי לחסוך במשאבים?!

[nigun]

@shraga אמר בשירות VIP:

@nigun אמר בשירות VIP:

@shraga
אבל לא צריך לגשת לאתר בכל פעם מחדש
למשל אם אני חסמתי בהגדרות שלי אתרי חדשות
ובתוצאות יש הפניה לJDN אין צורך שהשרת של נטפרי יגש לJDN מספיק לראות את הURL.

אז אם אני מבין נכון, טענתך היא ש:

1. לא צריך בדיקה של תוכן הדף עצמו כפי שמתבצע כיום, אלא רק של הURL האם הוא פתוח למשתמש הספציפי וכפי הבדיקה שמתבצעת במערכת נטפרי בכל נסיון גישה של משתמש X לURL כלשהו. וכך לכאורה זה גם יהיה בדיקה מהירה הרבה יותר ולא תלויה במהירות התגובה של האתר (אלא של השרת של נטפרי...).

2. הבדיקה צריכה להיות בצד השרת של נטפרי בלבד.

פתרון של קאש כפי שמישהו הציע לעיל כמובן לא רלוונטי עקב הדינמיות של הסינון.
אבל למה זה לא מתבצע בצד השרת? שאלה טובה. אולי בכדי לחסוך במשאבים?!

בדקתי את המהירות תגובה לכל בקשה בכרטיסיה נפרדת
נראה שאכן נטפרי מחזירים תשובה יותר מהירה לכתובת חסומה מאשר לכתובת בreddit
לכתובת חסומה בquora.com חוזרת תוך 40ms, ולreddit לוקח 1.87s.

אבל משום מה כשזה מתוך הסקריפט זה לוקח לאותם בקשות 550ms ו 2.09s (גם אחרי רענון לכן נראה שזה לא בגלל קאש)

לכן הציעו שנטפרי ישלחו את הבקשה מעל WS כדי לחסוך בקשות
ומעל אותו WS אפשר לשלוח את כל הבקשות ולהחזיר אותם באופן אסינכרוני ושלא יחסמו אחד את השני.

בנוסף אפשר לשפר את המהירות של בדיקת כתובות כי כרגע זה נראה כאילו עוברים על כל הבדיקה כל פעם מחדש אפילו כשמודבר על אותה כתובת, לכאורה אין צורך בפניה לאתר בכל חיפוש מחדש (ואם חוששים לתוכן דינאמי אין לדבר סוף כי יש אתרים שיציגו תוכן שונה לכל משתמש, ויש אתרים שיקח 10 שניות להעלות את כל התוכן)

[אלמוני_צר]

אחזור רגע לדיון הקודם (היו צריכים פה 3 אשכולות נפרדים, אבל נו שוין...)

@מושט אמר בשירות VIP:

כלומר אם הם עושים ממוצע של כל הלקוחות שלהם ודאי שיתכן שהממוצע נמוך משום שיש הרבה אנשים בעיקר זקנים, או כל מיני סימים של מכונות סליקה וכד'. שבקושי צורכים גלישה. אז זה לא הקבלה נכונה למשתמשי נטפרי.

נראה לי שהסברת היטב את טענת הספקיות: הממוצע הכללי בהשתמשות בסים הוא נמוך בגלל מבוגרים, מכונות סליקה וכדומה שמשתמשים מעט, אז למרות שישנם רבים שמשתמשים רבות (לצערנו) לצפיה או משחק, בסוף זה מתקזז עם האחרים ושווה לחברות התקשורת לגבות על חבילות של 150 ג"ב גם סכומים של 20-25 ש"ח.

מה שאין כן משתמשי נטפרי שמשתמשים אך ורק לגלישה, אין את הממוצע הנמוך הזה.

בנוסף, בדקתי כמה עולה סים לדאטה בלבד ללא סינון, המחירים לא כל כך רחוקים! חבילת גלישה של 50 ג"ב בחברת פלאפון לדאטה בלבד, עולה 39.9, והגיוני בעיני הפער הקטן שנשאר, לתשלום על תמיכה ממוקדת ומגזרית. בסוף, בל נשכח, אנחנו (עדיין) לא שוק מספיק גדול כדי שיהיה זול מספיק להשקיע עלינו צוות תמיכה ושירות. ועדיין - הפערים לא גדולים!