שימוש בAI לבדיקת תמונות

[shraga]

כל האמור כמובן הוא על פי הבנתי ויתכן שאני טועה בקריאת המפה ובשיקולים השונים.

ההצעה עלתה אינספור פעמים, אבל לדעתי יש לשקול אותה שוב.
וארחיב מעט.

נתחיל מהפתרון הנוכחי של נטפרי, לכאורה נקודת המוצא של נטפרי בעת הקמתה והמחשבה בזמנו על הצורך סינון התמונות האנושי נבעה מהסתכלות על החסרונות באופן סינון התמונות שהיה קיים בסינוני האינטרנט האחרים באותו הזמן (אי שם לפני 7-8 שנים) שהשתמשו במנגנונים די מטופשים של סינון על בסיס צבע עור, דבר שהוא בעייתי מכמה בחינות:
1. חווית משתמש, כל תמונה עם צבע עור, גם כשרה, מצונזרת באופן שלא נעים לעין.
2. תמונות בעייתיות שנשארו פתוחות כיוון שהן ללא צבע עור, כמו תמונות בגווני אפור או סתם תמונות אחרות בעייתיות שאינן קשורות בהכרח בצבע עור.

הפתרון שיושם בזמנו (ועד עתה) כמענה לחסרונות אלו הוא סינון תמונות אנושי, מצד אחד מדובר בפתרון מקורי ומחוץ לקופסא שפותר את הבעיות שהועלו ומספק הרמטיות יחסית, אבל מאידך יש לו מספר מינוסים משמעותיים:
1. זמן ההמתנה עד שהתמונות חוזרות מהבדיקה, בעבר דובר שהמצב האידיאלי אמור להיות מספר שניות אבל המציאות מראה שזה נע בין כמה עשרות שניות לכמה דקות (למשל עכשיו, 3 דקות). כך שמבחינת חווית המשתמש שצריך להמתין ולהתעכב עד שתמונות חוזרות מבדיקה, שלא לדבר על מקרים של חריגה או עומס.
2. הצורך להיות תלוי בכח אדם חיצוני שיכול "להבריז" מכל מיני סיבות, חגים גויים, אינטרנט שנפל וכו' וכו'.
3. טעויות אנושיות שנובעות מחוסר שימת לב לפרטים עקב עבודה מהירה.

הפתרון לכל החסרונות האלו לכאורה הוא:
שימוש בAI (בינה מלאכותית) לסינון התמונות על סמך זיהוי האובייקטים בתמונה.
אני ממש לא מבין בתחום הAI, אבל נראה שכיום ניתן ליישם בינה מלאכותית שתדע להבחין בתמונות בעייתיות באותה רמה שאדם יבחין או אולי אפילו טוב יותר (כי אדם יכול לטעות בטעות "אנושית" של חוסר שימת לב לפרטים).
יתכן שהדבר דורש משאבים רבים לאימון המודל או לבנייתו (נראה שיש מודלים בקוד פתוח). אבל לכאורה זה שווה את ההשקעה אם מסתכלים לטווח ארוך (אולי אפשרי שלאימון המודל יהיה צורך רק בתמונות בעייתיות, וכל מה שהוא לא יזהה כ"בעייתי" יאושר - מה שיחסוך את הצורך לאמן את המודל לזהות תמונות של ציפורים ועכברים...), ואפשר גם אולי לשלב איכשהו את הדבר עם בדיקה אנושית של תמונות גבוליות שהAI לא מצליח לספק להם ציון בטוח או שהאימון של המודל יתבצע על ידי ההודיים...
אין ספק שהעתיד הוא בAI ולא בלהישאר לדשדש עם בדיקת תמונות אנושית, ואם זה בין כה יקרה בעוד כמה שנים אז למה לא להקדים ולהרוויח כבר עכשיו את מעלותיו...
פיתוח דבר כזה גם לא דורש הקצאת משאבי אנוש של נטפרי לצורך הפרוייקט או מישהו מנטפרי שיתעסק בללמד את הAI זבל.. אפשר להשתמש במיקור חוץ ולהטיל את המלאכה על מתכנת או צוות מתכנתים הודי/אוקראיני שמתמחה בAI.
לסיכום - הפלוסים של AI בקצרה:
1. בדיקה מהירה וללא צורך בהמתנה.
2. אין תלות בכוח אדם אנושי.
3. הרמטיות אולי טובה יותר מאנושית.
4. יכולת התמודדות על עומסים בבדיקה בצורה טובה.

---

ההצעה מגיעה אחרי שנחשפתי למספר מודלי AI חכמים ומרתקים וביניהם dall-e-2 שמאפשר יצירת תמונה יש מאין, ושאר המודלים שמופיעים כאן - (נסו את "Chat" - דורש רק כניסה עם חשבון גוגל). שלא לדבר על כך שאם טסלה סומכת על מנגנוני זיהוי תמונה בלבד עבור נהיגה - דבר שדורש זיהוי מדויק וחסר פשרות, גם נטפרי יכולה לסמוך על כך. דוגמאות אלו מראות שהעתיד כבר כאן והדבר ניתן ליישום.

קצת על זיהוי אובייקטים וסיווג תמונות באמצעות מודלי AI:
https://huggingface.co/tasks/image-classification
https://huggingface.co/tasks/object-detection

נ.ב. האמת שמה שגרם לי להציע זאת כאן בפורום הוא בכלל בעיה טכנית אחרת שנתקלתי בה עכשיו שנגרמת עקב הסינון האנושי , מודל dall-e-2 ליצירת תמונות עדיין לא פתוח לציבור כולו אלא הדבר כרוך ברשימת המתנה, יש מודל אחר בשם dalle-mini שאמנם נותן תוצאות הרבה יותר גרועות אך פתוח לציבור, הבעיה היא שהתמונות מתקבלות בbase64 ו"נשלחות לבדיקה" אך לעולם לא יהיה ניתן לצפות בהן בנטפרי מכיוון שבכל ריענון של הדף או הרצה של אותה הנחיה בדיוק ליצירת תמונה, מתקבלות תוצאות חדשות... במידה והבדיקה הייתה אוטומטית התמונה הייתה חוזרת מיד עם הדף עצמו ללא צורך להמתין/לרענן.

[shloimy95]

אני מתנדב ל-TAG ומתוך ניסיון עדכני עם פילטרים אחרים כולל אלה שהשקיעו רבות ב-AI גם עם ההתקדמות הטכנולוגית תמונות בעייתיות רבות עדיין עוברות.
בנוסף, טסלה היא לא הוכחה טובה מסיבות רבות, וגם יש להם תקציב הרבה יותר גבוה להשקיע ממה שנטפרי יוכל לגייס עבור הפרויקט.

[shraga]

@shloimy95 אמר בשימוש בAI לבדיקת תמונות:

אני מתנדב ל-TAG ומתוך ניסיון עדכני עם פילטרים אחרים כולל אלה שהשקיעו רבות ב-AI גם עם ההתקדמות הטכנולוגית תמונות בעייתיות רבות עדיין עוברות.
בנוסף, טסלה היא לא הוכחה טובה מסיבות רבות, וגם יש להם תקציב הרבה יותר גבוה להשקיע ממה שנטפרי יוכל לגייס עבור הפרויקט.

אולי לא יישמו זאת בצורה הנכונה? אולי פחות חשוב להם ההרמטיות ב100% ולכן פחות משקיעים בזה משאבים?
לגבי טסלה, מעבר לעניין התקציב שבזה אתה צודק, לדעתי זו בהחלט הוכחה טובה. הבאתי את הדוגמא עם טסלה בעקבות כתבה שקראתי אתמול בה נטענת שלפי מומחי טסלה אפשר לסתמך על מערכות זיהוי התמונה בלבד ואין צורך בראדרים וחיישנים אחרים.

[shloimy95]

@shraga אמר בשימוש בAI לבדיקת תמונות:

אולי לא יישמו זאת בצורה הנכונה? אולי פחות חשוב להם ההרמטיות ב100% ולכן פחות משקיעים בזה משאבים?

אני לא יכול לדבר על כל פילטר, אבל נפגשתי עם מייסדי Techloq ואני לא מאמין שזו אמירה אמיתית לומר עליהם. הם משקיעים כמויות אדירות בבינה מלאכותית, ולמרות ששיפורים עצומים ניכרים לעומת מה שהיה לפני מספר חודשים, הוא עדיין רחוק מלהיות מושלם.

לגבי טסלה, מעבר לעניין התקציב שבזה אתה צודק, לדעתי זו בהחלט הוכחה טובה. הבאתי את הדוגמא עם טסלה בעקבות כתבה שקראתי אתמול.

עיינתי במאמר, הם כתבו שזה לא אפשרי על סמך מצלמות בלבד אבל צריך LiDAR ו-Radar בשילוב כדי להיות מדויקים. ברור שזה לא אפשרי בתמונות מקוונות, שאינן נלכדות או מאוחסנות עם נתונים מחיישנים כאלה. אפילו טסלה מכוונת רק לשלב 4, לא לשלב 5 או אוטומציה מלאה.

[memgd]

אפשר לשלב.
המודל ייתן ציון, ואם הציון החלטי (לרע ואולי גם לטוב) אפשר לסמוך עליו. אם לא, התמונה תעבור לבדיקה אנושית.

[yzahn]

חוו"ד של @SilverRampart בנושא:
https://docs.google.com/document/d/1ZWAR1h2E-1ksoQLLxuJjvvF9g2zoJTt70I5Nj_vnHnI/edit
(מקור)

[shraga]

@yzahn תודה על ההפניה,
הכי תפס אותי זה הפיסקה הזו:
These are intuitive objections, born of years of experience with computers (and humans). However, we don’t have a good intuitive model of the capabilities of deep learning, especially recent results. Pick any paper on CNNs or other deep nets – if you are not familiar with the subject, I guarantee it will be beyond what you thought possible, likely way beyond.

[אורח פורח]

כבר דנו בזה בעבר והתגובה היא שזה נמצא ברשימת פיתוח כבר
https://forum.netfree.link/topic/9619/רובוט-לבדיקת-תמונות-בנוסף-לבודקים/11?_=1655632599249

[nk]

בעזרת השם יתברך.

משתמש נכנס לאתר,
והרובט מיד מחלק את התמונות שהוא מזהה,
לשלוש קטגוריות.
א, כשר.
ב, ספק.
ג. פסול.

כל תמונה נשלחת למחלקה אנושית,
שבודקת רק את התמונות הקשורות רק למחלקה שלהם,

הוי אומר:
שהמחלקה של הכשר
בודקים רק תמונות שזוהו על ידי הרובוט ככשרות
במידה ויש טעות,
התמונה נשלחת למתכנת שמתקן את הטעות ומחזיר לרובוט,

במחלקה של הספק:
נתקעתי תמשיכו לבד...... מצורף קובץ ZIP.

במחלקה של הפסול.
בודקים ומוודאים שהרובוט זיהה רק תמונות פסולות
במידה וטעה ופסל תמונה כשרה
מחזיר למתכנת,

לשים לב:
לא סומכים רק על הרובוט בשלב הראשוני אלה רק בשלבים מאוחרים יותר

וחוזר חלילה,

הציעו פו אפוופרק נטפרי פחות אוהבים את הרעיון שאנשים זרים יכנסו להם לקוד.
דוד של אשתי עשה ועושה דברים מדהימים באפוורק.
כרגע הם באמצע להקים חברה עם שני שתופים (משקיע ויזם).
החברה שווה כמה עשרות מיליונים בלי הגזמה כאשר היא תתפרסם בציבור אוכל להגיד זה זאת.
ואת הכל הוא עשה רק דרך אפוורק.
אחד מהאנשים (אני יודע שלא יאמינו לזה!!!) שהוא עבד איתם בתחום הפיתוח
צבא ארצות הברית שכר את שירותיו שיפתח להם דבר מה מסוים.

כקובץ ניתן לעריכה.
בדיקת תמונות ב AI בדיקה רובוטית.zip

בסוגריים:
(לאחר שזה יבוצע ויעבוד כדבעי,
אפשר לקחת את זה צעד אחד קדימה לבדיקה וידאו,
בשלב הראשון כמובן לא סומכים רק על הרובטי אלה נותן לו להלחיט האם כשר/ספק/פסול
ואחר כך בודקים האם זיהה נכון או לא ומתקנים בהתאם.)

[magicode]

אמרתי כבר בעבר שעובדים על זה. ובדרך כלל אני לא אומר סתם דברים.

[nk]

אוקי סליחה. (בנימה אישית)

[shraga]

@magicode אמר בשימוש בAI לבדיקת תמונות:

אמרתי כבר בעבר שעובדים על זה. ובדרך כלל אני לא אומר סתם דברים.

כוונתך לדבריך כאן?
@magicode אמר ברובוט לבדיקת תמונות בנוסף לבודקים.:

הרעיון מובן.
זה כבר מזמן ברשימה שלנו.

שמח לשמוע שעובדים על זה, מקווה שברמה היקפית ולא רק כתוספת כלשהי לסינון האנושי הקיים, דבר כזה יקפיץ את נוחות הגלישה בהרבה.

[nk]

נשמח לעידכונים בקרוב.
אם זה כמו שהבנתי,
זה יהיה בדיקה מהירה לא רק של תמונות אלה גם של וידאו.
ואפילו בדיקה של וידאו ברקע תוך כדי גלישה!!!!

[גילגול]

אפשר להתחיל מבדיקה אם תמונה זהה אושרה בעבר. זה יחסוך מן הסתם לפחות חצי מהעבודה.

[אורח פורח]

זה כבר ככה
מהויקי "סינון התמונות בנטפרי נעשה בצורה ידנית ע"י עובדים גויים שמסננים תמונה אחר תמונה, לפי הפרמטרים של נטפרי (כללים בסיסיים לחסימה: כל תמונת אשה, גם אם צנועה, נחסמת. ילדות עד גיל 9 , אם הן לא עומדות בכללי הצניעות, ותינוקות וילדות עד גיל 3 ללא לבוש כלל. ילדים ומבוגרים חשופים, נחסמים גם הם. כל אלו לא עומדים בפרמטרים והתמונות נחסמות לחלוטין) . סימון סטטוס התמונה מתבצע לפי תוכן התמונה ולא לפי הלינק. כלומר, לאחר שתמונה נבדקת לא מתבצעת שוב בדיקה לתמונה בעלת תוכן זהה (מבחינה דיגיטלית), אף אם היא במיקום ובאתר שונה. אכן כל שינוי גרפי כמו שינוי גודל (בתמונה עצמה ולא ב-CSS) משנה את תוכנה הדיגיטלי של התמונה, וגורם לה להיחשב כתמונה אחרת שצריכה בדיקה בנפרד."

[איש אחד הלך]

@אורח-פורח אמר בשימוש בAI לבדיקת תמונות:

זה כבר ככה
מהויקי "סינון התמונות בנטפרי נעשה בצורה ידנית ע"י עובדים גויים שמסננים תמונה אחר תמונה, לפי הפרמטרים של נטפרי (כללים בסיסיים לחסימה: כל תמונת אשה, גם אם צנועה, נחסמת. ילדות עד גיל 9 , אם הן לא עומדות בכללי הצניעות, ותינוקות וילדות עד גיל 3 ללא לבוש כלל. ילדים ומבוגרים חשופים, נחסמים גם הם. כל אלו לא עומדים בפרמטרים והתמונות נחסמות לחלוטין) . סימון סטטוס התמונה מתבצע לפי תוכן התמונה ולא לפי הלינק. כלומר, לאחר שתמונה נבדקת לא מתבצעת שוב בדיקה לתמונה בעלת תוכן זהה (מבחינה דיגיטלית), אף אם היא במיקום ובאתר שונה. אכן כל שינוי גרפי כמו שינוי גודל (בתמונה עצמה ולא ב-CSS) משנה את תוכנה הדיגיטלי של התמונה, וגורם לה להיחשב כתמונה אחרת שצריכה בדיקה בנפרד."

זה אומר שזה לא ככה בעצם.

[אורח פורח]

@איש-אחד-הלך
" לאחר שתמונה נבדקת לא מתבצעת שוב בדיקה לתמונה בעלת תוכן זהה (מבחינה דיגיטלית)"

[איש אחד הלך]

@אורח-פורח אמר בשימוש בAI לבדיקת תמונות:

@איש-אחד-הלך
" לאחר שתמונה נבדקת לא מתבצעת שוב בדיקה לתמונה בעלת תוכן זהה (מבחינה דיגיטלית)"

בסדר, אם זה זהה בדיוק...

[גילגול]

אפשר לעשות מעקב אחרי הפיקסלים ולראות אם לפי הסדר שלהם הם תואמים לאותו סדר מבחינת הספקטרום של הצבעים על המיקומים של כל אחד מהם וכך לזהות תמונות גם בגדלים שונים.

[DovidStroh]

@גילגול זה לא ממש מעשי... בשביל כל בדיקת תמונה תבדוק מול מיליארד וחצי תמונות כדי לראות אם אחד מהם זהה?

(מה שיש עכשיו זה חתימה דיגיטלי שזה משהו שהוא בדיוק אותו דבר ולכן קל לחפש אבל ההצעה שלך אומר לבדוק מול כל אחד אם יש מצב שזה אותו תמונה)