התלהבות מ-"Gaussian Splats"

כאשר נצפתה לראשונה סצנת "Gaussian Splat" רצה בזמן אמת, התגובה המיידית הייתה: "אוקיי... זה באמת מרגיש כמו הצעד הבא."

בעולם הטכנולוגיה, מילים כמו "מהפכני" נזרקות כל כך הרבה עד שהן מתחילות לאבד את משמעותן. אבל מדי פעם, מגיע משהו שבאמת מזיז את פני השטח, לא רק במונחים של באזז, אלא באופן שבו העבודה מתבצעת בפועל.

ישנה אמונה כי כעת אנחנו עומדים באחד הרגעים האלה עם 3D Gaussian Splatting (ריסוס גאוסיאני תלת-ממדי).

המסע ל"לכידת מציאות"

הרעיון של לכידה דיגיטלית מושלמת נרדף במשך זמן רב. לאחר לימוד עיצוב CAD, החשיבה התלת-ממדית התחברה כמעט מיד. באוניברסיטה, הפך הדבר למיומנות בהרכבת עיצובים, למרות שזה עדיין דרש שעות של עבודה ידנית.

אבל התובנה האמיתית הגיעה לפני כ-10 שנים. במהלך עבודה במכרה, הוטלה משימה של בדיקת מתקן צינורות – ביקורת קווים כדי לוודא שהכל מתויג נכון. זו הייתה עבודה מייגעת, ידנית: לצאת, לצלם תמונות רבות, לחזור למשרד ולחבר דוח.

בלתי נמנע היה לחזור לשולחן ולגלות שזווית ספציפית חסרה. היה צורך לחזור החוצה, או פשוט להסתפק במה שיש. זה הוביל לתהייה:

"מדוע לא ניתן פשוט ללכוד הכל פעם אחת, ואז לחלץ את מה שצריך בחזרה במשרד?"

באותה תקופה, בוצעו ניסויים בענני נקודות ובתמונות 360 מעלות.

• תמונות 360° היו מהירות אך לא תלת-ממדיות.

• ענני נקודות היו תלת-ממדיים אבל איטיים, מסורבלים ובלתי שלמים מבחינה ויזואלית.

זה הוביל לחקירה מעמיקה. ניסויים נעשו עם ענני נקודות (מדויקים אבל מכוערים ו"רוחיים") ותמונות 360 מעלות (נראות נהדר אבל לא תלת-ממדיות). הבחירה נפלה על תמונות 360 מעלות במשך שנים מכיוון שהן היו האופציה "הכי פחות גרועה", תוך ויתור על נתונים מרחביים לטובת בהירות ויזואלית. מאוחר יותר, הגיעה הפוטוגרמטריה, ולמרות שדברים כמו Cesium 3DTiles עזרו בשיתוף נתונים, זרימת העבודה עדיין הייתה כבדה, איטית ושבירה.

הושגה קרבה במשך שנים, אבל תמיד היה צורך בפשרה בין מהירות, איכות וקושי.

וזה המקום שבו ה-Gaussian Splats נכנסים לסיפור.

מהם Gaussian Splats? (במילים פשוטות)

אם לא עוקבים אחר מחקרי הגרפיקה התלת-ממדית, המונח "Gaussian Splatting" נשמע מאיים, כמעט קומי. אפשר לשמוע אותם מכונים Splats, GSplats, או סתם 3DGS.

לא משנה איך מכנים אותם, הקונספט הוא למעשה די יפה.

ניתן לדמיין שהעולם נבנה מחדש ממיליוני גופים קטנים, רכים, חצי-שקופים של צבע ואור. לכל גוף יש מיקום במרחב תלת-ממדי, גודל, צורה, צבע ורמת שקיפות. כאשר מרכיבים מספיק מהם יחד, מנקודות המבט והמרחק הנכונים, הם מפסיקים להיראות כגופים ומתחילים ליצור סצנה תלת-ממדית פוטוריאליסטית, טבעית למראה ומפורטת מאוד, שבה ניתן לנוע.

הגופים האלה הם "גאוסיאנים" (Gaussians), והפעולה של ציורם על המסך היא "ספלאטינג" (Splatting - ריסוס).

במה הם שונים מהשיטות הישנות

כדי להבין מדוע זה חשוב, יש לבחון את הכלים שבהם נעשה שימוש עד כה. לכל אחד יש את מקומו, אבל לכל אחד יש את נקודות החיכוך שלו.

• מודלים תלת-ממדיים מסורתיים (רשתות/Meshes) היו עמוד השדרה של התלת-ממד במשך שנים רבות. הם עשירים בגיאומטריה ולעיתים קרובות נבנים ידנית או אלגוריתמית. הם דורשים לרוב אופטימיזציה עצומה כדי לרוץ בצורה חלקה.

• תמונות 360 מעלות, למרות שאינן תלת-ממדיות, היו במשך זמן רב הסטנדרט לסיורים וירטואליים. למרות שהן קלות ללכידה ונראות מציאותיות, הן לוכדות את הצופה ב"בועה" קבועה. ניתן להסתכל מסביב, אבל אי אפשר לנוע בחלל. אין פַּרַלַקְס (היסט ראייה), ולכן העולם מרגיש שטוח וקשה לשפוט קנה מידה.

• פוטוגרמטריה הייתה הסטנדרט לריאליזם. היא יוצרת פרטים יפהפיים, אך העיבוד כבד, זרימות העבודה מורכבות, והיא נכשלת מאוד על משטחים מחזירים (כמו חלונות, מתכת מבריקה ומים).

• ענני נקודות הם גולמיים ומדויקים, נהדרים למדידות הנדסיות, אך מבחינה ויזואלית, הם מלאים ב"חורים". הם נראים יותר כמו קווי מתאר רוחיים מאשר משהו אמיתי.

• הNeRFs (Neural Radiance Fields) היו עד לאחרונה "הדבר הגדול הבא". NeRFs משתמשים ב-AI כדי להבין איך האור מתנהג בסצנה. אמנם האיכות מדהימה, אבל הם כבדים מבחינה חישובית. הם גם איטיים לאימון ולעיתים קרובות מתקשים לרוץ בזמן אמת במכשירים סטנדרטיים. הם גם פועלים כ"קופסה שחורה", קשה לערוך וקשה לבצע אופטימיזציה.

ה Gaussian Splats יושבים בקטגוריה חדשה. הם מציעים את הפוטוריאליזם של NeRF, אך מעבד אותם מהר בצורה יוצאת דופן – מספיק מהר עבור מכשירים פחות חזקים, וזה יתרון עצום.

בניגוד ל-NeRFs, שהם נוסחה מתמטית, Splats הם נקודות נתונים ממשיות שניתן לערוך, למחוק או לתפעל. הם הטובים משני העולמות: נאמנות גבוהה וביצועים גבוהים. הם מטפלים בנתונים ויזואליים "מתוחכמים" כמו שיער, זכוכית, מים או עצמים מבריקים טוב יותר מפוטוגרמטריה, וחשוב מכך, הם אינם דורשים רשת מושלמת כדי להיראות טוב.

למה זה מרגיש כמו קפיצת מדרגה

הסיבה לכך שזה מרגיש כמו קפיצת מדרגה היא הפחתת החיכוך.

מבחינה היסטורית, היה פער עצום בין לכידת המציאות לבין הדמיית המציאות. היה צורך לסרוק אתר, לחכות ימים לעיבוד, לבלות ימים בנקוי הרשת, ורק אז אולי היה ניתן להשתמש בה.

עם Splats, הפער הזה מגשר. זה עדיין לא מושלם, אבל זה מתקרב. זו הפעם הראשונה שניתן ללכוד את העולם האמיתי ולהפיל אותו לחלל דיגיטלי עם דיוק ויזואלי כמעט מיידי. אין "בנייה" של עולמות תלת-ממדיים מאפס; יש סריקה שלהם.

זו לא קסם, אבל זו הפחתה משמעותית בחיכוך של זרימת העבודה, וזה בדרך כלל המקום שבו מתרחשת אימוץ המוני.

מקרי שימוש בעולם האמיתי

זו לא רק טכנולוגיה מגניבה למשחקי וידאו; היא פותרת בעיות אמיתיות בתעשיות שונות.

• בנייה והנדסה: תיעוד אתר בתוך דקות ואספקת הקשר מרחבי מדויק למהנדסים ללא דוגמנות ידנית ויקרה.

• הדרכה: אימון צוותי כרייה או תגובת חירום בעותק דיגיטלי של אתר העבודה האמיתי שלהם, במקום סימולציה גנרית. זה בטוח יותר, סוחף יותר ומהיר יותר ליצירה.

• שימור היסטורי: לכידת אתרי מורשת לפני שיפוץ או הריסה, ושימורם לנצח בנאמנות גבוהה.

• חקירת זירות פשע: לכידת סצנה במהירות וללא פולשנות, המאפשרת שיחזור בנאמנות גבוהה של הסביבה זמן רב לאחר שהסרט נלקח.

• אירועים ותיירות: מתכנון פריסות פסטיבלים ועד לאפשר לתיירים לחקור מוזיאון מרחוק, Splats מציעים חוויית טבילה שתמונות סטטיות לא יכולות להתחרות בה.

הקשר למחשוב מרחבי

זה מביא לשאלה "למה עכשיו?".

מחשוב מרחבי הוא הרעיון שהמכשירים (אוזניות, משקפיים, טלפונים) מבינים ומקיימים אינטראקציה עם העולם התלת-ממדי, לא רק עם מסכים שטוחים. מכשירים כמו Apple Vision Pro ואוזניות Meta Quest דוחפים זאת במהירות קדימה: הם בנויים סביב עומק, הבנה מרחבית ומציאות מעורבת.

ה Gaussian Splats הם הדלק המושלם למנועים אלה. הם נטענים היטב בצינורות מרחביים מודרניים ומאפשרים את אותה "נוכחות" שנרדפת.

יש אנשים שכינו את Gaussian Splats כרגע ה-"JPEG" או ה-"MPEG" של המחשוב המרחבי – דרך קומפקטית וניתנת לשיתוף לארוז סצנות מהעולם האמיתי. לא ברור אם האנלוגיה הזו תישאר, אבל ישנה אמונה כי Splats הם אחד הפורמטים הראשונים שגורמים ללכידת העולם האמיתי להרגיש באמת מקורית לחומרה החדשה הזו.

זה מתחבר ישירות לפילוסופיה של הפיכת נתונים מרחביים לנגישים. מדובר בהכנסת כולם והכל לחללים תלת-ממדיים. הסרת החיכוך בין לכידת נתונים לבין קבלת החלטה על בסיסם.

אתגרים נוכחיים (כנות)

חשוב לציין שאנחנו עדיין לא בקו הסיום. הטכנולוגיה הזו עדיין בחיתוליה ומתבגרת.

• קפדנות הלכידה: עדיין צריך ציוד מיוחד וטכניקה טובה כדי לקבל "ספלאט" נקי. אי אפשר פשוט ללכת ברשלנות בחלל ולצפות לשלמות (אם כי ניתן לראות שזה משתנה בעתיד).

• גדלי קבצים: הקבצים יכולים להיות גדולים, מה שמציב אתגרי רוחב פס עבור סטרימינג באינטרנט.

• עיבוד: למרות שהם יעילים יותר מחלופות, עדיין צריך מחשב הגון כדי לעבד את הנתונים. כרגע, נעשה שימוש בגישה מרחוק למחשב עם NVIDIA GPU כדי לעשות זאת – יש ציפייה לעשות את הכל ישירות במכשיר הלכידה!

• פורמטי קבצים: ישנו שלב ה"מערב הפרוע" של פורמטי הקבצים. .PLY גולמי נפוץ אבל עצום. .SPZ הוא פורמט פתוח המבטיח גדלים קטנים יותר ב-90%. ישנם גם .splat, .ksplat, .lcc ועוד. למרבה המזל, קבוצות כמו פורום תקני המטאוורס (Metaverse Standards Forum) עובדות באופן פעיל על סטנדרטיזציה.

• פרטים עדינים: למרות שהם נראים נהדר, Splats מתקשים כרגע בקריאות טקסט חדה או בגיאומטריה עדינה מאוד בהשוואה לסריקת לייזר.

פריצות דרך אחרונות

המהירות שבה טכנולוגיה זו משתפרת היא די מדהימה למען האמת. אם נעדרים לחופשה קצרה, אין ספק שמשהו חדש ומלהיב יחכה. רק בשנה האחרונה, נראו צעדים ענקיים שהופכים את זה לאפשרי:

• חומרה טובה יותר: כלים כמו XGrids ואפילו ה-Meta Quest עצמו מפשטים את תהליך הלכידה.

• סטנדרטיזציה: כלים מתפתחים בקוד פתוח (WebGL/WebGPU viewers) מקלים על צפייה בקבצים אלה בדפדפן ללא תוכנה כבדה. פורמטי קבצים כמו PLY מקלים על כך.

• שיפורי אלגוריתמים: צינורות עבודה חדשים יותר מפיקים Splats נקיים יותר, צבעים מדויקים יותר ופחות חפצי תנועה.

סיכום ההתלהבות

ההתלהבות מ-Gaussian Splats אינה נובעת מכך שהם מבריקים וחדשים. ההתלהבות נובעת מכך שהם פרקטיים.

הם יושבים בדיוק בצומת של הפיכת אתרים בעולם האמיתי לקלים יותר ללכידה ומה שנהיה אפשרי: עולם שבו כל אחד יכול להיכנס לגרסה דיגיטלית של מקום אמיתי ומיד "להבין" אותו.

חשוב מכך, זו לא טכנולוגיה שחסומה מאחורי אוזניות יקרות. למרות ש-Splats נראים מדהים ב-Apple Vision Pro או Meta Quest, הם גם רצים בצורה חלקה במחשב הנייד, בטאבלט או בסמארטפון הקיים.

הם פועלים כגשר, המאפשרים לחוות תוכן מרחבי בנאמנות גבוהה על מסכי הדו-ממד המסורתיים שבהם נעשה שימוש היום, תוך שהם מוכנים בצורה מושלמת לעתיד התלת-ממדי הסוחף של מחר.

עבור אנשים העובדים בהנדסה, כרייה, אנרגיה, אירועים או זיהוי פלילי, השאלה היא כבר לא: "האם אנחנו יכולים לקבל מודל תלת-ממדי של זה?"

היא הופכת להיות: "באיזו מהירות ניתן ללכוד את החלל הזה בצורה שהיא מספיק טובה כדי לחקור, לשתף ולקבל החלטות על פיה?"

ה Gaussian Splats לא פותרים הכל. עדיין יהיה צורך ב-CAD, BIM, GIS ושרטוטים מדויקים. אבל הם ממלאים פער קריטי: הקשר מציאותי ומהיר.

זו הסיבה לכך שכאשר בוחנים את Gaussian Splats, לא רואים רק עוד פורמט תלת-ממדי. רואים צעד לעבר עולם שבו לכידה וביקור מחדש במציאות בתלת-ממד הוא נורמלי כמו צילום תמונה בטלפון, ובו "כל אחד והכל בחללים תלת-ממדיים" אינו רק חזון, אלא כלי יומיומי.