ה-Gaussian Splatting עבור מיפוי ו־GIS: מדריך מעשי לסטנדרט התלת־ממד החדש

נקודות, משולשים, כתמים ואליפסואידים: מה בעצם הם Gaussian Splats?

הטכנולוגיה החדשה הזו מעוררת הדים בעולם המידול התלת־ממדי. אז מה זה Gaussian Splats, ומה הופך אותם לכל כך מהנים ליצירה?

במאמר זה, מנכ"לנו ומייסד־השותף, ג'פרי מרטין, משתף את דעתו על הפופולריות המהירה של Gaussian Splatting, וגם מציץ מתחת למכסה המנוע אל הטכנולוגיה שמובילה את השינוי בתעשייה.

אם יש דבר אחד שנכון לגבי תעשיית המצלמות, זה שאי אפשר לנוח על זרי הדפנה. באותה מהירות שבה NeRFs נכנסו לזירת הרינדור התלת־ממדי ב־2020, הטכנולוגיה כבר המשיכה להתפתח. Gaussian Splats מדיחים במהירות את NeRFs כטרנד הלוהט ביותר ליצירת ויזואליזציות תלת־ממד אינטראקטיביות, והאחריות שלנו היא להמשיך ולדחוף את הטכנולוגיה קדימה.

מה מסתתר בשם?

הGaussian Splatting הוא בדיוק מה שזה נשמע: SPLAT! (כתם). האונומטופיאה היצירתית הזו מתארת בצורה מדויקת את מה שמתרחש בתוך התוכנה כאשר מרנדרים Gaussian Splat.

דמיינו שאתם זורקים טיפות צבע על בד, כשהן ניתזות לכל עבר בגדלים ובצורות אליפסואידיות שונות. חלקן עגולות יותר, אחרות מוארכות. חלקן שקופות, ואחרות אטומות.

זהו "גאוסיאן" אחד.

אלו מספר גאוסיאנים.

החלק של "גאוסיאן" ב־Gaussian Splats נקרא על שמו של קרל פרידריך גאוס, מתמטיקאי מהמאה ה־19 שפיתח את עקומות הפעמון (התפלגות נורמלית). כל "כתם" גאוסיאני הוא למעשה עקומת פעמון – ממוצע של המאפיינים של הנקודה במרחב שאותה הוא מייצג.

פוינטיליזם גאוסיאני

בדומה לסגנון האמנות פוינטיליזם שהתפרסם בסוף המאה ה־19, Gaussian Splats יוצרים רינדור מפורט יותר או פחות בהתאם לגודל הכתמים. מיליוני נקודות קטנות מצטרפות ליצירת התמונה הגדולה.

בציור המפורסם של ז'ורז' סרה, יום ראשון אחר הצהריים על גדת האי לה גראנד ז'אט, נראית השיטה הזו בבירור.

ב־Gaussian Splat של סצנה דומה, הכתמים האליפסואידיים שמייצגים את העצים והדשא מופיעים בגווני ירוק. ישנם שבעה מיליון גאוסיאנים. משטחים גדולים ללא שינויים ניכרים נוצרים מאליפסואידים גדולים יותר, בעוד שאליפסואידים קטנים יותר בגווני ירוק, לבן, חום ושחור מוסיפים את פרטי הסצנה.

שבעה מיליון גאוסיאנים יוצרים סצנה כמעט פוטו־ריאליסטית.

כתמים קטנים יוצרים מעברי צבע עדינים. הצללים מופיעים ככתמים כהים יותר, ואילו האזורים המוארים נוצצים בכתמים בהירים יותר. זה שונה לחלוטין ממודל רשת משולשים (Mesh), שבו משטחים שטוחים אינם מסוגלים להציג אור וצל בצורה טבעית.

במקומות עם פחות כיסוי צילום, התוצאה נראית מטושטשת יותר – התוכנה "נאלצת לנחש" איך הסצנה נראית בין הצילומים.

כאשר מרנדרים את כל שבעת המיליון כתמים כאטומים לחלוטין, אזורים אלו מוצגים ככתמים גדולים ופחות מפורטים.

ענן נקודות מתוחכם

דרך נוספת להסתכל על Gaussian Splats היא כעל "ענן נקודות יוקרתי". בהשוואה לפוטוגרמטריה, יש להם יתרונות ברורים: הם מרונדרים מהר יותר, מציאותיים יותר, ומייצגים משטחים מורכבים בדיוק גבוה יותר.

הם פותרים בעיות קלאסיות של פוטוגרמטריה, למשל הצגה של חפצים מבריקים כמו חלונות או מים. בנוסף, הם קלים במיוחד לשימוש באינטרנט ואינטראקטיביים.

מבטים חדשים: היתרון המשמעותי

ההבדל הגדול ביותר בין Gaussian Splats לבין טכנולוגיות רינדור אחרות הוא ביכולת ליצור Novel View – זווית חדשה שלא צולמה במקור.

בטכנולוגיות קודמות, כמו Google Street View, ניתן רק "לקפוץ" בין תאים מצולמים, אך לא לייצר זוויות חדשות.

הGaussian Splats, לעומת זאת, מסוגלים "לדמיין" מה יש בין התמונות, ולאפשר תנועה חלקה בסצנה – בדיוק כפי שהעיניים שלנו רואות במציאות.

גם בתחום הקולנוע, במאי יכול להשתמש בטכנולוגיה הזו כדי "לצלם מחדש" סצנה מזווית ששכח על הסט, ישירות בשלב הפוסט־פרודקשן.

יצירת אותו מבט חדש רביעי היא מה שמבדיל את Gaussian Splats מטכנולוגיות רינדור תלת־ממד אחרות.

איך הגענו לכאן?

ה Gaussian Splats מייצגים סצנה על פי האופן שבו האור מוחזר מהאובייקטים. אנחנו לא באמת רואים את האובייקט – אלא את האור המוחזר ממנו.

זו הסיבה ש־Gaussian Splats שונים מרשתות טקסטורה (Textured Meshes).

ה Mesh – קודמם של ה־Gaussian Splats

רשתות (Meshes) הן דרך מסורתית לייצג חפצים תלת־ממדיים. סורקי LiDAR יוצרים ענני נקודות, והתוכנה מחברת ביניהן באמצעות משולשים.

משולשים קטנים מייצרים פרטים רבים יותר, בעוד שמשולשים גדולים מייצגים משטחים אחידים.

כאשר מוסיפים על הרשת תמונות ברזולוציה גבוהה, מקבלים רשתות עם טקסטורה (Textured Meshes).

אבל כאן נוצרה הבעיה: משולשים שטוחים אינם מסוגלים להציג החזרי אור טבעיים. זכוכית, מים או חלונות נראים שטוחים ולא ריאליסטיים.

לעומת זאת, Gaussian Splats מצטיינים בדיוק בגלל הגמישות של הכתמים: הם משתנים בגודל, בשקיפות ובקצוות מטושטשים, ויחד יוצרים תחושה טבעית של אור וצל.

נתוני ענן נקודות של LiDAR יכולים לשמש ליצירת רשת המורכבת ממשולשים, אשר מייצגת רק את פני השטח של האובייקט.

ה Gaussian Splats הם יותר מתמונה

בניגוד לצילום תלת־ממדי, Gaussian Splats ניתנים לחקירה אינטראקטיבית.

בפוטוגרמטריה, אובייקטים נמדדים באמצעות רשתות שנוצרות מתמונות דו־ממדיות. לעומת זאת, ב־Gaussian Splats יש מבנה תלת־ממדי טבעי – הנתונים יוצרים מודל אמיתי במרחב.

הם מהירים יותר, צורכים פחות כוח חישובי, ומאפשרים מדידה נוחה יותר של נפח, גובה ומאפיינים נוספים.

חיבור טבעי עם מצלמות Mosaic

הפחתת זמן הצילום והעיבוד היא יתרון עצום. מצלמות Mosaic, עם עדשות חופפות במיקומים קבועים, מאפשרות צילום מזוויות רבות בו־זמנית וחוסכות זמן עיבוד.

מערכות מיפוי ניידות מסוג Mosaic מותאמות לפרויקטים רחבי־היקף. כרטיס SSD מובנה בנפח 1TB מאפשר לכידה רציפה בשטח.

לאן זה הולך?

ככל שהמודלים התלת־ממדיים ותעשיית המצלמות הופכים קריטיים יותר לניהול תשתיות, האחריות עלינו היא להמשיך לנסות, לחדש ולדחוף את הטכנולוגיה קדימה.

במסגרת רוח החדשנות, השקנו לאחרונה מאגר עצום וחינמי לניסוי בטכנולוגיות כמו Gaussian Splatting – Prague RealMap.

זהו אוסף של 15.15 טרה־פיקסלים של תמונות סטריט־וויו חינמיות ברזולוציה של 13.5K, הכולל יותר מ־200,000 פנורמות מכל מרכז העיר.

המאגר פתוח לשימוש לא־מסחרי, ואנו מזמינים חוקרים וסטודנטים להתנסות.

סיכום

עתיד השחזורים התלת־ממדיים תלוי במה שנעשה עם הטכנולוגיה שכבר בידינו.

ראינו כמה מהר NeRFs נדחקו הצידה על ידי Gaussian Splats. מי יודע – אולי אנחנו כבר על סף פריצת דרך גדולה עוד יותר.