پروژه AUAV در آلمان تنظیم بلوک بسته نرم افزاری فتوگرامتری را با ارجاع جغرافیایی مستقیم ابرهای نقطه Lidar یکپارچه کرده است تا دقت مربوطه را به میزان قابل توجهی بهبود بخشد.
سکوهای اخیر وسایل نقلیه هوایی بدون سرنشین (UAV یا “پهپاد”) به طور مشترک تصاویر و داده های Lidar را جمع آوری می کنند. ارزیابی ترکیبی آنها به طور بالقوه ابرهای نقطه سه بعدی را با دقت و وضوح چند میلی متری ایجاد می کند که تا کنون محدود به جمع آوری داده های زمینی است. این مقاله پروژه ای را تشریح می کند که تنظیم بلوک بسته نرم افزاری فتوگرامتری را با ارجاع جغرافیایی مستقیم ابرهای نقطه لیدار ادغام می کند تا دقت مربوطه را با یک مرتبه قدر بهبود بخشد. مزایای دیگر پردازش ترکیبی ناشی از افزودن اندازه‌گیری محدوده Lidar به تطبیق تصویر چند نمای استریو (MVS) در طول تولید ابرهای نقطه سه‌بعدی متراکم با دقت بالا است.
این پروژه با هدف نظارت بر منطقه فرونشست احتمالی حدود 10 میلی متر در سال توسط مجموعه ای مکرر از ابرهای نقطه سه بعدی بسیار دقیق و متراکم انجام شد. اندازه قابل توجه محل آزمایش در Hessigheim، آلمان، از جمع آوری داده های زمینی جلوگیری می کند. همانطور که در شکل 1 قابل مشاهده است، سایت شامل مناطق ساخته شده، مناطق استفاده کشاورزی و یک قفل کشتی به عنوان ساختار مورد علاقه خاص است.
برای نظارت سنتی، شبکه ای از چندین ستون در مجاورت قفل ایجاد شد. همانطور که در شکل 2 نشان داده شده است، اهداف فتوگرامتری به ستون ها علامت می دهند تا آنها را به عنوان نقاط کنترل و کنترل برای ارجاع جغرافیایی در دسترس قرار دهند. برای جمع آوری داده های پهپاد، یک هشت کوپتر RIEGL RiCopter مجهز به سنسور RIEGL VUX-1LR Lidar و دو دوربین سونی آلفا 6000 مایل استفاده شد. با ارتفاع اسمی پرواز 50 متر از سطح زمین، فاصله نوار 35 متر و میدان دید اسکنر (FoV) 70 درجه، سیستم 300-400 نقطه بر متر مربع در هر نوار و 800 نقطه در متر مربع برای کل بلوک پرواز را ثبت کرد.
به دلیل همپوشانی طرف اسمی 50٪. پارامترهای ماموریت پرواز منجر به قطر ردپای لیزری روی زمین کمتر از 3 سانتی‌متر با فاصله نقطه‌ای 5 سانتی‌متر شد. دامنه نویز اسکنر 5 میلی متر است. مسیر پلت فرم توسط یک سیستم GNSS/IMU پهپاد APX-20 اندازه گیری شد تا امکان ارجاع جغرافیایی مستقیم فراهم شود. دو دوربین سونی آلفا 6000 مایل که بر روی پلتفرم RiCopter نصب شده‌اند، هر کدام فو وی 74 درجه دارند. آنها با زاویه دید 35± درجه به طرفین، تصاویر را در فاصله نمونه برداری از زمین (GSD) 1.5-3 سانتی متر با هر کدام 24 مگاپیکسل ثبت کردند.
تنظیم نوار لیدار و مثلث بندی خودکار هوایی
پس از ارجاع جغرافیایی مستقیم، یک گردش کار معمولی Lidar شامل تنظیم نوار برای به حداقل رساندن تفاوت بین نوارهای همپوشانی است. این مرحله با تخمین کالیبراسیون نصب اسکنر و همچنین پارامترهای تصحیح برای راه حل مسیر GNSS/IMU، ارجاع جغرافیایی را بهبود می بخشد. به طور معمول، یک افست ثابت (Δx، Δy، Δz، Δroll، Δpitch، Δyaw) برای هر نوار تخمین زده می شود. از طرف دیگر، اصلاحات وابسته به زمان برای هر یک از این شش پارامتر را می توان با splines مدل کرد.
شکل 3 به طور مثال یک صفحه کنترل زمینی لیدار را نشان می دهد که برای ارجاع جغرافیایی مطلق استفاده می شود. هر سیگنال دارای دو صفحه سقف مانند در ابعاد 40 × 80 سانتی متر با موقعیت و جهت مشخص است. ارزیابی تنظیم نوار لیدار این پروژه به‌علاوه ستون‌های علامت‌دار نشان‌داده‌شده در شکل 2 را اعمال می‌کند. این اهداف فتوگرامتری، تفاوت ارتفاعی را به ابر نقطه ژئورنفرانس شده در 33 هدف ارائه می‌کنند.
در بررسی ها، این تفاوت ها منجر به دقت RMS 5.2 سانتی متری شد. برای فعال کردن ارجاع جغرافیایی بلوک تصویر مورب سونی آلفا توسط مثلث هوایی خودکار (AAT)، شش هدف فتوگرامتری به عنوان نقاط کنترل زمینی (GCPs) انتخاب شدند. 27 هدف باقیمانده در نقاط بازرسی مستقل (CPs) بین 5.2 سانتی متر (حداکثر) و 1.2 سانتی متر (حداکثر) با RMS 2.5 سانتی متر تفاوت داشتند.
بنابراین، نه تنظیم نوار لیدار و نه تنظیم بلوک بسته، دقت نقطه شی 3 بعدی مورد نیاز را در طول ارزیابی مستقل داده‌های حسگر مختلف به دست نمی‌آورند. با این حال، در صورتی که هر دو مرحله توسط به اصطلاح ژئورفرجنس هیبریدی ادغام شوند، دقت به طور قابل توجهی بهبود می یابد (Glira 2019).
ارجاع جغرافیایی ترکیبی لیدار و تصاویر هوایی
شکل 4 بخشی از نقاط Lidar پروژه را به تصویر می کشد که با مقدار شدت کد رنگی شده است. نقاط سفید پوشانده شده نشان دهنده نقاط پیوند از تنظیم بلوک بسته‌ای از تصاویر سونی آلفا هستند. معمولاً، این مرحله پارامترهای دوربین مربوطه را از روی مختصات پیکسلی مربوط به تصاویر همپوشانی تخمین می‌زند. مختصات شی این نقاط پیوند فقط یک محصول جانبی هستند.
در مقابل، ارجاع جغرافیایی ترکیبی این مختصات نقطه اتصال را برای به حداقل رساندن تفاوت آنها با نقاط Lidar مربوطه اعمال می کند. این فرآیند اصلاحات وابسته به زمان مسیر پرواز را شبیه به تنظیم سنتی نوار لیدار تخمین می زند. در این مرحله، مختصات نقطه کراوات، محدودیت‌های هندسی را از AAT اضافه می‌کنند. این محدودیت های قابل توجهی را از بلوک تصویر برای اصلاح هندسه اسکن Lidar فراهم می کند.
این امر به ویژه در صورتی مفید است که هر دو سنسور بر روی یک پلت فرم پرواز کنند و بنابراین مسیر یکسانی داشته باشند. ارجاع جغرافیایی ترکیبی علاوه بر این اطلاعات مربوط به نقاط کنترل زمینی مورد استفاده در هنگام تنظیم بلوک بسته را باز می کند. بنابراین، ارجاع جغرافیایی داده‌های لیدار دیگر نیازی به هواپیماهای کنترلی اختصاصی لیدار ندارد. درعوض، تمام اطلاعات مربوط به نقطه چک و نقطه کنترل مورد نیاز از اهداف فتوگرامتری استاندارد موجود است که از اهمیت عملی بالایی برخوردار است.
نویسندگان از یک اسپلاین انعطاف پذیر به عنوان یک مدل قدرتمند برای تصحیح مسیر استفاده کردند. این انعطاف پذیری به طور بالقوه می تواند منجر به تغییر شکل های سیستماتیک در صورت اعمال در طول تنظیم استاندارد نوار شود. در مقابل، یکپارچه‌سازی اطلاعات از فریم‌های تصویر دوبعدی پایدار که در طول تنظیم بلوک بسته‌بندی جهت‌گیری شده‌اند، به طور قابل اعتمادی از چنین اثرات منفی جلوگیری می‌کند.
شکل 5 نتیجه رویکرد ترکیبی از نرم افزار OPALS مورد استفاده را نشان می دهد. شش GCP که با دایره‌های قرمز مشخص شده‌اند و 27 هدف باقیمانده که به‌عنوان CP استفاده می‌شوند، با AAT که قبلاً مورد بحث قرار گرفت، منطبق هستند. برای ژئو ارجاع هیبریدی، اختلاف ارتفاع – حداقل 1.5 سانتی متر، حداکثر 0.7 سانتی متر و میانگین 0.4- سانتی متر است. انحراف استاندارد مربوطه 0.6 سانتی متر به وضوح نشان می دهد که دقت زیر سانتی متر اکنون امکان پذیر است.
ابرهای نقطه ای ترکیبی از Lidar و استریو چند نمای
نقاط اتصال فتوگرامتری همانطور که در شکل 4 نشان داده شده است فقط یک محصول جانبی از تنظیم بلوک بسته نرم افزاری هستند، زیرا ابرهای نقطه سه بعدی متراکم توسط MVS در مرحله بعدی ارائه می شوند. در اصل، دقت هندسی ابرهای نقطه MVS به طور مستقیم با GSD و در نتیجه مقیاس تصاویر مربوطه مطابقت دارد. این اجازه می دهد تا داده های سه بعدی را حتی در محدوده زیر سانتی متری برای وضوح تصویر مناسب ضبط کنید. با این حال، تطبیق تصویر استریو، دید نقاط شی را در حداقل دو تصویر فرض می‌کند.
این می تواند یک مشکل برای ساختارهای سه بعدی بسیار پیچیده باشد. در مقابل، اصل اندازه‌گیری قطبی حسگرهای لیدار زمانی سودمند است که ظاهر جسم با مشاهده از موقعیت‌های مختلف به سرعت تغییر کند. این امر برای اشیاء نیمه شفاف مانند پوشش گیاهی یا میله های جرثقیل (نگاه کنید به شکل 4)، برای اجسام در حال حرکت مانند وسایل نقلیه و عابران پیاده، یا در دره های بسیار باریک شهری و همچنین در محل های ساخت و ساز صادق است.
یکی دیگر از مزایای لیدار پتانسیل اندازه گیری پاسخ های متعدد سیگنال های منعکس شده است که نفوذ پوشش گیاهی را امکان پذیر می کند. از سوی دیگر، افزودن بافت تصویر به ابرهای نقطه لیدار هم برای تجسم و هم برای تفسیر سودمند است. در ترکیب با قابلیت رزولوشن بالا MVS، این از استدلال برای ادغام مناسب Lidar و MVS در طول تولید ابر نقطه سه بعدی پشتیبانی می کند.
شکل 6 یک مش بافت سه بعدی را نشان می دهد که از تصاویر سونی آلفا توسط خط لوله MVS در نرم افزار SURE از nFrames ایجاد شده است. همانطور که در شکل 7 مشاهده می شود، جزئیات هندسی بسیار بیشتری در دسترس است، به عنوان مثال. در بالای کلیسا و در پوشش گیاهی پس از داده های Lidar یکپارچه شده است. شمارش چهره معمولاً با پیچیدگی هندسی سازگار است، که برای بخش کوچک برج کلیسا نیز قابل مشاهده است. به عنوان مثال، شکل 6 شامل تقریباً 325000 چهره است، در حالی که شکل 7 دارای 372000 مثلث است.
شکل 8 و 9 ویژگی های مکمل Lidar و MVS را برای نقاط سه بعدی در قسمت دیگری از محل آزمایش نشان می دهد. شکل 8 نقاط RGB رنگ تولید شده توسط MVS را نشان می دهد. داده های Lidar روی هم پوشانده شده با توجه به ارتفاع مربوطه کد رنگی می شوند. در نهایت، خط زرد نمایانگر نمایه ای است که برای استخراج نقاط نشان داده شده در شکل 9 استفاده می شود. اختلاف بین ابرهای نقطه از MVS (قرمز) و لیدار (آبی) به ویژه در درختان مشهود است، جایی که Lidar امکان تشخیص بازگشت های متعدد را در امتداد یک مسیر تک پرتو لیزری نشان می دهد.
در حالی که ابرهای نقطه ای همانطور که در شکل های 8 و 9 نشان داده شده است مجموعه ای نامرتب از نقاط هستند، مش ها همانطور که در شکل های 6 و 7 نشان داده شده اند نمودارهایی هستند که از رئوس، لبه ها و وجوه تشکیل شده اند که اطلاعات مجاورت صریح را ارائه می دهند. تفاوت اصلی بین مش ها و ابرهای نقطه ای در دسترس بودن بافت با وضوح بالا و تعداد کمتر موجودیت ها است.
این به ویژه برای تفسیر خودکار بعدی مفید است. به طور کلی، بسیاری از نقاط (Lidar) را می توان با یک چهره مرتبط کرد. نویسندگان از این رابطه چند به یک برای تقویت چهره‌ها با ویژگی‌های متوسط Lidar که از نقاط مرتبط مربوطه مشتق شده‌اند، استفاده کردند.
این آنها را قادر می سازد تا اطلاعات ذاتی هر دو حسگر را در نمایش مش به منظور دستیابی به بهترین تقسیم بندی معنایی ممکن یکپارچه کنند. شکل 10 مش برچسب‌گذاری‌شده را که توسط طبقه‌بندی‌کننده PointNet++ پیش‌بینی شده بود (سمت چپ) و برچسب‌های منتقل شده به ابر نقطه متراکم Lidar (راست)، نشان می‌دهد که توسط فاکتور 20 برای تجسم نمونه‌برداری شده است.
کد رنگ کلاس زیر استفاده می شود: نما (زرد)، سقف (قرمز)، سطح غیر قابل نفوذ (سرخابی)، فضای سبز (سبز روشن)، پوشش گیاهی متوسط و بالا (سبز تیره)، وسیله نقلیه (فیروزه ای)، دودکش/آنتن (نارنجی) ) و بهم ریختگی (خاکستری).
ارسال به راحتی با استفاده مجدد از رابطه چند به یک بین نقاط لیدار و چهره ها انجام شد. بنابراین، تقسیم‌بندی معنایی ابر نقطه لیدار از ویژگی‌هایی استفاده می‌کند که در ابتدا فقط برای مش در دسترس بوده‌اند، به عنوان مثال. بافت از این رو، تقسیم بندی مش معنایی از ویژگی های ذاتی هر دو نمایش استفاده می کند، که یکی دیگر از مزایای تصویر مشترک و پردازش Lidar است.
نتیجه
این مقاله یک گردش کار برای ارجاع جغرافیایی هیبریدی، بهبود و طبقه بندی پهپاد با وضوح فوق العاده بالا Lidar و ابرهای نقطه تصویر ارائه می دهد. در مقایسه با یک ارزیابی جداگانه، جهت گیری ترکیبی دقت را از 5 سانتی متر به کمتر از 1 سانتی متر بهبود می بخشد.
علاوه بر این، هواپیماهای کنترلی لیدار منسوخ می شوند، بنابراین تلاش برای ارائه اطلاعات کنترلی در زمین به طور قابل توجهی کاهش می یابد. نویسندگان انتظار دارند با جایگزین کردن دوربین‌های فعلی نصب شده بر روی RIEGL RiCopter با یک سیستم فاز یک iXM با کیفیت بالا، بهبود بیشتری حاصل شود تا تصاویر رادیومتری بهتر با وضوح بالاتر به دست آید. این امر بیشتر از تولید و تجزیه و تحلیل ابرهای نقطه‌ای با کیفیت بالا پشتیبانی می‌کند و بنابراین امکان ضبط داده‌های مبتنی بر پهپاد را برای برنامه‌های بسیار چالش برانگیز فراهم می‌کند.
سپاسگزاریها
بخش هایی از تحقیقات ارائه شده در قالب پروژه ای که توسط موسسه فدرال هیدرولوژی آلمان (BfG) در کوبلنتس اعطا شده بود، تامین شد. از Gottfried Mandlburger، Wilfried Karel (TU Wien) و Philipp Glira (AIT) برای پشتیبانی و انطباق آنها با نرم افزار OPALS در طول ارجاع جغرافیایی ترکیبی تشکر می کنیم. پشتیبانی Tobias Hauck از nFrames در طول کار مشترک با SURE نیز تایید شده است.
نظرات کاربران