در زندگی روزمره ما عادت کرده ایم که تصاویر پر جنب و جوش و مفصل را ببینیم. با این حال ، یک راز پنهان وجود دارد: سنسورهای دوربین ذاتاً کور رنگ هستند. هر پیکسل فقط می تواند روشنایی را تشخیص دهد ، نه رنگ. تبدیل این داده های سیاه و سفید به یک تصویر رنگی به یک سیستم پیچیده نیاز دارد. در قلب این سیستم الگوی بایر (فیلتر بایر) و پردازنده سیگنال تصویر (ISP) قرار دارد. این دو عنصر مانند مغز و چشم دوربین عمل می کنند و با هم کار می کنند تا روند کار را از سیگنال های نور خام به تصویر نهایی شکل دهند.
به عنوان یک مشاور متخصص در ماژول های دوربین ، این مقاله تجزیه و تحلیل عمیق از الگوی بایر را ارائه می دهد ، از جریان پردازش ISP رونمایی می کند و بررسی می کند که چگونه این فن آوری های اصلی به طور مستقیم بر برنامه های کاربردی مانند تشخیص شیء در سیستم های بینایی تعبیه شده تأثیر می گذارند. ما از دیدگاه یک مهندس بینش های تخصصی ارائه می دهیم و به شما در درک هر پیوند کلیدی در زنجیره تصویر کمک می کنیم.
بایر چیست؟
برای درک الگوی بایر ، ابتدا باید درک کنید که دوربین های دیجیتال چگونه کار می کنند. یک سنسور دوربین از میلیون ها دیود حساس به نور (پیکسل) تشکیل شده است. هنگامی که فوتون ها به این پیکسل ها اعتصاب می کنند ، آنها یک بار الکتریکی تولید می کنند که بزرگی آن متناسب با شدت نور است. با این حال ، این پیکسل ها نمی توانند بین رنگ های نور تمایز قائل شوند. آنها فقط روشنایی آن را ضبط می کنند.
الگوی بایر ، که اغلب به آن فیلتر بایر گفته می شود ، یک راه حل جدید است. این مجموعه از یک آرایه ریز از فیلترهای قرمز (R) ، سبز (G) و آبی (B) تشکیل شده است که به طور کامل بر روی هر پیکسل قرار می گیرد. این آرایه فیلتر به هر پیکسل اجازه می دهد تا فقط شدت رنگ خاص نور در زیر آن را دریافت و ضبط کند. به عنوان مثال ، یک پیکسل تحت پوشش یک فیلتر قرمز فقط روشنایی چراغ قرمز را ثبت می کند.
بنابراین ، خروجی داده های خام توسط سنسور یک نیستتصویر RGB رنگ، اما یک الگوی موزائیک تک رنگ ، معروف به "داده های خام بایر". هر پیکسل در این داده ها شامل اطلاعاتی از یک کانال رنگی است.
چرا سبز دو بار در الگوی بایر است
اگر از نزدیک به یک الگوی معمولی بایر نگاه کنید ، متوجه خواهید شد که دو برابر پیکسل های سبز به صورت پیکسل قرمز و آبی وجود دارد. این به عنوان یک ترتیب RGGB (یا GRBG ، BGGR و غیره) شناخته می شود.
این طرح تصادفی نیست ؛ این مبتنی بر خصوصیات فیزیولوژیکی چشم انسان است. شبکیه انسان نسبت به نور سبز حساس است و باعث می شود درک ما از روشنایی (یا "مقیاس خاکستری") در درجه اول از کانال سبز باشد. با تخصیص پیکسل های بیشتر به سبز ، دوربین قادر به ضبط اطلاعات غنی تر از روشنایی است و در نتیجه بازسازی تصویر باعث وضوح بالاتر و سر و صدای کمتری می شود ، در نهایت باعث می شود تصویر طبیعی تر و واضح تر به نظر برسد.
اختلاف GGB در مقابل BGGR
تنظیمات مختلف الگوی بایر وجود دارد که RGGB و BGGR دو رایج ترین هستند. در حالی که هر دو از اصل "دو رنگ سبز" پیروی می کنند ، ترتیب خاص متفاوت است.
در آرایش RGGB ، پیکسل های قرمز و آبی به صورت مورب از پیکسل های سبز قرار می گیرند. در آرایش BGGR ، پیکسل های سبز به صورت مورب از پیکسل های قرمز و آبی قرار می گیرند. انتخاب این ترتیبات بر پردازش ISP متعاقب آن ، به ویژه الگوریتم دموزایی سازی تأثیر می گذارد.
به عنوان مثال ، ترتیبات مختلف بر ترکیب پیکسل های مجاور در محاسبات درون یابی تأثیر می گذارد. برای سیستم های بینایی تعبیه شده ، انتخاب الگوی بایر اغلب به طراحی تراشه ISP بستگی دارد و برای اطمینان از کیفیت نهایی تصویر به هماهنگی سخت افزار و نرم افزار نیاز دارد.
ISP (پردازنده سیگنال تصویر) چیست؟
درپردازنده سیگنال تصویر (ISP)مغز سیستم دوربین است. وظیفه اصلی آن دریافت داده های خام بایر فرآوری نشده از سنسور است و از طریق یک خط لوله پردازش پیچیده ، آن را به یک قالب تصویر استاندارد که می بینیم ، برای نمایش یا تجزیه و تحلیل آماده می شود. ISP می تواند یک تراشه مستقل باشد یا در تراشه کنترل اصلی یکپارچه شود.
ISP کارآمد برای یک ماژول دوربین با کارایی بالا مهم است. هر قدم که کنترل کند بسیار مهم است و مستقیماً کیفیت تصویر نهایی را تعیین می کند.
خط لوله پردازش ISP
یک خط لوله کامل ISP به طور معمول شامل ده ها مرحله پردازش است. ما چندین مرحله کلیدی را در اینجا برجسته خواهیم کرد:
1. تصحیح پیکسل بد
در طی فرآیند تولید ، سنسورها ممکن است پیکسل های بدی را ایجاد کنند که غیر درخشان یا دائمی درخشان هستند. اولین مرحله از ISP شناسایی و ترمیم این پیکسل های بد است و داده های آنها را با درون یابی از پیکسل های اطراف جایگزین می کند.
2. تصحیح سطح سیاه
حتی در تاریکی کامل ، سنسور به دلیل "جریان تاریک" هنوز سیگنال الکتریکی ضعیف تولید می کند. ISP این "سطح سیاه" ثابت را کم می کند تا اطمینان حاصل شود که پیکسل های سیاه واقعاً صفر هستند و در نتیجه دامنه پویا تصویر را بهبود می بخشند.
3.
هنگامی که سنسور در نور کم قرار دارد ، مقدار زیادی از سر و صدای الکترونیکی تصادفی ایجاد می کند. ISP از الگوریتم های پیچیده برای تمایز جزئیات تصویر از سر و صدا استفاده می کند و سپس کاهش نویز را اعمال می کند. این می تواند به طور قابل توجهی خلوص تصویر را بهبود بخشد ، اما کاهش بیش از حد نویز نیز می تواند جزئیات را پاک کند.
4
این یکی از کارکردهای اصلی ISP است. الگوریتم دموزایی سازی اطلاعات مربوط به پیکسل های قرمز ، سبز و آبی همسایه هر پیکسل را برای استنباط مقدار کامل RGB آن پیکسل درون یابی می کند. کیفیت الگوریتم demosaicing به طور مستقیم تولید مثل رنگ و جزئیات تصویر نهایی را تعیین می کند.
5. تعادل سفید خودکار
منابع مختلف نور (مانند نور خورشید ، روشنایی فلورسنت و روشنایی رشته ای) نور را با دمای مختلف رنگ ساطع می کنند. عملکرد تعادل سفید خودکار توزیع رنگ در تصویر را تجزیه و تحلیل می کند و به طور خودکار افزایش کانال های قرمز ، سبز و آبی را تنظیم می کند تا اطمینان حاصل شود که اشیاء سفید به طور دقیق تحت هر منبع روشنایی قرار می گیرند. این فرآیند پویا و پیچیده یکی از نقاط اصلی فروش ISP است.
6. تصحیح رنگ (CCM)
حتی پس از تعادل سفید ، تولید مثل یک دوربین ممکن است دقیق نباشد. ISP از یک ماتریس رنگی برای اصلاح بیشتر رنگ استفاده می کند ، نقشه برداری از فضای رنگ بومی سنسور دوربین به فضای رنگی استاندارد (مانند SRGB) برای اطمینان از قوام رنگ در دستگاه های مختلف.
7. اصلاح گاما
تصحیح گاما یک فرآیند غیرخطی برای روشنایی تصویر برای مطابقت با درک بصری غیرخطی انسان است ، و باعث می شود مناطق روشن و تاریک از نظر عمق طبیعی تر و غنی تر به نظر برسند.
8. تیز کردن و تقویت لبه
ISP لبه های تصاویر را تقویت می کند و باعث می شود آنها واضح تر و واضح تر به نظر برسند. با این حال ، این نیاز به کنترل دقیقی دارد ، زیرا بهار بیش از حد می تواند آثار باستانی غیر طبیعی را معرفی کند.
تأثیر ISP در دید رایانه
برای مهندسان تعبیه شده بینایی ، یک ISP چیزی بیش از ابزاری برای زیباسازی تصویر نیست. هر مرحله پردازش در ISP مستقیماً بر عملکرد الگوریتم های بینایی رایانه پایین دست تأثیر می گذارد. نادیده گرفتن نقش ISP می تواند منجر به نقص مهلک در برنامه های کاربردی مانند تشخیص شی شود.
اثر "جعبه سیاه" ISP
بسیاری از مهندسان به اشتباه ISP را به عنوان "جعبه سیاه" می بینند ، با فرض اینکه این تنها مسئولیت تولید یک تصویر "خوش بین" را بر عهده دارد. با این حال ، در حالی که برخی از پردازش های ISP می توانند کیفیت بصری را ارتقا بخشند ، همچنین می تواند در الگوریتم های دید رایانه دخالت کند.
به عنوان مثال ، کاهش سر و صدای بیش از حد تهاجمی ISP می تواند بافت ها و جزئیات ظریف را در تصویر صاف کند ، که برای الگوریتم های تشخیص شیء بسیار مهم است.
چالش تعادل سفید خودکار
تعادل سفید ناپایدار یک نقطه اصلی درد در بینایی رایانه است. در تغییر شرایط روشنایی ، اگر تعادل سفید خودکار نتواند دمای رنگ را به طور دقیق تنظیم کند ، می تواند باعث ایجاد رنگی در تصویر شود. این می تواند مدلهای تشخیص شیء آموزش دیده را در برنامه های دنیای واقعی بی اثر جلوه دهد ، زیرا ممکن است نتوانند اشیاء را با بازیگران تشخیص دهند.
چگونه به این موضوع بپردازیم
برای اطمینان از استحکام الگوریتم های دید رایانه ، مهندسان به ISP بهینه شده برای برنامه های دید نیاز دارند. این بدان معنی است که پارامترهای ISP باید قابل کنترل و قابل تنظیم باشد ، به مهندسان این امکان را می دهد تا خط لوله پردازش تصویر را برای سناریوهای خاص برنامه (مانند نور روشن در فضای باز یا شرایط کم نور در شب) تنظیم کنند. علاوه بر این ، براییک ماژول دوربین را انتخاب کنیداین داده های BAYER RAW را خروجی می کند. این امر به مهندسان این امکان را می دهد تا پردازش ISP را در نرم افزار با پس زمینه انجام دهند و حداکثر انعطاف پذیری و کنترل را ارائه دهند.
خلاصه
الگوی بایر و پردازنده سیگنال تصویر ، سنگ بنای زنجیره تصویربرداری دیجیتال هستند که با هم کار می کنند تا سیگنال های نور خام را به اطلاعات مفید تصویر تبدیل کنند. درک هر مرحله پردازش ISP و شناخت تأثیر مستقیم آن در الگوریتم های دید رایانه پایین دست برای هر مهندس دید تعبیه شده ضروری است. ISP نه تنها به زیبایی شناسی تصاویر کمک می کند بلکه موفقیت برنامه های هوش مصنوعی مانند تشخیص شی و تشخیص تصویر را نیز تعیین می کند.
Mughvision در بهینه سازی ISP کمک می کند
آیا با بهینه سازی ماژول دوربین برای پروژه خود دست و پنجه نرم می کنید؟امروز با تیم متخصص ما تماس بگیریدو ما به شما ارائه می دهیم انتخاب و خدمات شخصی سازی پردازنده سیگنال تصویر حرفه ای برای کمک به پروژه چشم انداز تعبیه شده شما در موفقیت!
