Flats och registrering i Pixinsight

Metoder för astrofotografering
User avatar
Datarolf
Posts: 272
Joined: 2015-05-03 11:45:11
spamtest: JA
Location: Huddinge

Re: Flats och registrering i Pixinsight

Post by Datarolf »

Hej!

Jag följer den här tråden eftersom den innehåller matnyttig information om kalibrering och stackning. Jag är också bekant med de råd för framtagande av master bias/darks/flats som beskrivs i den tidigare refererade videon och här: http://pixinsight.com/tutorials/master- ... index.html

En sak förstår jag inte. Ovan refereras till "debayering" vilket är något jag aldrig tillämpat. Jag fotar med en Nikon DSLR som lämnar RAW-filer ifrån sig (NEF). Dessa har jag använt för mina bias/darks/flats liksom då för de lights jag tar, och det verkar ju fungera i alla fall hyfsat bra i PixiInsight. Så vad är debayering, vilken nytta skulle det göra och var hittar jag den funktionen i så fall i PixInsight?

Alla upplysningar (sic!) mottas tacksamt!

Rolf J
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Flats och registrering i Pixinsight

Post by AstroFriend »

Hej Rolf!
Jag hade den här länken tidigare i denna tråd som jag tror beskriver ganska bra hur Debayerfilter fungerar och varför man har det.

https://en.wikipedia.org/wiki/Bayer_filter

Det används i nästan alla DSLR kameror och CCD kameror med color.

Sedan hur intelligent olika program avkodar raw filen till en färgbild är ju olika, från det enklaste att bara interpolera fram färginformationen till mer avancerade som Drizzling.

PI har jag inte använt så har ingen information om just det.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
User avatar
Frazze
Posts: 653
Joined: 2008-08-06 15:54:35
Location: Älvsjö
Contact:

Re: Flats och registrering i Pixinsight

Post by Frazze »

Debayer är den process som konverterar dina bilder från en one-shot color (OSC) kamera till färg.
I PixInsight finns det en Debayermodul som sköter detta

https://pixinsight.com/doc/tools/Debayer/Debayer.html
User avatar
Datarolf
Posts: 272
Joined: 2015-05-03 11:45:11
spamtest: JA
Location: Huddinge

Re: Flats och registrering i Pixinsight

Post by Datarolf »

OK - tack för svar. Men som jag tolkar det är Debayering bara aktuellt när man arbetar med monokroma CCD-kameror och vill sätta ihop flera bilder tagna med olika filter till en enda bild. Mina RAW-filer från DSLR-kameran innehåller ju redan relevant färginformation, och ska väl alltså inte bearbetas med denna funktion. Har jag förstått detta rätt?

Vänliga hälsningar

Rolf J
Huddinge
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Flats och registrering i Pixinsight

Post by AstroFriend »

Nej nej, tvärtom.

Debayer används bara när man har en sensor men vill ha 3 färger på en gång (oneshotcolor) . Exakt så är din DSLR färgkamera konstruerad, läs länken ovan jag sände dig nyss.

Har du monokrom sensor och tar med olika färgfilter en färg i taget behöver du inte tänka på Debayer mer an vad skönt att slippa tekniken.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
User avatar
Datarolf
Posts: 272
Joined: 2015-05-03 11:45:11
spamtest: JA
Location: Huddinge

Re: Flats och registrering i Pixinsight

Post by Datarolf »

Hej!

Jag har läst artikeln men är nog ändå inte med dig. I min DSLR har sensorn inbyggda färgfilter som delar upp det inkommande ljuset i tre primärfärger som registreras var för sig (det är väl det som kallas för Bayer-filter) i det som bildar RAW-filen. Men PixInsight klarar uppenbarligen av att läsa denna RAW-fil och återbilda en enda färgbild som jag arbetar med. Så var gör då rutinen Debayer för nytta i sammanhanget?

Min fråga är alltså: Behövs rutinen Debayer vid arbete med RAW-filer från en DSLR-kamera och i så fall varför?

Vänliga hälsningar

Rolf J
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Flats och registrering i Pixinsight

Post by AstroFriend »

Hej Rolf,
I din kamera sitter det bara en sensor, den är monokrom i grunden. För att den skall kunna återge färg måste den förses med ett Bayerpattern filter.

Din raw bild är ingen färgbild, men den innehåller information hur man skall få fram färgen. När du tittar på den i din dator med ett visningsprogram (eller ditt PixInsight program) gör just programmet en debayering. Jpg bilden från kameran är en färgbild och där är det kameran själv som gjort en debayering av rawbilden (i regel kastas raw bilden efter detta). Tyvärr så skalar den också ned bitdjupet samtidigt från 14 bit till 8 bit och dessutom komprimerar filen, resultat? Liten behändig fil men av dålig kvalite.

När Pixinsigth bara skall visa en påsiktsbild från en raw så gör det nog inte debayer själv utan använder en plugin som utför denna debayer process (kanske av lite enklare slag eftersom det skall gå fort).

Färg information är inte över hela ytan. Röda pixlar endast var 4:e likaså de blå. Gröna är varannan pixel. För att få fram färg på alla pixlarna fuskar man och räknar fram medelvärden från omkringliggande pixlar. Slutbilden har alltså i princip bara halva upplösningen för röd och blå. Resten är gissning.

Gamla videokameror hade i regel 3 sensorer med varsitt färgfilter, de hade tre äkta färgplan, alla med full upplösning.

Foveon har en mycket speciell färgsensor som kan registrera alla 3 färgplanen med full upplösning. Egentligen är det 3 sensorer stackade på varandra. Låter perfekt men fungerar tyvärr än så länge inte så bra.

Debayering gör man inte på kalibreringsbilderna, som darks och flats, man gör ju kalibreringen pixel för pixel. Efteråt på den kalibrerade bilden gör man debayering och sedan stackar man ihop de. Men det finns andra metoder också.

Tillägg:
Exakt hur det går till i Pixinsight vet jag inte, men det måste också avkoda raw filen för att få en färgbild i slutänden (om man nu vill det). Man kan ju göra det mer eller mindre avancerat. De kanske hittat på en mer avancerad algoritm och inte vill kalla den för debayering för att markera att det är lite annorlunda. Men i grunden är det något liknande debayring de gör fast kanske utan att tala om det, lite opedagogist i så fall. Drizzle är en alternativ metod utan det tradionella debayring. I färgsammanhang kan det ibland kallas walking colors.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och registrering i Pixinsight

Post by magnuslar »

Hej!

Rolf, jag kan verkligen förstå att du kan bli undrande över debayering och Pixinsight.... I videon som jag refererade till innan, så används inte debayering, och jag har frågat honom, och han säger att det inte gör skillnad. Det tycker jag är ganska konstigt. Hur kan det inte göra skillnad?

Själv har jag upplevt att först kunna registrera och stacka bilder i PI, och sen ganska plötsligt funkade det inte alls. Om det så berodde på att jag ändrat i min process vet jag inte - jag experimenterar mycket än, med olika program och har använt både fits- och cr2-bilder mm, eller om det var nåt med uppgradering af PI.. Nu fungerar det inte för mig att registrera och stacka utan att ha debayerat (efter kalibrering). Hur det kunde fungera innan, hur det kan funka för dig, och hur det funkar för killen med videon....welll..:) mysteries abound.

Det jag vet är att det finns en inställtning för raw-filer i PI (under format explorer) där du kan välja hur de hanteras. Sätter man den till "pure raw" så visas cr2-filerna som gråa. Sätter man den i andra, debayerade, läget, så visas de som färg, men bara i visningen, inte i behandlingen (om jag försått rätt). Numera har jag den i Pure Raw, och följer den här processen (hämtad från ett annat forum), förutom att jag inte sparar i fits utan i xisf:

- BatchFormatConversion of bias sub frames (in raw mode), then integrate the .fits of the bias frames with no weighting ---> masterBias.
- ImageCalibration of dark sub frames with masterBias only (this converts them to .fits as a side effect)
- ImageIntegration of calibrated dark subs, no weighting, use pixel rejection to get rid of cosmic ray hits. carefully study rejection maps. --> masterDark_c
- ImageCalibration of flat sub frames with masterBias only (if flat exposures are short enough)
- ImageIntegration of calibrated flat frames (see vicent's flat frame tutorial for hints about how to integrate) --> masterFlat_c
- ImageCalibration of light subs with masterBias, masterDark_c, masterFlat_c. since the master dark and flat are already calibrated, do not check "calibrate" under the master dark and master flat sections. the masterDark_c can be optimized (scaled) if necessary.
- ImageIntegration of light subs.
- the flow is (raw) open, calibrate, debayer (->rgb) star alignment, integration.

En utmärkt tutorial tycker jag är den här - där inkluderas också debayering på precis samma sätt:

http://www.lightvortexastronomy.com/tut ... sight.html

Men alltså: kan nån förklara hur du och andra kan göra det i PI utan debayering så vore det kul att höra...:)

Magnus
User avatar
Datarolf
Posts: 272
Joined: 2015-05-03 11:45:11
spamtest: JA
Location: Huddinge

Re: Flats och registrering i Pixinsight

Post by Datarolf »

Magnus,

Du ligger långt före mig i förståelsen av pre-processing med PixInsight - tack för de utmärkta länkar du hänvisat till.

Eftersom jag aldrig hört talas om debayering tidigare, så har jag aldrig bekymrat mig om detta förrän jag började läsa din tråd. Vid kalibrering har jag helt enkelt följt anvisningarna i den tutorial som man kan nå inifrån PixInsight: http://pixinsight.com/tutorials/master- ... index.html och som ju stämmer mycket väl överens med den video du tidigare refererade till. Jag har inte varit inne i "Format Explorer" och alltså inte gjort några ändrade inställningar av hur DSLR_RAW-filer (i mitt fall NEF-filer från Nikon) ska behandlas. Framställningen av Master Bias, Master Darks och Master Flats har jag gjort enligt "kokboken" ovan med resultatet som Master-xisf-filer. Jag har sedan kalibrerat mina RAW (dvs NEF) lights med Image Calibration och resp xisf-Master, vilket också gett ett antal xisf-filer med kalibrerade lights.

Mina kalibrerade xsif-lights har jag sedan kört i Star Alignment, som lämnat motsvarande antal registrerade xisf-filer som resultat och dessa har sedan slutligen varit indata till Image Integration. Såväl NEF-filer som alla xisf-filer inblandade i processen ovan visar PixInsight snällt i färg för mig.

Det har uppstått problem i Star Alignment ibland av två orsaker: 1) Jag har för dålig följning av stjärnorna, dvs allt för avlånga stjärnor, eller 2) vid kalibreringen har det uppstått för mycket "brus" i bildens yttersta hörn, något som Star Alignment tror är stjärnor, och då falerar processen. Fall 1) kan oftast åtgärdas genom att skruva på inställningarna i processen Star Alignment, fall 2) åtgärdar jag genom att med Dynamic Crop klippa ner bilden så att de brusiga hörnen försvinner och spara den som en ny xisf-fil som jag alignar.

När det gäller debayering tycker jag att jag blir lite klokare av den senaste tutorial du hänvisar till i inlägget ovan. Om jag läser rätt så verkar det som om PixInsight kan behandla de tre färgkanalerna i varje lights separat när man väljer "Pure RAW" i Format Explorer. Man kan då antagligen kalibrera dessa kanaler var för sig och sedan med processen Debayering lägga samman dem till en färgbild som man sedan registrerar med övriga och integrerar för den kommande bildbehandlingen. Det låter som att detta är en "överkurs" som man kan ta till om man inte är nöjd med utfallet av det enklare förfarande jag hitintills har tillämpat.

Slutligen, jag kör allt i xisf-formatet när PixInsight skapar någon fil eftersom jag uppfattat det som "källformatet" för PixInsight som bevarar mest information. Och jag har nyligen uppgraderat min PixInsight till version 01.08.04-1195 (x64).

Med förhoppning att detta var till någon vägledning!

Rolf J
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och registrering i Pixinsight

Post by magnuslar »

Hej!

Well. Jag uppfatar mig verkligen som nybörjare...:) Började med PI för nån månad sen. Men det handlar väl också om att det här är rejält komplicerade processer.

Jag gjorde ett litet experiment. Det här är två versioner av Caldwell 14, tagen i förrgår, 12 subs med 180 sek exponering. Fullmåne (nästan) och så, så det är mycket brus.

Den första gjorde jag helt enligt min tidigare bekrivna process - debayering efter kalibrering. Det var svårt att registrera och integrera den, troligen på grund av så mycket brus, så jag fick leka lite med inställnignarna i Star detection innan det funkade. Post-processeing är histogram transformation och sen color saturation med faktor 2. Jag skippade den tidsödande DBE-processen (dynamic background extraction) för detta experiment, så det är mycket där som ska bort Men så här blev det:
C14_debayered_small.jpg
C14_debayered_small.jpg (198.85 KiB) Viewed 5274 times
Så gorde jag en bild med samma process som jag tror du använder: ingen debayering, utan registrering och sen integrering på de i mitt fall då helt gråa bilderna (har Pure Raw-inställningen). Det fungerade utmärkt - lättare att registrera... Så fick jag en grå integrerad bild, och så debayerade jag den istället, för att se om där var några färger. Så samma process som den ovan, histogram transformation och color saturation med faktor 2. Så här blev det:
C14_deb_after_integration_small.jpg
C14_deb_after_integration_small.jpg (255.97 KiB) Viewed 5274 times
Hur ska man förstå det här då? Kul också om du gjorde nåt liknande och testade vad det blir för skillnad med debayering efter kalibrering, före registrering...

Magnus
User avatar
Datarolf
Posts: 272
Joined: 2015-05-03 11:45:11
spamtest: JA
Location: Huddinge

Re: Flats och registrering i Pixinsight

Post by Datarolf »

Hej igen Magnus!

Intressant att du gör lite experiment med PixInsights kalibrering. Jag tycker faktiskt att den undre bilden som du kalibrerat och alignat enligt min (egentligen PixInsights) metod är minst lika bra som den övre.

En sak som jag tänkt på är att länken http://www.lightvortexastronomy.com/tut ... sight.html som du refererade till möjligen inte är så up to date som den tidigare länken till en videotutorial där man visade kalibrering utan att någon debayering är inblandad och som jag följer. I texasastronomys anvisningar står t ex att man ska kalibrera sina darks med master bias när man gör sin master dark. Jag har från två andra separata källor att det inte är så man gör i nuvarande versionen av PixInsight utan att Master Darks ska göras genom att helt enkelt enbart integrera de darks man har. PixInsight sköter resten i samband med kalibreringen av lights. Texasastronomy skriver också att man ska köra "Pure Raw" vid kalibreringen av DSLR-bilder för att inte blanda in någon färginformation, och i ett senare steg utföra debayering. Men som jag provat, och videotutorialen visar, så behöver man inte ta den (om)vägen. Nuvarande version av PixInsight är så bra att den klarar av att hantera RAW-filerna som färgfiler (använder alltså själv någon intern debayeringprocess) både när det gäller att kalibrera dem, aligna lights och sedan integrera lights.

Min slutsats så här långt är att jag inte ska köra "Pure Raw" utan behålla och använda PixInsights hantering av RAW-filer i färg, och på så sätt inte heller bekymra mig om någon separat debayering.

Vad gäller din ursprungliga fråga om varför din kalibrering inte alltid lyckas, så tror jag det kan bero på kvaliteten på de flats du använder. Min erfarenhet är att det ju är lätt att ta en massa bias och även darks och få till de masterfilerna rätt. Men flats är mycket känsliga för om ljusspridningen blir annorlunda när man tar dem än när man tog sina lights.

Jag brukar använda en plastskärbräda (köpt på IKEA) som jag lägger direkt ovanpå objektivet när jag är klar med själva fotosessionen där jag tagit mina lights. Jag är noga med att inte ändra några inställningar (bländare, skärpa, zoom om jag använder ett vanligt teleobjektiv). Sedan öppnar jag kamerans slutare och bränner av en elektronblixt med diffusor några meter från skärbrädan. Genom att sikta lite vid sidan om kan man få ner ljusstyrkan ytterligare och när jag tagit ca 10 sådana flats med lite olika belysning brukar de gå bra att integrera till en fungerande master flat.

Vänliga hälsningar
Rolf J
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och registrering i Pixinsight

Post by magnuslar »

Hej!

Ja, mina flats funkar uppenbarligen inte - tack för tipset. Men det är ett stort eget kapitel...:)

Notera att båda de bilder jag postade här är debayerade. Skillnaden är att den första är debayerad efter kalibrering, före registrering, men den andra är det slutbilden, den integrerade, som är debayerad. Om jag inte debayerat så hade den varit grå, inga färger alls (med min Pure Raw-inställning - som bara ska påverka visningen, om jag försått det rätt...)

Om jag förstod dig rätt så debayerar du inte alls....eller?

Jag skapade en tråd i Pixinsights forum om detta också. Lite av ett mysterium, tycker jag.

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Flats och registrering i Pixinsight

Post by AstroFriend »

Hej Magnus!
Ursäkta jag bryter mig in här med en kommentar.

När du skriver integrera, menar du då stackningen av kalibrerade subbilder till en master light (slutbild)?

Att göra en debayer efter stackningen blir ju väldigt mysko. Vid stackningen brukar ju alltid ingå att man förskjuter bilderna (alignar) en aning för att de skall ligga exakt mitt för varandra. Men gör man det på en raw färgbild innan man tagit fram färginformationen, med en debayering till ex. blir ju det en mix av färger på varje pixel. Färgen bestäms ju av läget på en pixel. Om man förskjuter en bild kommer man ju på referensbilden (där alla subbilder adderas till), säg en grön pixel mixa in röda och blå färger. Färginnehållet blir ju då helt förvrängt, trodde faktiskt att programmet spärrade sådana justeringar, men intressant att det går att göra. Möjligen att PI håller reda på färgerna automatiskt utan att indikera att så sker, skulle i så fall vara lite lik en Drizzle funktion fast det stämmer ju inte med att du säger du själv gör debayering manuellt efteråt.

Om man inte gör några justeringar i sidled eller roterar eller liknande går det dock utmärkt att göra debayering efter stackning, men det är ovanligt man gör så. Enda gången jag gör så ibland är när jag har guidat med drift på kometer.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och registrering i Pixinsight

Post by magnuslar »

Hej!

Yes, integrering är i PI det samma som stackning. Och yes, visst är det mysko. Jag gjorde det bara för att testa, och det gick tydligen. Hur bra kan vi diskutera, men det var möjligt.

Jag har från PI-forumet förstått att om man har inställningen att raw-bilder ska hanteras som RGB (dvs "e-Bayer RGI") så debayeras filen när den öppnas, dvs om man kalibrerar med den inställningen så blir det:
debayering - kalibrering - registrering - integrering/stackning.

Tydligen funkar det..... även om man inte ska göra det... det är intressant. Jag är lite nyfiken på hur det kan funka ändå, just for fun.

Magnus
User avatar
Datarolf
Posts: 272
Joined: 2015-05-03 11:45:11
spamtest: JA
Location: Huddinge

Re: Flats och registrering i Pixinsight

Post by Datarolf »

Hej igen!

Helt korrekt Magnus - jag arbetar med RAW-bilder i PixInsight, ser och redigerar dem i full färg hela tiden, utan att någonsin ha hört talas om debayering förut och förstås utan att bekymra mig om det steget. PixInsight sköter färghanteringen automatiskt åt mig hela tiden och det har fungerat utan bekymmer för alla bilder hitintills. Jag följer processen så som den beskrivs i den videotutorial du länkade till förut utan några problem.

Jag ska försöka skicka med en bilaga så ser du hur en bild bearbetad på det sättet ser ut.

Vänliga hälsningar

Rolf J
Attachments
Lite stjärnor runt Californianebulosan, 35mm
Lite stjärnor runt Californianebulosan, 35mm
Californianebulosan_9_stackade_2-minimerad.jpg (682.84 KiB) Viewed 5238 times