Om flats och brus och kalibrering

Metoder för astrofotografering
Post Reply
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Om flats och brus och kalibrering

Post by magnuslar »

Hej!

Jag är igång med mitt långsamma projekt som handlar om att förstå mig på kalibrering, och mer specfikt, hur jag fixar flats som funkar som det är tänkt i kalibreringen. Kameran jag använder här är en Canon EOS 70D, inte moddad, men med ett ALS-filter,

Det här har jag gjort, allt i Pixinsight:

Bias: stackade och tillverkning av superbias
Darks: kalibrerade med superbias, stackade. Totalt 60 st.
Flats så: två serier med flats, mot den mörknande himlen, på 2 sek och 1 sek, som är behandlade på två sätt:
- stackade utan någon kalibrering
- kalibrerade med bias och darks, och sen stackade.

Så har jag mina lights - i det här fallet på M101, 900 sekunder (samma exponering som mina darks)

Jag har nu kalibrerat en light sub på två sätt:
Den första är kalibrerad med bias, darks och master flat som är stackade utan kalibrering. Så här blev den (stretchad och konverterad till jpeg och ner-skalad)
M101_Light_900_secs_002_cal_1s_no_cal.jpg
M101_Light_900_secs_002_cal_1s_no_cal.jpg (149.01 KiB) Viewed 5247 times
Den andra är kalibrerad med bias, darks, och master flag som i sin tur är kalibrerad med bias och darks. Så här blev den:
M101_Light_900_secs_002_cal_1s_cal.jpg
M101_Light_900_secs_002_cal_1s_cal.jpg (223.2 KiB) Viewed 5247 times
Så, hur kan det nu komma sig att det blir så mycket brus när jag följer den "riktiga" proceduren (flats som är kalibrerad med bias och dark), men inte när jag använder en master flat som inte är kalibrerad? Och var kommer bruset från?

Precis samma sak händer om jag använder den andra serien flats, som är mer exponerad (median-ADU på 13000-15000 (beroende på kalbrering)).

Jag har lagt in bilderna som fits (så man inte ska behöva PI för att se dem) i en dropbox-folder här:
https://www.dropbox.com/sh/fs744ujp8oed ... 2dUBa?dl=0

Tacksam för alla ideer och tankar här. Och säg om jag ska utveckla mer hur jag gjort.... är så många detaljer så svårt att få med allt.

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Om flats och brus och kalibrering

Post by AstroFriend »

Hej Magnus.
Bilderna ser lite rutiga ut som om du glömt göra en debayring på subbarna innan du stackar, alternativt en drizzling.

Din kamera är modern och lågbrusig. Kanske bättre att skippa darkkalibreringen och testa med dithering. Finns information på min hemsida under tutorial.

Man använder darks för att få bort statiska mönster men bruset ökar med dina kalibreringar.

Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Om flats och brus och kalibrering

Post by magnuslar »

Hej!

Yes, det är inte debayerat - det är bara kalibrering här. Det är inte stackat heller, det är en enda sub jag kalibrerat. Jag tror rutmönstret kommer från exporten till JPEG eller nåt, fits-filerna i dropbox-mappen är inte rutiga, vad jag kan se.

Och ja, nånting tillför brus här. Och såvitt jag kan se, kommer de från flats, när de är kalibrerade. Trots att de kalibrerade master flats INTE ser brusiga ut. Där är mitt mysterium.

Däremot verkar bias och darks fungera bra, såvitt jag kan se. Kolla på de bilder i dropboxmappen som heter "no_cal" - de är kalibrerae med bias och darks, och med o-kalibrerade master flats. Där är det väl inte nåt extra brus?

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Om flats och brus och kalibrering

Post by AstroFriend »

Hej Magnus!
Du kan inte titta på bilderna om de inte är debayerade, det är därför de blir så mysko med rutmönster, det visas som en svartvit bild med de tre färgerna blandade, man kallar de för cfa mode eller format ibland.

Gör en debayering på din bild så får du se hur den verkligen ser ut. Bilden är ju inte färdig än för export till jpg.

Jag har gjort debayering på dina två bilder samt flat bilden. Som du ser har du alldeles för svag röd signal på flaten. Försök att hitta ett ljus som innehåller mer rött när du tar dina flats. Detta under förutsättning att du inte låtit kameran ändra din överföring av raw bilderna med vitbalansinställningarna. Vet inte hur det fungerar i PI.
debyering.jpg
debyering.jpg (63.28 KiB) Viewed 5186 times
Bilderna är också som du säger väldigt brusiga och det borde de inte blivit eftersom du exponerat varje sub med 900 sekunder, vilket isotal använde du och vilket f-tal på ditt teleskop/lins?

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Om flats och brus och kalibrering

Post by AstroFriend »

Hej igen Magnus.
Jag tittade på din okalibrerade bild och gjorde en debayering på den och la till ett histogram:
no cal.jpg
no cal.jpg (44.96 KiB) Viewed 5182 times
Ser samma sak här som med flat bilden, ingen signal i den röda kanalen. Den röda kanalen behöver förstärkas ca 5 gånger för att komma i samma nivå som röd och blå vad gäller bakgrunden, men även galaxen kräver nära samma förstärkning.

Vad är det för ALS filter du nämner? Är det ett filter för att ta bort ljusföroreningar? Gör det väldigt effektivt i så fall eftersom du knappt har någon signal alls i röda kanalen. Prova utan. Kontrollera också din kameras vitbalans inställningar. De påverkar visserligen inte raw filen direkt men däremot informationen hur inläsningsprogrammet skall tolka innehållet. Dagsljus brukar vara en bra WB inställning.

Det är ingen ide på det här stadiet att kalibrera bilden med darks, bias och flats. Du måste först få din bild bra först och här är något problem. Bort med ALS filtret till att börja med och se över kamerans inställningar.

Update:
Kom att tänka på filens fits header, där finns informatiom om de olika stegen på din okalibrerade bild på galaxen.
fitsheader.jpg
fitsheader.jpg (214.39 KiB) Viewed 5182 times
Får där fram exponeringen till 900 sekunder, fokallängd 1290mm och iso 800. Så långt verkar allt vara bra. Men sedan följer en hel radda på vad du/PI gjort och den här bilden är långt ifrån raw formatet den borde ha. Har nog aldrig sett en sådan lång lista på åtgärder, gör PI det automatiskt tro? Massor av kalibreringar och andra manipulationer. De måste du få kontroll över.

Om du har plats på din dropbox, lägg upp 10 eller fler av dina CR2 filer på galaxen så man kan se direkt på filen innan PI varit inne och ändrat och ev göra en stackning.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Om flats och brus och kalibrering

Post by magnuslar »

Hej!

Bilden som du checkade var alltså kalibrerad - men med master flat som bara var stackad, inte kalibrerad. Grejen är att det är den "lilla" steget, kalibrering eller inte av flats (inte av lights), som tillför brus i kalibrering av mina lights.... hänger du med? :)
Det är alltså inte kalibrering i sig, utan att det gör jätteskillnad när jag kalibrerar mina lights med flats som i sin tur är kalibrerade eller inte, som det händer saker......

Jag har lagt in en helt obearbetad bild i min dropbox. Fits-format, för det är så Ekos sparar ner det bäst. Har alltså inga cr2-filer (har inte löst det ännu).

Filtret: ja, det tar bort ljusföroreningar. Jag är helt med på att jag måste lyfta det röda sen. Men jag tänker att det är i nästa steg, efter kalibreringen.

Magnus
User avatar
Frazze
Posts: 653
Joined: 2008-08-06 15:54:35
Location: Älvsjö
Contact:

Re: Om flats och brus och kalibrering

Post by Frazze »

Har du kalibrerat dina flats enligt följande?: http://pixinsight.com/tutorials/master- ... index.html

Använder man både bias och dark i kalibrering av flats måste man också subtrahera bort bias ur darks för annars subtraheras det två gånger.
Om du testar att kalibrera flatsen med enbart darks resp. enbart bias, hur blir resultatet då?

Edit: Läste lite för snabbt inledningsvis men ser nu att du kalibrerat dark med bias.
Du kan ju testa ändå mitt förslag och se om det blir någon skillnad.

/Daniel
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Om flats och brus och kalibrering

Post by AstroFriend »

Ja nu var det lite lättare att se vad filerna innehåller. Det stod no cal i slutet på förra filen så antog den inte var kalibrerad.
image not calibrated.jpg
image not calibrated.jpg (158.14 KiB) Viewed 5139 times
På min kamera brukar biasen ligga på 2000 ADU och drar jag bort den från ovanstående data ser man åter att det röda bidraget är väldigt lågt i nivå. Vad har du får medelnivå på dina 900 sekunders darks innan du drar bort bias?
compare flats with and not cal.jpg
compare flats with and not cal.jpg (168.72 KiB) Viewed 5139 times
När man jämför dina flats med och utan calibrering slås man av vilken skillnad det blir i relationen mellan den röda och blå/grön efter kalibrering. Ungefär som om du subtraherar en signal på ca 2000ADU, vilket verkar rimligt.

Jag läste igenom ditt första inlägg igen, du skriver att du både drar bort en bias och en dark på flatsen. För det första vad har du för exponering på den darken? Och har du innan flatkaliberingen dragit bort en bias från darksen, du har inte skrivit hur du gjort dina darks för flatsen? Om du inte gjort det drar du bort biasen två gånger och får därmed ett nivå fel på din flat. En darks som bara är en sekund ger inte mycket bidrag, signalen är väldigt lik biasen. Bäst är ju att bara dra bort darksen, den innehåller ju redan en bias, som du först drar ifrån och sedan lägger tillbaks igen. Men kan vara någon finess i PI som gör det olämpligt, huvudsaken är att man vet vad man gör.

Om du inte kalibrerar dina flats får du ett nivåfel och det borde yttra sig som att det maskerar bruset i kanterna. I kanterna där du har vinjettering så förstärker flatsen signalen och därmed bruset så inget konstigt med att de kalibrerade flatsen ser brusigare ut. Jag tycker fortfarande det ser ut som att du ligger väldigt fel i nivå på den röda. Du skrev att du mätt upp nivån, men var det så att det var medelvärdet för alla färgerna, rimligen är det så eftersom du inte debayerat bilden och därmed inte hade tillgång till de enskilda färgnivåerna. Gör om mätningen och mät nivån för respektive färg.

Lägg upp en darks, bias och flat som de är direkt från kameran så ser man direkt om det är fel där.

Viktigt som jag skrev i början, kalibreringen tar inte bort brus, tvärtom, det tillförs med kalibrering. Det är bara statiska fel som heta pixlar och kolumndefekter som försvinner.
fitsheader 2.jpg
fitsheader 2.jpg (152.22 KiB) Viewed 5139 times
Här är headern för den icke kalibrerade flatsen.

Update:
Ser nu i Frazzes länk att PI använder samma darks för både bild och flat men räknar om de. Så då borde det gå att göra så, men vad får man för kvalite då?

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Om flats och brus och kalibrering

Post by magnuslar »

Hej!

Ska titta lite mer noga på vad ni skrivit när jag har lite mer tid - nu har jag lagt in en dark, en bias, och en av dessa flats, helt obearbetade, i min dropboxmapp.

Yes, flats är kalibrerade med både darks och bias. Och dark med bias.

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Om flats och brus och kalibrering

Post by AstroFriend »

Hej Magnus!
Nu har jag tittat på dina sista bilder. Din bias har det blivit något fel med, bara halva storleken.

De andra ser ut så här:
dark and flat raw.jpg
dark and flat raw.jpg (354.67 KiB) Viewed 5074 times
Bilden till höger:
Dark medelnivån ligger på 2070 och det är där Canon brukar ligga med sin bias, alltså obetydligt extra nivå pga dark. Fusk egentligen tror jag då Canon dragit bort en konstant de mätt upp. Ditt konverteringsprogram verkar därmed för över information ganska opåverkad och inte stretchat ut den till 16 bit.

Bilden till vänster:
Här ser du den röda kanlen, ligger bara precis över 2000ADU, drar du bort dark nivån så har du den riktiga nivån, ca 150 ADU, den blå/gröna ligger på1400 ADU som jämförelse. Du har med andra ord ingen signal alls in på den röda när du tar dina flats. Man ser också att den röda kanalen ger mest brus, vilket syns tydligast när du gjort en riktig kalibrering av din flatfil.

Om du skall ligga på 50% nivå på dina flats skall du ha ca (2^14)/2= 8000 ADU på varje kanal. Du behöver alltså öka exponeringen med hänsyn tagen till bias/dark:
Röd 50 gånger
Grön 5 gånger
Blå 5 gånger

Då får du brusfriare flats.

Men var lugn, det är jättesvårt att ta bra flatsbilder, speciellt med en färgkamera där du tar alla färgerna i samma exponering, på en monokrom kan man ju ha olika exponering.

Det som förvånar mig är att din galax är så svag med din rekord exponering på 15 minuter per subbild. Det längsta jag brukar ta är 1 minut pga ljusföroreringnar men inte har jag så svårt att få fram något på liknande galaxer. Du har mycket små pixlar i din kamera och du har ALS filtret som tar ljus, vad hade du för ljusöppning (f-tal) på ditt teleskop? Kan du ta ett foto på öppningen på ditt teleskop? Och även en bild hur det ser ut där du ansluter kameran?

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Om flats och brus och kalibrering

Post by magnuslar »

Hej!

Kanon, tack!! Jag blir betydligt klokare på mycket - men min fråga om varför det blir sån skillnad på när jag använder kalibrerade jämfört med okalibrerade flats, när jag kalibrerar lights, hänger väl kvar?

Jag ska försöka svara på och kommentera det som hänger:

- filtret. Det heter förstås CLS, inte ALS (det är en sjukdom...). Astronomik CLS-filter. Ja, det tar bort massa rött. Jag ska väl ha på det också när jag tar mina flats......?

- det där med att det inte är nåt rött - har det också att göra med att jag tagit mot himlen, som var blå? Alltså, där är ju väldigt lite rött ljus....

- Okej, de här 1-seks-flatsen blev för mörka. Jag tog också 2-seks-flats, jag lägger in en sån i dropboxen. Master flat både med och utan kalibrering ligger där redan, för både 1 sek och 2 sek flatsen. 2-seks-flatsen är däremot för ljusa.... (det mörknade snabbare än jag var beredd på... så en serie för ljusa, en för mörka.... ;)

- grejen är, att det där fenomenet som jag undrade över från början, att det blir MER brus i bilden (alltså i min lights-sub) när jag kalibrerar med kalibrerade flats, än när jag kalibrerar med o-kalibrerade flats - det är exakt samma med båda dessa serier flats. Alltså både med för ljus master flat och för mörk master flat.... vad kan det handla om? varför blir det så? det här är mitt största mysterium.

- om att galaxen är så svag: well, är det inte för att sån är M101? Svag ytljusstyrka. Jag får mycket mycket mer ljus på t ex M81 eller M51, ju. Där kör jag med 300 sekunder. Sen var det nästan fullmåne när jag tog de här....fast en bit bort.

Hoppas det var allt nu.... det här är jättelärorikt för mig, men många trådar som jag lätt tappar bort.

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Om flats och brus och kalibrering

Post by AstroFriend »

Hej Magnus!

Innan du kan uttala dig om hur bruset är beskaffat måste du nog göra om din b/w till färg med debayer. Då kommer du antagligen se som jag att bruset till stor del ligger i det röda när du ställt in witbalansen. Beroende på hur PI gör kan det bli så att den röda kanalen förstärks beroende på hur din flats är gjord. Utan kalibrering är den ju felaktig och dessutom är nivån låg så det blir konstiga resultat. Man kan nog säga att din kalibrerade flats i röda kanalen inte fungerar när den hamnat så lågt i nivå.

Här kan du se hur man kan gå tillväga när man gör flats på en färgkamera. I mitt fall är den gröna dominerande och jag försöker dämpa den gröna och framhäva den röda och blå. Rosa filter har den egenskapen, min flickväns rosa T-shirt var väldigt bra!
tshirtcalibration.jpg
tshirtcalibration.jpg (96.82 KiB) Viewed 5006 times
I ditt fall ska du dämpa både den gröna och blå. En lagom röd T-shirt eller om du får tag i en röd plastfilm.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Om flats och brus och kalibrering

Post by AstroFriend »

Hej Magnus!
Kollade din bias.cr2 fil, helt normal med 2048 ADU i medelvärde.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;