Flats och Pixinsight

Metoder för astrofotografering
Post Reply
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Flats och Pixinsight

Post by magnuslar »

Hej!

Jag håller på att strula och kämpa med att skapa flats. Och blir nästan bara mer förvirrad. Det jag håller på med nu är att skapa flats med en Canon EOS 350D, som är astromoddad. Det är alltså 14-bitars chip. Jag satsar på flats med ADU mellan 25% och 45 % ungefär. Och så försöker jag mäta detta, men får inte några vettiga värden alls. När jag använer PI och tittar på statistik så får jag konsekvent ett maxvärde på lite mer än 1000, men det ska ju upp på 7000 nånting för att vara rätt....eller?

Här är en jpg av en flatfield som är tagen i 10 sec (9 enligt PI) med ISO 800, rakt upp i himeln ca kl 18 idag. Alltså ljust. Bilden borde vara helt mättad, tänker jag.
flat_10sec.jpg
flat_10sec.jpg (30.97 KiB) Viewed 5854 times
Här är så statistik-grejen i PI. BIlden är inte debayerad eller processad alls. Det är en cr2-fil nerladdad från kameran bara.
statistic3.jpg
statistic3.jpg (21.29 KiB) Viewed 5854 times
Ja, är det nån som kan hjälpa mig tolka och förstå detta så vore jag tacksam. Jag tittar på mean-värdet här, och skulle alltså vilja ha upp det till 7000 nånting. Men inte ens här, med 10 sec upp i en ljus himmel, är jag i närheten.....vad gör jag för fel?

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Flats och Pixinsight

Post by AstroFriend »

Canon 350D har 12-bit, ca 4000 och halva ca 2000 i centrum kan kanske vara en bra utgångspunkt. Alla gains måste vara ställda på =1 för att det skall visa rätt!

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och Pixinsight

Post by magnuslar »

Hej!

Jaha. Jag trodde det var 14... Det är så bra att det finns folk här som kan :) Tack!

Men i vilket fall: Borde inte max då, när jag fotar på 10 sec rakt upp i himlen, vara nära 4000? Och om jag tar 30 sek är det faktiskt samma värde....strax över 1000. Det känns som att nåt är fel där, eller?

Magnus
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och Pixinsight

Post by magnuslar »

Hej!

Här är en till: Nu har jag tagit med min Cann EOS 70D, upp i aftonhimlen, 60 sek på 800 iso. När jag tar in bilden i PI så ser statistiken ut så här:
statistic4.jpg
statistic4.jpg (16.78 KiB) Viewed 5838 times
Borde det inte vara mycket högre värden? Bilden är helt jämt grå i PI (inte vit). Men helt vit när jag tittar på den med nåt annat program.

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Flats och Pixinsight

Post by AstroFriend »

Ja det är nog något som är felinställt i pi. 12 bit blir ju 4096 vid max men möjligen kameran begränsar det till något lägre för att ha dynamik kvar till alla färgkanalerna.

Antar att pi använder dcraw som de flesta andra gör. Dcraw kan ställas in att ta bilden i linjär och raw utan skalning och utan att kamerans vitbalans påverkar.

Värdena som visas är antingen gröna kanalen eller ett rgb medelvärde. Men med den exponering du gjort borde alla kanalerna gått i taket. En sak du kan göra är att bara mäta typ en ruta 100x100 i mitten för att slippa kanteffekter. Men du behöver ju också ha nivån för varje enskild färg om det skall vara meningsfullt. Finns en tutorial på min hemsida som visar problemet att göra flats till en färgkamera.

Om du kan ladda upp en flatsfil i raw på dropbox så kan jag undersöka hur filen ser ut med fitswork.

Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och Pixinsight

Post by magnuslar »

Hej!

Ja, nåt är spooky med PI här - som tur är verkar det vara fler som upplever ungefär samma sak - vi får se om det kommer nån klarhet i det. Jag har nu kommit på att jag med Ekos kan kolla niverna med med en statistik-funktion, så jag tror jag lyckats ta vettiga flats nu (har hållit på hela natten och snart hela dagen nästan... :)) - när jag fattat det där med 12 bitar för 350D-kameran så är niverna i Ekos begripliga. Men det här med PI.... well.

Här är en dropbox-mapp med lite diverse filer. De flesta är helt mättade - jag försökt hitta max ADU. Men trots att de är helt mättade visas alltså inte de nivåerna i PI, utan det blir det jag postat här.

https://www.dropbox.com/sh/fs744ujp8oed ... 2dUBa?dl=0

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Flats och Pixinsight

Post by AstroFriend »

Jag tittade på dina cr2 filer.

Mycket riktigt är de helt upptryckta i taket. Att de blir svarta är nog för att du sätter svart och vit nivån fel på hur de skall visas på skärmen, automatiken lär helt falla ut med sådana data in.
flat analyze.jpg
flat analyze.jpg (120.3 KiB) Viewed 5795 times
Linjen som går diagonalt på bilden mäter signalen längs denna linje. Brukar normalt bli en puckel där toppen är i centrum och att signalen fallar 30% till 50% mot hörnen, den sk vinjetteringen. Här har den blivit en rak linje eftersom signalen gått i mättnad.

Signalen ligger på 3845 ADU när bias dragits bort, i detta fall en konstant på 250 ADU. Det blir 4095, precis där 12 bit har sin gräns.

Du kan när du tar bilder nästa gång titta i displayen på din kamera och histogrammet. Skalningen är logaritmisk så 50% gör att puckeln hamnar ganska mycket åt höger. Testa med 3/4 till höger och lägg upp den bilden på dropbox igen så skall jag kika på den och göra en analys.

Fitswork som jag använt här är väldigt bra på det sättet att man vet relativt bra vad det gör, annars blir analysen värdelös.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och Pixinsight

Post by magnuslar »

Hej!

Tack, det stämmer precis med hur jag tänker mig det! Och som jag nu lyckas se med statistik-funktionen och histogrammet i förhandsvisningen i Ekos.

Jag har en liten misstanke om att det blir nåt mystiskt i PI för att filerna konverteras till fits. När jag öppnar dem i PI så står det nåt där om "16-bitars FITS" vilket gör mig misstänksam. Fast å andra sidan blir det lika konstiga siffror när jag läser in cr2-filer där....

Det återtår att se om vi blir klokare på det här med PI, jag har lagt upp en tråd där också. Men nu är det likte klarare om nivåerna på mina flats i alla fall och hur jag ska få dem vettiga.

Magnus
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Flats och Pixinsight

Post by AstroFriend »

Hej Magnus,
Vad bra det går mot lösning.

PI vet jag inte så mycket om men kan ju gissa vad som händer när du laddar in CR2 filer.

De flesta program som tar in CR2 filer eller andra raw filer brukar lägga upp de som Fits 16 bit unsigned. De innehåller bara heltal precis som raw filen, jämfört med en Fits 32 bit float så tar den bara halva utrymmet på hårddisken och är dessutom mycket snabbare att arbeta med.

Nästa sak som kan hända är att den skalar upp din 12 bit till 16 bit. En enkel operation då det bara är en multiplicering av värdet för varje pixel. 12 bit har nivån 4000 och 16 bit unsigned har nivån 64000 lite avrundat, sign har nivån +/- 32000 ovanligt format dock idag inom astronomi, IRIS hade det. Multiplicerar du din fils värden med 16 så fyller den hela dynamikutrymmet i din 16 bits fil. Fyller väl ingen mening idag då alla bättre redigerings program går över i 32 float point vid beräkningar och även sparar filerna som det om man vill. Förr i tiden när datorena inte klarade av floating point på stora filer höll man sig till 16 bit och då kunde det ha stor betydelse beroende på hur beräkningarna utfördes, man vill undvika avrundningsfel eller overflow vilket gör att man tappar data.

Det ovan skulle förklara varför dina raw värden inte stämmer. Men det kan vara även så att PI läser av kamerans vitbalans och lägger på ett gain på den röda och blå kanalen för att kompensera sensorns olika känslighet för olika våglängder. Det kan ju vara bra men man gör det oftast och kanske bäst i efterhand så man har större kontroll över vad som sker.

Hur PI hanterar dina raw filer och dess värden bör som jag skrev tidigare gå att kontrollera. Men PI har tydligen ett ganska visset interface vad jag hört så kanske svårt att hitta.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
Cristofer
Posts: 295
Joined: 2009-05-20 23:22:17
spamtest: JA
Contact:

Re: Flats och Pixinsight

Post by Cristofer »

Jag har också haft en massa problem med Pixinsight och bildfiler, fast i mitt fall var det fit-filer producerade av min Starlight Xpress.

Men testa att öppna format explorer. Det finns en massa flikar till vänster där den ska finnas. Välj DSLR Raw i listan och så rätt filtyp (cr2). Längst ned finns en ruta "Edit preferences", tryck på den och så kommer det upp ett fönster där man kan ställa in olika värden för hur Pixinsight läser filen. Bl a kan man välja mellan pure raw och debayer rgb. Jag testade att välja pure raw, och då blev bilden mörk. Jag vet inte om det är en lösning, men värt att kolla upp.
User avatar
wimvb
Posts: 102
Joined: 2016-07-10 00:02:43
spamtest: JA
Location: Vallentuna

Re: Flats och Pixinsight

Post by wimvb »

Hej,

är lite sent "till bords", men har bara precis registrerat mig till detta forum.
Jag läste denna diskussion och kan förklara lite (även om ni kanske redan har listat ut det mesta vid det här laget):
Även om kameran har 12 bitars AD-omvandling, gör PI om den till 16 bitars bild. Bilden kommer då att ligga i den nedre delen av dessa 16 bitar. Det vill säga att värdet 1 i 12 bitar också blir värdet 1 i 16 bitar och värdet 4095 (max i 12 bitar) blir 4095 i 16 bitar. Då finns det fortfarande mer än 60 000 värden kvar i 16 bitars filen. Det betyder att det ljusvärde som är helt vitt i 12 bitars filen blir mörkaste grått i 16 bitars filen.
Om man i PI statistikverktyget anger 12 bitar för en 16 bitars fil, blir det också fel värden, även om det högsta värdet är 4095.
Exempel: 12 bitars fil har högsta värde 4095. PI gör om det till 4095 i en 16 bitars fil. Det är 1/16 av maxvärdet i 16 bitars filen.
PI statistik "ser" att värdet är 1/16 av maxvärdet och anger nu värdet 255 (1/16 av 4095) i stället för 4095.
Har man alltså en fil som är16 bitar, då ska man i PI statistik verktyget ange 16 bit, oavsett varifrån datan kommer.
För att undvika detta krångel är det nästan bättre att ange dataintervallet 0 till 1 i PI. Då blir det lättare att hantera.

Hoppas det blev lite mer klarhet.

Wim
Wim

Skywatcher 150PDS, BK MN190 DS, ST80, AZ-EQ6 GT + EQ3 PRO, ZWO ASI294MM-PRO, ZWO ASI174MM-Cool, ZWO ASI290MM, ZWO ASI120MM, Rock64, indi/kstars, PixInsight
magnuslar
Posts: 699
Joined: 2014-12-22 10:41:51
spamtest: JA

Re: Flats och Pixinsight

Post by magnuslar »

Hej!

Japp, lite sent - men här pratar vi ju lååånga tidsförlopp, eller hur? :)

Tack, väl formulerat och bra att det kommer med i den här tråden tänker jag. Jag har själv förstått det precis som du säger, via en tråd i PI-forumet, men det är utmärkt att det blir klart och tydligt också här. Flats är långt ifrån enkelt, må man säga... :)

Magnus
User avatar
wimvb
Posts: 102
Joined: 2016-07-10 00:02:43
spamtest: JA
Location: Vallentuna

Re: Flats och Pixinsight

Post by wimvb »

Håller med, flats kan vara svåra.
Upptäckte själv nyligen att mina flats överkorrigerade en bild. Förmodligen var de för ljusa.
Jag tänkte först att i PI helt enkelt dela varje pixelvärde med 2 (enkelt tack vare Pixelmath). Kom dock ganska snabbt underfund med att detta inte funkar, eftersom
Korrigerat = Bild / Flat
Som tur är finns dock DBE som löser det mesta.
Wim

Skywatcher 150PDS, BK MN190 DS, ST80, AZ-EQ6 GT + EQ3 PRO, ZWO ASI294MM-PRO, ZWO ASI174MM-Cool, ZWO ASI290MM, ZWO ASI120MM, Rock64, indi/kstars, PixInsight