Dithering och stackning

Metoder för astrofotografering
ragge
Posts: 1422
Joined: 2014-03-23 22:25:03
spamtest: JA
Location: Uddevalla

Dithering och stackning

Post by ragge »

Sommartider = tid för test och utveckling...
Jag har gjort ett par tester med dithering och stackning, med syftet att optimera både fotandet och bildbehandlandet. Vad är era erfarenheter och tankar kring detta ?

Dithering.
Genom att flytta teleskopet c:a 10-20 pixlar mellan exponeringarna är det meningen att små defekter som finns i kamerans sensor (samt smuts och dammfläckar) skall hamna på olika ställen i samband med att bilderna "alignas" (registreras) innan stackning. Stackningen eliminerar sedan dessa "skräp-pixlar".
Testen gjorde jag genom att ta 4 st raw-bilder på 30 sek och iso 6400 med linslocket på (och sökaren täckt) på min Nikon D7000. Med alla reglage nollade i Adobe Camera Raw lade jag sedan bilderna i var sitt lager i Photoshop och simulerade dithering genom att förskjuta resp lager c:a 10 pixlar i olika riktningar. Efter att ha stackat bilderna kan jag konstatera att det blev noll skillnad jämfört med en stackning utan "dithering". Slutsats: förutom att bli av med sensorfläckar (damm) har jag inget att vinna på dithering med denna kameran. Kanske är resultatet i någon mån temperaturberoende, men troligen inte så jättemycket.
Före stackning
before-stacking.jpg
before-stacking.jpg (326.79 KiB) Viewed 4626 times
Stackning med resp utan dithering
dither.jpg
dither.jpg (158.44 KiB) Viewed 4626 times
Stackning.
Jag laddade hem trialversionen av Registar (inte Registax) och stackade 6 st bilder (med varianten "median/mean") av bubbelnebulosan som jag tog i vintras, och jämförde sedan resultatet med en motsvarande stackning i Photoshop CS5 (se procedur nedan). Med de båda slutbilderna intill varandra och inzoomat till 400 % gick det inte att se minsta lilla skillnad i brus, detaljer, färger, kontrast eller någonting över huvud taget. De var helt identiska. Nu kunde jag inte spara Registar-bilden (pga trialversionen) så jag kunde inte jämföra efter strechning, men jag har svårt att tro att det skulle göra någon märkbar skillnad mellan de båda varianterna.

Proceduren i PS (som jag gör den) ser ut så här:
Med alla bilderna i var sitt lager testar jag först att aligna ("registrera") med auto align, men det misslyckas ibland (där är Registar överlägset) och då är det manuell align som gäller.
Sedan markera alla lager och
- Layer>Smart Objects>Convert to smart object
- Layer>Smart Objects>Stack Mode>Median
- Flatten image
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Dithering och stackning

Post by AstroFriend »

Hej Ragge,
Troligen har något gått fel för i mitt fall är dithering väldigt effektivt och det bör det vara också. Tar bort heta pixlar och column defekter. Damm är för stort och blir nog inte så stor skillnad med den lilla förflyttningen. Stora förflyttningar ställer dock till andra problem.

http://astrofriend.eu/astronomy/tutoria ... ering.html

Eftersom du har en färgkamera gör man ju först en debayering och det smetar ut de heta pixlarna och dithering blir lite mer ineffektiv. Jag fick öka från 5-10 till 10-20 pixlar för att hantera det. Stackar gör man med Sigma Clipping eller liknande, annars blir det bara medelbildning av felet.

Framöver kommer jag göra en demosaic av cfa filerna innan jag kalibrerar och stackar med de rutiner jag skrivit i makrot till AstroImageJ, blir betydligt bättre, men saknas fortfarande detaljlösningar för att jag skall vara helt nöjd.

http://astrofriend.eu/astronomy/tutoria ... ction.html

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
ragge
Posts: 1422
Joined: 2014-03-23 22:25:03
spamtest: JA
Location: Uddevalla

Re: Dithering och stackning

Post by ragge »

Jag vet inte vad som skulle ha kunnat gå fel. Jag gjorde nu om testen igen, med 20 pixlars förskjutning i olika riktningar. Resultatet blev detsamma - ingen skillnad med resp utan dithering. Jag kan bara tolka resultatet som att det endast finns slumpmässigt brus i bilderna. Kanske blir det annorlunda om jag låter lite ljus påverka sensorn. Skall testa det.

Registar erbjuder inte Sigma Clipping (inte PS CS5 heller), endast average, max, min, median, median/mean, sum, difference, absolute difference och overlay. Men det är ju lite off topic vilken metod som är bäst - frågan är om testen är relevant för att utvärdera dithering för den aktuella kameran.
User avatar
Frazze
Posts: 653
Joined: 2008-08-06 15:54:35
Location: Älvsjö
Contact:

Re: Dithering och stackning

Post by Frazze »

Jag tolkar det också så om att dina bilder bara innehåller slumpmässigt brus och där gör ju dithering ingen skillnad.

För att testa måste du introducera något statiskt mönster i alla bilder (som heta pixlar eller någon utläsningsstörning).

Mvh
Daniel
ragge
Posts: 1422
Joined: 2014-03-23 22:25:03
spamtest: JA
Location: Uddevalla

Re: Dithering och stackning

Post by ragge »

Så, nu har jag testat under mer realistiska förhållanden. 4 bilder med 5 minuters exp tid och iso 800, i ett nästan mörkt rum (och utan linsskydd).
Då ser man lite skillnad (det är samma område i resp bild, kraftigt förstorad, i de bägge exemplen) :
dither-test-new.jpg
dither-test-new.jpg (312.47 KiB) Viewed 4589 times
Det är antagligen Nikon's vedervärdiga "star eater" och "dark current" behandling av raw-filerna som påverkat den första testen där signalen var i stort sett noll. Vad bra, då vet jag hur dithering påverkar mina bilder. Jag skall nu bara kolla hur många pixlar som är optimalt så kan jag använda det i praktiken senare. Tack för input Lars och Frazze !

Ang Registar, som många höjer till skyarna, är det inte lite märkligt att stackningen inte överträffar den som finns inbyggd i PS ? Registar kostar ändå 179 USD.
ragge
Posts: 1422
Joined: 2014-03-23 22:25:03
spamtest: JA
Location: Uddevalla

Re: Dithering och stackning

Post by ragge »

En sista test med 3, 5 resp 10 pixlars dithering visade att 3 pixlar var fullt tillräckligt.
dither-test-last.jpg
dither-test-last.jpg (332.62 KiB) Viewed 4578 times
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Dithering och stackning

Post by AstroFriend »

Leta rätt på ett område med en het pixel och se hur den beter sig där. Finns inga sådana eller column defekter eller liknande skall du inte göra en darkkalibration då det bara tillför slumpmässigt brus, dithering har ju inte heller något att ta bort i det fallet. Men den sensorn är väl inte uppfunnen än!

Median fungerar bra ungefär som sigma clipping.

Update:
Rättade till min text nu, är nästan helt omöjligt att skriva på telefon när bannern Tapatalk lägger sig över bilden så man endast ser en enda rad åt gången. Dessutom verkar den ta massor av kraft från processorn så att det blir jättesegt. Men annars är allt topp med nya Astronet.

Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
ragge
Posts: 1422
Joined: 2014-03-23 22:25:03
spamtest: JA
Location: Uddevalla

Re: Dithering och stackning

Post by ragge »

AstroFriend wrote:BLeta rätt på ett område med en het pixel och se hur den beter sig där. Finnsinga sådana eller columndefekter eller liknande skall du integöra endarkkalibration då det bara tillför slumpmässigt brus. Dithering har ju inte heller något att ta bort.

Median fungerar bra ungefär som sigma clipping.

Lars
Det syns kanske lite dåligt i den sista bilden (den med siffrorna 0, 3, 5, 10) men i delbild "0" (ingen dithering) finns lite heta pixlar och brus som inte syns där jag gjort dithering med 3, 5 resp 10 pixlar. Så visst finns det lite att vinna på dithering, men det tycks som att det räcker med 3 pixlar i detta fallet.
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Dithering och stackning

Post by AstroFriend »

Hej Ragge,
Nu sitter jag vid stora skärmen. Ja nu syns det tydligt hur illa bilden till höger ser ut med alla heta pixlar. Jag tycker ditheringen du simulerat har fungerat helt perfekt, men i verkligheten är du nog tvungen att förflytta mer. Ofta sker ju ditheringen kontrollerat men slumpmässigt och det man ställer in är ibland maxförflyttningen.

Dithering är en fantastisk liten sak som helt förändrar hanteringen av bilderna om man har en lite nyare kamera.

Undrar dock lite vad det är för bilder du simulerat på. Är det raw cfa eller 16 bit color bilder eller är det färg jpg bilder? Ser mest ut som det senare.

I ditt första inlägg måste du zomma in mycket kraftigare i bilden för att se skillnanden, annars har ju nedskalningen interpolerat ihop pixlarna och då ser du inte de heta och därmed ingen effekt av dithering.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
User avatar
stoffe
Posts: 1780
Joined: 2011-12-04 00:36:14
spamtest: JA
Location: Uppsala (UAA)

Re: Dithering och stackning

Post by stoffe »

ragge wrote: Det är antagligen Nikon's vedervärdiga "star eater" och "dark current" behandling av raw-filerna som påverkat den första testen där signalen var i stort sett noll.
Sånt där finns på alla digitalkameror för vanliga konsumenter oavsett märke. Dock får jag lov att påpeka att "Nikon star eater" är något som du inte har på din kamera. Det är stor skillnad på en gammal D70 eller D80 om du jämför råbilderna det är kameror som verkligen har "star eater". Din kamera äter inte stjärnor, men ger heller inte någon äkta rå fil. Det finns ett bra hack för det på https://nikonhacker.com/ som jag tycker du ska ta en titt på. Det finns både som modifierad firmware och något som går att flasha i ramminnet som tas bort vid avstängning av kameran. Det sistnämnda är ju dessutom riskfritt.

Sedan kan du göra ett dithering test igen. Det blir mer viktigt att mörkströmskalibrera med hacket aktiverat.
Kameror: Nikon D600, ZWO ASI290MM, QHY9
Newtonteleskop: ZW305 12" f/5, Cave Astrola Deluxe B 1965 8" f/8, TS Optics 8" f/4
Refraktorer: Nikon 300 mm f/2.8 + ytterligare några Nikongluggar
Bygger EQMOD-kablar på beställning.
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Dithering och stackning

Post by AstroFriend »

Ja det är verkligen trist trend att de skall "snygga" till raw filerna. De kunde väl åtminstone ha en mode med "äkta" raw.

Min gamla Canon 5D var mycket bättre, där syntes alla defekter vilket man inte ser på den nya Canon 6D. I astrosammanhang där man vill ha maximal kontroll är det inte bra. Funderar lite på att gå tillbaks till den äldre Canon 5D om jag bara kunde få kommunikatioen över USB att fungera bättre. En trist sak dock med den gamla kameran, den stänger inte av spänningen till förstärkaren under exponeringen så ampglowen är ganska kraftig och sedan har den bara 12-bit.

Nu har dock mina nya macro rutiner i AstroImageJ med dithering och fusk darkcalibration visat sig fungera ypperligt och då går det bra med Canon 6D kameran.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
ragge
Posts: 1422
Joined: 2014-03-23 22:25:03
spamtest: JA
Location: Uddevalla

Re: Dithering och stackning

Post by ragge »

@Lars
Ang raw cfa eller 16 bit color... jag kan inte det ämnet så bra, men det är Nikons nef-filer (raw) som passerat rawhanteraren (ACR) och sedan manipulerats i PS CS5. Endast de bilderna som visas i tråden har konverterats till jpeg innan uppladdning.

I mitt fall så kan jag med facit på hand konstatera att jag gjorde ett felköp när jag skaffade min autoguider (Nexguider) eftersom jag blir tvungen att göra dithering manuellt (stoppa guidningen och flytta guidestjärnan lite mellan varje bild). Jag kör så portabelt som möjligt och släpar inte på pc (med batterikraft till den) så ingen phd eller liknande här. Däremot skulle jag vilja haft Lacerta Mgen som sköter både guidning, kameratrigger och dithering.

Jag har nu även testat effekten av att göra dithering på en, ett fåtal eller samtliga exponeringar och det visade sig att mer än hälften (helst samtliga) är att föredra.

@stoffe
Skönt att höra att Nikon star eater inte längre är ett problem, med någorlunda moderna kameror.
Hacket du nämner har jag testat (jag fegade och lade det bara på minneskortet som en ofarlig temporär fix). Men testen stupar på att bilderna blir starkt rosa/magenta och jag har inte lyckats återställa färgbalansen varken i ACR eller PS. Se här hur det ser ut https://landingfield.wordpress.com/2014 ... otography/
Svartpunkten är tydligen orsaken även om det låter konstigt för mig. Och ingenstans har jag hittat info om hur man skall hantera problemet.
User avatar
AstroFriend
Posts: 4099
Joined: 2012-12-17 13:30:45
spamtest: JA
Location: Stockholm
Contact:

Re: Dithering och stackning

Post by AstroFriend »

Hej Ragge,
Samtliga bilder bör absolut vara bra att göra dithering på, annars missar man ju hela iden med dithering. Undtag kan vara att autoguidningen får problem med självsvängningar och blir långsamt. En del blir ju i varje fall bara mycket små förflyttningar på eftersom det normalt är slumpmässigt, men inte ett krav.

Den rosa/orange färg du visade att du får är vanligt man får, kommer av kombination av kamerans spektralkänslighet och ljusföroreningar. Det rättar man till efter att man dark och flatkalibrerat. Mycket enkelt men jag tror du använder photoshop, eller? Går säkert enkelt där också precis som i de rena astroprogrammen, bara man vet hur man gör. Du har inte funderat på att använda DSS och Fitswork till förbehandligen? Har man använt dithering brukar det fungera bäst att använda DSS först till align och kalibrering och göra efterföljande behandling i Fitswork. Alternativt AstroImageJ som jag börjat sätta mig in i, ger en helt annan kontroll men lång startsträcka innan man får ut något vettigt.

Extra färgdrag kan man få beroende på hur färgbalansen är inställd, det påverkar inte raw datat men väl hur den visas på skärmen. Jag brukar alltid låta den stå i dagsljusläge, men går ju egentligen lika bra med vad som helst bara man vet vad man gör. Det är mindre vanligt tror jag att astroprogrammen påverkas av vitbalans inställningen i kameran, i varje fall brukar man kunna bestämma det.

/Lars
Camera: Canon EOS 6D / QHY5
Mount: EQ6 / HEQ5
Telescope: TS130 APO / Pentax 645 300 mm ED IF
Samt en massa tålamod!

Homepage: http://www.astrofriend.eu" onclick="window.open(this.href);return false;
ragge
Posts: 1422
Joined: 2014-03-23 22:25:03
spamtest: JA
Location: Uddevalla

Re: Dithering och stackning

Post by ragge »

AstroFriend wrote:...Den rosa/orange färg du visade att du får är vanligt man får, kommer av kombination av kamerans spektralkänslighet och ljusföroreningar. Det rättar man till efter att man dark och flatkalibrerat. Mycket enkelt men jag tror du använder photoshop, eller? Går säkert enkelt där också precis som i de rena astroprogrammen, bara man vet hur man gör. Du har inte funderat på att använda DSS och Fitswork till förbehandligen? Har man använt dithering brukar det fungera bäst att använda DSS först till align och kalibrering och göra efterföljande behandling i Fitswork. Alternativt AstroImageJ som jag börjat sätta mig in i, ger en helt annan kontroll men lång startsträcka innan man får ut något vettigt.

Extra färgdrag kan man få beroende på hur färgbalansen är inställd, det påverkar inte raw datat men väl hur den visas på skärmen. Jag brukar alltid låta den stå i dagsljusläge, men går ju egentligen lika bra med vad som helst bara man vet vad man gör. Det är mindre vanligt tror jag att astroprogrammen påverkas av vitbalans inställningen i kameran, i varje fall brukar man kunna bestämma det.
/Lars
Jag uttryckte mig kanske lite otydligt. Jag har normalt inga problem med färgbalans (kör alltid på dagsljusläge), och ACR + PS hanterar alla tänkbara situationer. Förutom när jag har aktiverat Nikon fw hacket som beskrivs i länken ovan. Jag har nu laddat upp en raw-bild som är tagen med hacket aktiverat här ifall någon vill testa att trolla med den : https://www.dropbox.com/s/xg0qawujxa9a0 ... 2.zip?dl=0
En referensbild (utan hacket) finns här : https://www.dropbox.com/s/epzhst9k3oclq ... 2.zip?dl=0
Problemet är efter vad jag läst mig till att "The DSP engine is still treating 0 as black point thus it’s pink on the screen."
Kanske krävs något annat program än PS för att fixa detta ?
User avatar
stoffe
Posts: 1780
Joined: 2011-12-04 00:36:14
spamtest: JA
Location: Uppsala (UAA)

Re: Dithering och stackning

Post by stoffe »

ragge wrote:@Lars
Ang raw cfa eller 16 bit color... jag kan inte det ämnet så bra, men det är Nikons nef-filer (raw) som passerat rawhanteraren (ACR) och sedan manipulerats i PS CS5. Endast de bilderna som visas i tråden har konverterats till jpeg innan uppladdning.

I mitt fall så kan jag med facit på hand konstatera att jag gjorde ett felköp när jag skaffade min autoguider (Nexguider) eftersom jag blir tvungen att göra dithering manuellt (stoppa guidningen och flytta guidestjärnan lite mellan varje bild). Jag kör så portabelt som möjligt och släpar inte på pc (med batterikraft till den) så ingen phd eller liknande här. Däremot skulle jag vilja haft Lacerta Mgen som sköter både guidning, kameratrigger och dithering.

Jag har nu även testat effekten av att göra dithering på en, ett fåtal eller samtliga exponeringar och det visade sig att mer än hälften (helst samtliga) är att föredra.

@stoffe
Skönt att höra att Nikon star eater inte längre är ett problem, med någorlunda moderna kameror.
Hacket du nämner har jag testat (jag fegade och lade det bara på minneskortet som en ofarlig temporär fix). Men testen stupar på att bilderna blir starkt rosa/magenta och jag har inte lyckats återställa färgbalansen varken i ACR eller PS. Se här hur det ser ut https://landingfield.wordpress.com/2014 ... otography/
Svartpunkten är tydligen orsaken även om det låter konstigt för mig. Och ingenstans har jag hittat info om hur man skall hantera problemet.
Du ska väl kunna välja 14-bits NEF Uncompressed på din kamera?

Ang ditt fel så är det något jag tycker du ska fråga om det på Nikonhacker forumet, det vore dessutom väldigt bra om du gjorde det. Jag har själv testat raw current hack på min D600 och det fungerade bra förutom att PTP kommunikationen blev något annorlunda vilket gjorde att Maxim DL hängde sig och då la jag ner mina försök. Det var den absolut första prebeta versionen som kom ut som sedan drogs tillbaka innan den släpptes som fungerande version nu vilket jag ej testat. Jag hade inte rosa/magenta färgade bilder som du visar.

Lite märkligt att Nikon star eater har hängt kvar så länge när det var 2006 som den sista star eater kameran släpptes, nämligen D80. (D60 har oxå star eater men är en så ovanlig modell). D90 har inte star eater, deffinitivt inte D7000 som var före sin tid på mycket när den släpptes. Den är fortfarande väldigt bra i förhållande till de nyaste DX kamerorna. Konkurrerande märken har inte haft något bättre än den på länge heller. Samma sensor finns i någon populär modell från Pentax och jag tror även Samsung haft den i någon kameramodell som jag inte vet vad den heter. Så D7000 är verkligen en bra kamera. Högt rankad på dxomark oxå. Var nöjd med den. I stort sett alla Nikon kameror med CMOS sensor istället för CCD är botat från star eater syndromet. Jag känner inte till någon CMOS Nikon med star eater heller. Detta med äkta råfiler är inget som löses om du byter till t ex Canon, Pentax eller Sony. Då får du köpa dig en kyld CCD om du ska få någorlunda äkta råfiler.
Kameror: Nikon D600, ZWO ASI290MM, QHY9
Newtonteleskop: ZW305 12" f/5, Cave Astrola Deluxe B 1965 8" f/8, TS Optics 8" f/4
Refraktorer: Nikon 300 mm f/2.8 + ytterligare några Nikongluggar
Bygger EQMOD-kablar på beställning.