Vor allem seit Sony seine A9 Ende April 2017 vorstellte, sprechen viele Fotografen über den neuen Kamera-Sensor - mit stacked CMOS -, ohne jedoch genau zu verstehen, wie er funktioniert, wo die Vorteile liegen und welches das Zukunftspotential die Technologie bietet.
Hier werden auf einfache und verständliche Weise die Technik und Vorteile des stacked CMOS erklärt, die weitreichenden positiven Folgen für die Fotografie beschrieben sowie die Konkurrenz beleuchtet.
Dieser Artikel wendet sich an Fotografen/innen aller Stufen: Einsteiger, Anfänger, Hobbyfotografen, ambitionierte Fotografen und Profis, die Informationen zum Stacked CMOS suchen.
Ein Inhaltsverzeichnis mit direkten Sprungmarken und Überblick über alle bei Stacked CMOS behandelten Themenbereiche finden Sie als Pop-Up.
Geschichte
Sonys Halbleiterbereich (Sony Semiconductor Corporation) wurde schon im April 2001 als eigenständige Tochtergesellschaft gegründet. Diese produzierte bereits im Jahre 2012 in 6 Standorten mit jeweils mehreren einzelnen Fabriken und besaß die beachtliche Anzahl von 7.300 Mitarbeitern. Sie erforschen, entwickeln und produzieren verschiedenste Halbleiter.
2009 kamen die ersten Sony Exmor R mit Back illuminated CMOS heraus
Bereits 2012 begann Sony damit, 1 Milliarde Dollar (80 Milliarden Yen) alleine in die Produktionsanlagen von Stacked CMOS-Sensoren zu investieren. Damit sollte im Halbleiterzentrum - dem seit 1987 bestehenden Nagasaki Technology Center (Nagasaki TEC) - der Ausstoß der (Silizium-) Wafer bis September 2013 auf 60.000 im Monat erhöht werden.
Unter Wafer versteht man die meist 20-30 cm im Durchmesser betragenden, kreisrunden Scheiben, auf denen dutzende kleiner Sensoren hergestellt werden.
2014 stellte Sony einen 21 Mega-Pixel-stacked CMOS-Sensor für Smartphones vor.
Im Herbst 2015 folgten die Pocket-Kamera Sony RX 100 Mark IV mit einem 1-Zoll 20,1 MP-stacked CMOS-Sensor sowie die Bridge-Kamera RX10 Mark II mit demselben Stacked CMOS.
Im Frühsommer 2017 folgte die Vollformat-Kamera Sony A9 mit einem 24,2 MP-stacked CMOS-Sensor.
Technik
Grundlegend wichtig für das weitere technische Verständnis der Sensoren und vor allem der neuen Sensoren von Sony sind die zwei Begriffe Pixel (= lichtempfindlicher Sensor) und nachgelagerter Schaltkreis (integrierte Schaltkreis = IC = Integrated Circuit = Prozessor, welcher die analogen Signale des Pixels u.a. ausliest und verarbeitet. Zu allen Fachausdrücken finden interessierte Leser unten im Kapitel Literatur weiterführende Quellen auf Deutsch und Englisch.
CMOS heißt: Complementary Metal-Oxide-Semiconductor = sich ergänzender Metal-Oxid-Halbleiter: Im Prinzip baut man mit dieser Technologie integrierte Schaltkreise (ICs = Integrated Circuits), die heute fast überall Verwendung finden. Vereinfachend dargestellt bestehen sie aus vielen Einzeltransistoren, die jeweils immer nur eine Ja/Nein-Entscheidung treffen. Da ihr Leistungsbedarf gering ist, eignen sie sich für die Zusammenschaltung in sehr großen Einheiten als Rechen- oder Speicherchip.
Im Fotobereich werden sie vor allem als CMOS-Sensor, CMOS APS oder Activ Pixel Sensor (APS oder AP-Sensor) = aktiver Pixelsensor zur Lichtmessung verwendet. Meist nennt man sie kurz CMOS. In seiner Grundform enthält der seit den 1980er Jahren entwickelte Baustein eine Photodiode und einige Transistoren, um die Photodiode zu betreiben. Mit der Zeit wurden jedoch immer komplexere Schaltkreise an die Photodiode angeschlossen. D.h. mit der Leistungszunahme wuchs auch der Platzbedarf dieser Schaltkreise deutlich an.
Wichtig ist, dass es sich bei dieser ersten Generation von CMOS-Sensoren um Frontlit oder Front-side illuminated Sensoren (FSI) handelte, die damals leicht herzustellen waren und vor allem Kostenvorteile boten. D.h. die Sensoren wurden so auf den Wafern hergestellt, dass das Licht von oben einfällt.
Sony nennt diese Generation Exmor.
Abstrakte Darstellung eines klassischen CMOS-Sensors. Die Metallisierungsschichten oben (Verdrahtungen und Steuer-Chip) fangen bereits einen Teil des Lichtes ab und reduzieren so die Lichtausbeute der darunter liegenden Photodiode. Aber diese Herstellungsweise war damals relativ einfach und preiswert.
Abstrakte Darstellung eines Backside illuminated CMOS-Sensors. Die Metallisierungsschichten (Verdrahtungen und Steuer-Chip) liegen zu einem großen Teil unten - unter der Photodiode - und stören somit nicht mehr den Lichteinfall.
Der Backside illuminated CMOS-Sensors
Er findet sich unter vielen Namen: BSI, BI, Back-illuminated CMOS image Sensor, Back-lit CMOS, backlit CMOS, back side illumination, backside illumination, Rückwärtige Belichtung.
Im Prinzip wurden bei diesem Foto-Sensor nur die Dinge umgedreht: Die störenden Metall-Anschlüsse wurden nach hinten / unten - hinter / unter die Photodiode verlegt, während sie bei alten Sensoren darüber verlegt waren und somit noch mehr Platz wegnahmen und das Licht auf dem Weg zur Photodiode behinderten.
Um diese Umkehrung des Aufbaus zu erreichen, wurde der Wafer in der Produktion umgedreht, der hintere Teil des Fotosensors / Siliziums abgeschliffen, damit das Licht von hinten einfällt (daher auch der Name). Das Ziel war u.a., die Lichtausbeute zu erhöhen. Diese CMOS-Sensoren waren etwa seit 2009 erhältlich.
De facto konnten jedoch nicht alle störenden Elemente nach hinten verlegt werden. Manches - wie die Hochgeschwindigkeits-Schaltkreise - blieb noch am Rand der Photodiode erhalten.
U.a. durch diese Verringerung der Siliziumdicke wird bei diesem empfindlichen Sensortyp ein wesentlich stabilerer Unterbau erforderlich, der jedoch bisher nicht genutzt wurde, sondern nur der Stabilität diente. - Festzuhalten bleibt, dass BSI ein wichtiger Zwischenschritt war vom alten CMOS hin zum neuen Stacked CMOS-Sensor.
Sony nennt diese Generation Exmor R.
Stacked CMOS
Den Stacked CMOS kann man als konsequente Weiterentwicklung des BSI ansehen, indem man im Prinzip die Schaltkreise darunter optimierte.
LSI steht für Large Scale Integration. Unter LSI verstand man früher - bis zu 1.000 Transistoren, dann bis zu 10 und 20.000 sowie schließlich bis zu 100.000. Heute wird das nicht mehr so genau genommen. Der Ausdruck LSI steht de facto nur noch für sehr viele kleine Schaltkreise. Obwohl diese Transistoren sehr klein und eng beieinanderliegend (integriert) gefertigt werden, nahmen diese vielen Schaltkreise bisher der Photodiode oben auf derselben Ebene Platz weg.
DSP Digital Signal Processor: Hierbei handelt es sich um einen hochspezialisierten Prozessor, der dafür diese Arbeiten sehr schnell und mit wenig Strom durchführen kann. Er wird hier vor allem für die Steuerung der Photodiode verwendet.
Sony nennt die neue Generation der Stacked CMOS-Sensoren: Exmor RS.
Beim klassischen CMOS-Bild-Sensor müssen sich der lichtempfindliche Pixel (= Sensor) und der Schaltkreis (= die Logik) dieselbe Grundfläche teilen. Bei beiden Komponenten muss man somit Kompromisse eingehen, welche durch die immer geringere Fläche je Pixel durch die zunehmende Packungsdichte hochauflösender Mega-Pixel-Sensoren auch noch verschlimmert wurden.
Abstrakte Darstellung: vergleichende Aufsicht auf einen klassischen Sensor und einen Stacked Sensor.
Beim stacked CMOS-Sensor handelt es sich um einen Mehrschichtprozessor. Das englische Wort stacked bedeutet nichts Anderes als gestapelt resp. geschichtet.
Oben befindet sich eine separate Ebene mit Fotosensoren, die als Back illuminated Pixels gestaltet sind. Der Back illuminated Sensor ist jedoch sehr empfindlich und benötigt dringend eine stabile Basisstruktur dahinter.
Darunter befindet sich - in der zweiten separaten Ebene - direkt die gesamte Schaltelektronik des Sensors - und zwar für jeden einzelnen Pixel separat. D.h. der Signalprozessor befindet sich einzeln hinter jedem Pixel.
Da es ich um zwei separate Ebenen handelt, können sie getrennt gefertigt werden, müssen anschließend jedoch in einem aufwändigen Verfahren verklebt und verlötet werden.
Im Grunde könnte man diese Bauweise auf mehrere Sensoren anwenden. Aber derzeit beschränkt es sich nur auf die Back-illuminated CMOS image Sensoren von Sony.
De facto meint stacked CMOS nur die Trennung der bisher verbundenen Elemente Pixel (Photodiode) und Schaltkreis, die bei den früheren Sensoren auf einer Silizium-Ebene lagen, auf nun zwei unabhängige Ebenen.
Abstrakte Darstellung eines Stacked CMOS-Sensors. Man erkennt die zwei separaten Schichten, welche zusammengeklebt wurden. Der wesentlich größere Nano-Controller unter der Fotodiode besitzt einen integrierten DRAM-Baustein, um die gesamte Datenverarbeitung zu beschleunigen.
Bei der 2017 verfügbaren ersten Generation der Stacked CMOS der A9 scheint der erforderliche Zwischenspeicher (DRAM) noch einen kleinen Teil der Fläche des neuen Controllers auf der 2. Ebene zu bilden. Bereits dadurch wurde ein 20-mal so schneller Datentransfer (im Vergleich zu früheren Sony-Prozessoren in der A7II) erzielt. Allerdings zeigte Sonys Cheftechniker Mark Weir in einem Video ein Schaubild, auf dem es direkt hinten / unten dran als dritte Ebene sichtbar war. Vermutlich haben beide Recht, da der hinter der Sensoreinheit liegende separate BIONZ-Prozessor sicherlich weiteres schnelles DRAM besitzt. - Bei der bereits angekündigten Weiterentwicklung wird der DRAM nicht nur innerhalb, sondern sogar als eigene große Schicht zwischen jeder einzelnen Photodiode und dem jeweiligen Schaltkreis liegen und damit geradezu unglaubliche Bildfrequenzen von bis zu 1.000 Aufnahmen je Sekunde erlauben.
In einem Prospekt verwendet Sony auch ein anderes Symbolbild, das u.a. von DPReview aufgegriffen wurde. De facto darf man derartigen Symboldarstellungen mistrauen. Wie auch meine obigen Grafiken zeigen sie einen idealen Chip. In der Realität sehen diese wesentlich komplizierter aus.
Allgemeine technische Vorteile des Stacked CMOS
Ein Vorteil des Stacked CMOS besteht darin, dass so die Lichtausbeute des Pixels oben viel größer sein kann, da diese Photodiode nun theoretisch die gesamte (Grund-) Fläche einnehmen kann. Bisher musste sich die lichtempfindliche Photozelle die Gesamtgrundfläche mit dem Schaltkreis teilen.
Zweitens entfällt die früher erforderliche stabile Trägerschicht des Pixels mit Schaltkreis selbst. Sie wird durch den Schaltkreis ersetzt, der nun ebenfalls die ganze Grundfläche ausfüllen kann und genügend Stabilität für die Oberstruktur erzeugt.
Im Umkehrschluss kann man so auf der unteren Ebene nun geradezu riesige (dicke) Schaltkreisstrukturen aufbauen, was Sony auch tat. Sie nehmen neben der gesamten Grundfläche des Pixels auch eine extreme Tiefe / Höhe im Sensor ein. Durch dieses Volumen lässt sich dort sowohl sehr viel Speicher, als auch Rechenleistung integrieren. D.h. jede einzelne Photodiode = jeder einzelne Pixel erhält mehr Speicher und mehr Rechenleistung zur Verarbeitung.
Man kann dort - also in direkter Pixelnähe - nun auch wesentlich intelligentere Schaltkreise einbauen als bisher. Manche sprechen hierbei auch von Nanocontrollern / Nanocomputern, direkt unter jedem Pixel.
Dadurch, dass jeder Pixel nun quasi seinen eigenen Prozessor erhält, kann man von einer Parallelisierung der Operationen sprechen, welche die Leistung deutlich erhöht, ohne die sonst bei einer Leistungssteigerung üblichen Nachteile.
Durch die Trennung der zwei Ebenen in der Produktion lässt sich der Schaltkreis mit bereits heute verfügbaren kleineren Strukturen (45 nm und darunter) bauen, wodurch sich dessen Rechenleistung deutlich erhöhen lässt. Durch die logische und physikalische Trennung kann man zukünftig diese Rechenleistung jederzeit weiter steigern, ohne einen Einfluss auf die Photodiode / den Pixel selbst zu haben oder darauf Rücksicht nehmen zum müssen.
Stacked CMOS benötigen keine Register und sparen dadurch ca. 20% Platz. D.h. CMOS-Sensoren gewinnen nun gegenüber den früheren CCD auch bei der Platzfrage.
Je mehr Rechenleistung man direkt hinter den einzelnen Pixel legt, umso kürzer wird der Weg, den man die anfälligen analogen Signale des Pixels wandern lassen muss. Die digitalen Signale nach der Umwandlung (A/D-Wandler) in dem Chip direkt unter dem Sensor sind hierfür weniger anfällig.
Durch den frei werdenden Platz oben beim lichtempfindlichen Sensorpixel wird theoretisch eine höhere Packungsdichte möglich. D.h. man könnte mehr Mega-Pixel auf die gleiche Sensorfläche packen, ohne das Rauschen (im Vergleich zu gleichgroßen Photodioden alter Sensorbauarten) zu erhöhen.
Insgesamt hat man errechnet, dass durch diese Konstruktion sogar der Stromverbrauch sinken kann, wodurch sich auch das Abwärmeproblem zumindest reduzieren ließe. Damit wird das Überhitzungsproblem besonders bei ständig aktiven spiegellosen Systemen reduziert.
Durch die nun auf der obersten Schicht freiwerdende Fläche kann der lichtempfindliche Pixel (=Sensor) größer werden. Dadurch kann die darüber gebaute Sammellinse einfacher gestaltet werden. Beides zusammen sollte zu einer höheren Lichtausbeute führen, die man herkömmlicher Weise als höhere Lichtempfindlichkeit bezeichnet.
Durch die Anbringung intelligenter Schaltkreise direkt am Sensor kann die nachfolgende Datenverarbeitung einfacher werden.
Durch die Anbringung intelligenter Schaltkreise direkt am Sensor können vielseitige weitere Funktionen flexibel integriert werden.
Insgesamt lassen sich dadurch die Anzahl der Inkompatibilitäten der Sensoren reduzieren. D.h. man könnte bereits auf Pixelebene alle Sensorinkompatibilitäten beheben und danach mit einer standardisierten Schnittstelle alle weiteren Prozesse abhandeln. Salopp ausgedrückt könnte man bereits auf Pixelebene einen Abstraction Layer einziehen. Alles Weitere müsste man dann für alle zukünftigen Prozessoren nur einmal konzipieren und programmieren sowie pflegen. Bisher handelte es sich bei klassischen Photosensoren um weitgehend mühsame sensorabhängige Einzelarbeit. Zukünftig wäre es standardisierte modulare Leichtarbeit, welche man outsourcen könnte. Ketzerisch könnte man dies mit dem Übergang von einer Maschinensprache bei alten Sensoren zur objektorientierten Programmierung bei den neuen Sensoren vergleichen.
Durch diese Auftrennung der Abläufe und somit Reduktion der Komplexität sowie der Effizienzsteigerung sollten die Entwicklungs- und Produktionszeiträume neuer Prozessoren sogar noch kürzer werden sowie die Entwicklungskosten deutlich sinken.
Für Sony als Hersteller der Sensoren für viele andere Kamera-/Smartphone-Hersteller lässt sich mit dieser Technologie eine Individualisierung der Sensoren und ihrer spezifischen Leistungen schneller und preiswerter durchführen. D.h. der Sensor wäre weitgehend ähnlich, nur die dahinterliegenden Schaltkreise würden sich in Ihrer Leistung unterscheiden. So banal wie das klingt, so kommerziell revolutionär sind die Folgen: Kürzere Zeiten bei Folgeprodukten bei gleichzeitig geringeren Stückkosten für Sony. Kurzum: der Gewinn ließe sich drastisch steigern.
Bereits 2012 schätze Sony die Einsparungsmöglichkeiten bei der Entwicklung als erheblich ein. Man ging bereits damals davon aus, dass man die durchschnittlich zweijährige Entwicklungszeit für einen speziellen Sensor nach besonderem Kundenwunsch eines Auftraggebers auf Monate oder sogar Wochen reduzieren könnte.
Praktische Vorteile für die Fotografie
Auch wenn Sony sich bezüglich der Details in oft Schweigen hüllt, so lassen sich aufgrund der seit Langem bekannten technischen Grundkonzepte und Technologien einige Aussagen machen:
Generell eine höhere Geschwindigkeit bei allen Aufnahmen.
Eine größere Anzahl an aufnehmbaren Bildern je Sekunde.
Eine höhere Licht-Empfindlichkeit des Sensors, die vor allem bei wenig Licht / in der Dämmerung vorteilhaft eingesetzt werden kann.
Eine höhere Dynamik - also ein höherer Umfang der Bandbreite vom dunkelsten zum hellsten aufgezeichneten Lichtwert.
Ein geringeres Rauschen je Pixel.
Höhere Mega-Pixel-Zahl = Mehr Pixel je Fläche, aufgrund der nun möglichen höheren Packungsdichte, bei gleichbleibendem Rauschen.
Geringere Produktions-Kosten. Ob Sony diese jedoch an den Kunden weitergibt?
Grenzen des derzeitigen Stacked CMOS
Zur Klarstellung vorab: Bei Stacked CMOS handelt es sich um eine allgemeine Sensortechnologie, die nicht das Geringste mit dem oft gleichzeitig verwendeten Schlagwort Spiegellos zu tun hat. Sie kann in jeder Kamera (also auch solchen mit Spiegel) verwendet werden.
Die Lichtausbeute kann zwar durch die größere Fläche des Pixels höher sein. Aber auch jetzt lässt sich noch nicht die gesamte verfügbare Fläche mit einem lichtempfindlichen Pixel belegen. Deshalb wird weiterhin eine Sammellinse darüber notwendig bleiben.
Ferner wurde die bisherige kleinere Pixelfläche herkömmlicher Sensoren auch schon mit hochwertigen Sammellinsen teilweise sehr gut ausgereizt. D.h. die große Sammellinse darüber nahm eine wesentlich größere Fläche ein und lenkte das dort einfallenden Licht wie durch einen Trichter bereits sehr effizient auf den kleinen Pixel.
Um wie viel die Ausbeute der neuen Sensoren gegenüber Pixeln auf herkömmlichen Sensoren mit den bisher bereits ausgereiften Sammellinsen ist, muss sich noch zeigen.
Jedem Pixel derart viel Rechenleistung / Intelligenz zuzuordnen, kann auch Nachteile oder zumindest Risiken bergen, da jeder Nanocontroller auch einzelne Defekte unterschiedlichster Art aufweisen kann, die man dann auch einzeln reparieren resp. kompensieren muss. Im Idealfall muss man jeden Nanocontroller einzeln programmieren und auch wieder- sowie umprogrammieren können.
Nanocontroller müssen mit dem Pixel darüber, welches sie kontrollieren, und der restlichen Hardware darunter kommunizieren. D.h. ein Teil der zusätzlichen Leistung wird allein bereits hierfür wieder verbraucht.
Nanocontroller müssen sich im Parallelbetrieb auch untereinander / miteinander abstimmen. Dies ist bei 24,2 Millionen Einzeleinheiten keine Kleinigkeit. D.h. ein erheblicher Teil der Leistung wird allein bereits hierfür wieder aufgebraucht.
Diese Technologie ist sensorgrößenabhängig. Sie ist am sinnvollsten für kleine Sensoren (wie z.B. in Smartphones), da dort der Flächen-Anteil der Schaltkreise relativ hoch ist im Vergleich zum lichteinfangenden Pixel selbst. Je größer die Sensorfläche wird, resp. je geringer die Packungsdichte (= Pixel je Sensorfläche), desto größer ist das Verhältnis der Fläche der Pixel zum darum herumliegenden Schaltkreis und desto geringer wirken sich die Vorteile des Stacked CMOS aus.
Überdies nehmen mit der Sensorgröße und der Anzahl der Pixel / der darunterliegenden Nanocontroller auch die Abstimmprozesse untereinander zu. D.h. es ist keineswegs einfach, die nun verfügbare Technologie eines 24,2-MP-Sensors mal schnell auf 100 Mega-Pixel umzusetzen. Aber es wird dennoch zukünftig sicherlich möglich sein.
Der elektronische Verschluss kann derzeit nur bis ISO 25.600 arbeiten. Darüber benötigt man wieder den mechanischen. Zwar stellt dies m.E. in der Fotopraxis kein Hindernis dar, zeigt jedoch, dass hier noch Probleme im Detail vorliegen.
Die Beschleunigung einer Komponente allein führt nicht zwangsweise zu einer insgesamt schnelleren Kamera. Hierzu bedarf es extrem schneller Module auf allen Ebenen der Prozesskette bis hin zu Speicherkarte (den Speichermedien) selbst. Und dies zeigt sich m.E. derzeit noch als Nadelöhr, wenn man die langen Speicherzeiten / Schreibzyklen der Sony R100 Mark V sowie Sony A9 betrachtet. Momentan kann man die höheren Datenraten sowieso nur intern durch zusätzlichen extrem schnellen und teuren Pufferspeicher nutzen. Es fehlen noch sowohl kameraseitig die eigentlich bereits verfügbaren schnellen Speicherinterfaces als auch die noch schnelleren Speicherkarten (z.B. XQD, die sogar von Sony erfunden wurden).
Hinzu kommt, dass der aktuell verwendete Sensor in der A9 nicht zeilenweise ausgelesen wird, sondern seine hohe Geschwindigkeit nur dadurch erzielt, dass man 7*12 Zeilen kombiniert ausliest. Dies kann bei den heute oft und fast überall verwendeten Röhrenlampen zur Beleuchtung aufgrund deren Flackerfrequenz (z.B. bei Bandenwerbung in Stadien) zu unschönen Banding-Effekten (84 Pixel breiten Streifenbildung in Fotos) führen.
Derzeit ist die Produktionsausbeute der Stacked CMOS auf den Wafern noch nicht ideal. D.h. der Ausschuss an Sensoren je Wafer ist noch hoch, sodass die Kosten für einen relativ großen Vollformat-Sensor noch entsprechend hoch liegen. Wie bei allen Optimierungsprozessen wird es noch einige Zeit dauern, bis die Produktionskosten je Sensor deutlich sinken.
Dennoch: Trotz aller dieser Einschränkungen halte ich Stacked CMOS für eine sehr interessante Technologie, welche auf Jahre hinaus die Kamerasensoren maßgeblich beeinflussen wird.
Weiterreichende Folgen
Ohne den Sensor in der 2017 herausgekommenen Sony A9 klein zu reden, die Möglichkeiten der Nano-Controller, also der pixelgenauen Steuerung des Sensors mit intelligenten Schaltkreisen hinter jedem einzelnen Fotosensor reichen viel weiter.
Mir ist bewusst, dass derzeit alle auf die beeindruckenden 20-30 Bilder je Sekunde der Sony-Kameras schauen. Aber diese Schnelligkeit ist nur ein Aspekt, der überdies nur für wenige Fotografen wirklich sinnvoll ist, und er ist absolut lächerlich im Vergleich zu den weiteren technischen Möglichkeiten der Nano-Controller direkt am Pixel.
Völlig neue Funktionen
Durch Nanocontroller unter jedem Pixel lässt sich theoretisch jeder einzelne Pixel zu einen intelligenten = selbständig arbeitenden Baustein aufwerten.
Dadurch können bisher ausgelagerte Funktionalitäten oder überhaupt nicht vorhandene / bekannte Funktionen auf Pixelebene in den Sensor direkt eingebaut werden.
Durch Nanocontroller unter jedem Pixel lässt sich theoretisch jeder (de facto leicht unterschiedlichen) Pixel einzeln kalibrieren und so eine höhere Dynamik bei gleichzeitig geringerem Rauschen erzielen. Ob und in welchen Ausmaße es bereits bei den neuen Stacked CMOS durchgeführt wird, ist nicht klar. Bei alten Sensoren wurden bisher alle Signale aller oder zumindest mehrere Pixel zusammengefasst und gemeinsam mit einem Durchschnittswert kalibriert. Dennoch konnte man mit der bisherigen Technologie auch schon fehlerhafte Pixel nachträglich aussondern.
Software ersetzt Hardware
Filter lassen sich zukünftig durch Software-Steuerungen (Programme) ersetzen.
Mit der pixelgenauen Ansteuerung des Sensors lassen sich ND-Filter software-seitig simulieren. D.h. man kann mittels Kamerabefehls dem Sensor mitteilen, wie hell oder dunkel er das Bild aufnehmen soll. Bisher scheint dies bereits mit zwei Belichtungsstufen zu funktionieren. Theoretisch können jedoch auf Pixelebene so viele Stufen, wie Pixel auf dem Sensor vorhanden sind, verwendet werden.
Mit pixelgenauer Ansteuerung des Sensors lassen sich auch ND-Verlaufsfilter software-seitig simulieren. D.h. man kann mittels Kamerabefehls dem Sensor mitteilen, mit welchem Gradienten und in welchem Bildwinkel er das Bild abdunkeln soll.
Auf diese Weise könnte man auch jeden Farbfilter resp. Weißabgleich auf Pixelebene simulieren.
Mittels pixelgenauer Ansteuerung des Sensors lassen sich auch Polarisationsfilter bereits am Sensor simulieren. So ist es z.B. technisch kein unüberwindliches Hindernis, mittels intelligenter Schaltkreise hinter einem Pixel und der dazu passenden Software Himmel zu erkennen und diesen z.B. satter einzufärben.
Sobald die Intelligenz der Schaltkreise hinter jedem Pixel zunimmt und diese dann auch noch individuell und automatisch miteinander kommunizieren, lassen sich (wie bei einem Polarisationsfilter) sogar Spiegellungen entweder ganzer herausrechnen oder zumindest deren Einflüsse pixelgenau abmildern.
Auch die bisherigen Voreinstellungen wie Porträt, Landschaft etc., die sich bisher nur auf den gesamten Sensor (= das gesamte Bild) anwenden lassen und nicht selten zu unschönen Nebeneffekten führen, ließen sich mittels Motiverkennung zuordnen und dann pixelgenau steuern. So wäre es möglich, die beliebten warmen Farben der menschlichen Haut zuzuordnen, Architektur hinter der Person mit einem kühleren Weißabgleich zu versehen, die (z.B. fasnächtlichen) Farben der Kleidung zu sättigen und gleichzeitig das Blumenbouquet in der Hand des Modells oder die Pflanzen darum herum ganz natürlich wiederzugeben. D.h. u.a. ließe sich auch der Weißabgleich und die Sättigung auf Pixelebene steuern und zwar automatisch sowie vor dem eigentlichen Abspeichern des Fotos.
Auch am Sensor selbst werden Dinge eingespart werden können:
Wenn man Filter durch Software simulieren kann, dann natürlich auch AA-/Anti-Aliasing-Filter. D.h. mittels Motiverkennung könnten zukünftig auf Pixelebene und vor dem eigentlichen Abspeichern Moirés in jedem Pixel bereits herausgerechnet werden. D.h. man könnte sich den teuren und die Auflösung reduzierenden AA-Filter in der Produktion sparen, hätte aber dennoch bei jedem störenden Motiv dessen Leistungen jederzeit in der Kamera parat.
Weitergedacht führen durch Software simulierte Farbfilter natürlich auch zum Wegfall der Bayer-Matrix. Sie - oder jede andere Matrix - könnte jederzeit pixelindividuell durch Software simuliert werden, indem man den Sensor anweist bei diesem Pixel nur die rote Farbe, also das Lichtspektrum im Rotbereich auszuwerten.
Noch weiter gedacht führen durch Software simulierte Filter natürlich auch dazu, dass man auch nur weißes Licht aufnimmt und so die Auflösung des Sensors mal geschwind vervierfacht. (Die Bayer-Matrix verwendet 4 Pixel: 1 blaues, ein rotes und 2 grüne, welche zu einem Wert verrechnet werden.)
Noch weiter gedacht führen durch Software simulierte Frequenzfilter natürlich auch dazu, dass man auch Infrarot oder Ultraviolett-Aufnahmen mit demselben Sensor durchführen kann, ohne die Kamera komplett umbauen zu lassen / mit einem neuen Sensor ausstatten zu lassen.
Angesichts der durch die an jedem Pixel direkt angebaute und zunehmend schnellere Speichertechnologie (derzeit 20-30 Bilder je Sekunde) wird diese Umschaltung Zwischen den gerade beschriebenen Modi sogar automatisch im Serienbildmodus - und auch für Bewegtbilder - möglich sein. D.h. man kann theoretisch eine Aufnahmeserie von einem Motiv zuerst in Schwarz-Weiß, dann nur in Rot, dann nur in Blau, dann nur in grün, dann in Infrarot und schließlich in Ultraviolett durchführen und diese dann alle bereits kameraintern (auf Pixelebene) zu einem extrem scharfen Bild mit bisher ungekannter Dynamik zusammenrechnen lassen.
Aufhellblitze, Gegenlichtaufnahmen und HDRI:
Sobald man die pixelgenaue Feinsteuerung genauer betrachtet, so ergeben sich noch viel weitreichendere Möglichkeiten, andere Hardware zu ersetzen.
Prinzipiell lassen sich damit pixelgenau die ISO-Zahl also die Bildhelligkeit feineinstellen. Man kann somit dann auch von einer pixelindividuellen ISO-Einstellung sprechen. Dadurch lassen sich zu dunkle (unterbelichtete) Bildpassagen aufhellen und überbelichtete abdunkeln. Wohlgemerkt geschieht dies dann automatisch auf Pixelebene vor dem Abspeichern.
So lassen sich Gegenlichtaufnahmen mit einer entsprechenden Software bereits vorab korrigieren: Gesichter vor der Sonne werden aufgehellt, Fotos aus dem dunklen Zimmer durch das Fenster hinaus in den sonnigen Garten werden in allen Bereichen korrekt belichtet.
D.h. störende Blitze können in vielen Fällen entfallen und Mehrfachbelichtungen wie Belichtungsreihen werden überflüssig.
Einerseits führt dies zu drastischen Arbeitserleichterungen, Arbeitszeitverkürzungen und andererseits zu finanziellen Einsparungen, sowie geringerem Volumen und Gewicht, das der Fotograf mit sich herumtragen muss.
Objektive können zukünftig optimaler verwendet werden:
Die Messung auf Einzelpixelebene erlaubt theoretisch, dass die Kamera anhand eines Testbildes jedes Objektiv automatisch und individuell selbst vermisst und dann die dafür notwendigen Korrekturen auf Pixelebene abspeichert und später aus einer Datenbank abruft.
Dies hat deshalb Vorteile, da Objektive - trotz aller Bemühungen - (vom Mittelpunkt aus gesehen) niemals in allen Richtungen dieselben Eigenschaften besitzen. Ganz abgesehen davon, dass diese Abbildungsleistungen meist von der Mitte bis zum Rand hin gesehen mess- und sichtbar schwanken.
Hinzu kommt, dass diese Abweichungen / Fehler auch noch je nach verwendeter Blende schwanken. Bei größerem Speicher könnte man diese Fehler sogar je nach gewählter Blende pixelgenau korrigieren.
Mit der pixelgenauen Korrektur von Objektivfehlern lassen sich bereits sehr hochwertige Objektive noch optimaler verwenden.
Mit der pixelgenauen Korrektur von Objektivfehlern lassen sich preiswerte Objektive deutlich aufwerten, weil man deren größere Fehler - prozentual gesehen noch mehr korrigieren kann.
Für die Fotografen bieten sich somit die Vorteile, definitiv noch hochwertigerer Aufnahmen aus ihren bereits bestehenden Objektiven zu erhalten. Auch nachträgliche Korrekturen sind dann durch den Kunden selbst durchführbar.
Für die Hersteller bieten sich somit die Vorteile - trotz Serienstreuung - einen wesentlich größeren Anteil der Produktion dennoch verkaufen zu können. Ferner verringern sich so die gesamten Qualitätssicherungskosten bei Objektiven, die Service-Kosten und alle Folgekosten überhaupt.
Vor allem die bereits oben erwähnte pixelindividuelle ISO-Einstellung erlaubt es, wesentlich lichtschwächere Objektive, die leichter und kleiner ausfallen könnten, zu verwenden, und dennoch hervorragende Gesamtbildergebnisse zu erzielen.
Oder mit anderen Worte: alte, herkömmliche Sensoren benötigen wesentlich lichtstärkere, größere, schwerere, teurere Objektive, um auch nur annähernd gleichwertige Fotos zu produzieren.
Einerseits betrifft dies selbstredend alle Objektive und Kameraklassen. Aber die spiegellosen Systeme können mit der neuen Sensortechnologie endlich ihre Vorteile ausspielen.
Und es kommt noch besser: Auch, wenn man die Physik der Beugung nicht abändern kann, so kann man mit der intelligenten Steuerung hinter jedem Pixel die schädlichen Einflüsse der Beugung durch Kommunikation der benachbarten Pixel untereinander herausrechnen oder zumindest reduzieren. D.h. man könnte auch bei größerer Blende bereits auf Pixelebene mittels Software quasi eine Schärfung vornehmen - noch vor der eigentlichen Speicherung.
In der Theorie kann man dieses Szenario beliebig weiter ausmalen und kommt schließlich dazu, dass man praktisch jede Hardware vor dem Sensor durch Software wird ersetzen oder zumindest drastisch verbessern können. Dies führt natürlich zu einer Reduktion der Gewichte, Volumina sowie Preise jener Hardware. Aber auch die Folgekosten für Produktion bis hin zum Service werden sich reduzieren.
Man kann sogar noch weiter denken und zukünftig eine Hardware-Reparatur (verursacht z.B. durch einen Kratzer im Objektiv) durch eine Software-Korrektur ersetzen. Falls Sie nun schmunzeln oder dies für völlig abwegig halten. Exakt das hat man mit dem Hubble-Teleskop im Weltraum bereits gemacht: Dort musste man einen unfassbaren und in der Folge für die Bildqualität katastrophalen Produktionsfehler am Spiegel nachträglich mit Software reparieren.
In Grenzen ließe sich mit einer pixelgenauen Steuerung und Fehlererkennung sogar Sensor-Schmutz - zumindest kurzfristig für das aktuelle Foto-Shooting herausrechnen. D.h. man muss den Sensor auch mit intelligenten Stacked CMOS zwar noch immer regelmäßig reinigen. Aber bei einem wichtigen Shooting, bei dem Schmutz z.B. durch Objektivwechsel etc. auf den Sensor gerät, erspart man sich die sonst nachträgliche stundenlange Bereinigung am PC.
Weiterentwickelt könnte ein intelligenter Pixel dem Fotografen auch nach selbst wählbaren Grenzwerten mitteilen, wann wieder eine Sensorreinigung erforderlich wird. - Quasi - wie im Auto - der Hinweis zum nächsten Service-Check.
Festzuhalten bleibt auch, dass alle diese Veränderungen auf Pixelebene auch vor dem eigentlichen RAW-Bild durchgeführt werden können und meist auch werden.
Zusammenfassend: Software wird auf fast allen Ebenen im Fotobereich Hardware nicht nur deutlich verbessern, sondern auch ersetzen. Letztendlich wird dies dazu führen, dass man in - vermutlich nicht allzu ferner - Zukunft mit relativ kleinen, leichten und preiswerten Smartphones (bei entsprechender Sensorgröße) die Bildqualität heutiger Vollformat-System-Kameras mit teurem und schweren Zubehör erzielen kann.
Video
Vor allem im Videobereich ließen sich viele der oben bereits beschriebenen Vorteile der neuen Sensoren nutzen.
Hinzu kommen jedoch noch weitere Vorteile, welche man eher in Bewegtbildern erzielen kann.
Bei völliger Kontrolle der Einzelpixel mit dahinterliegendem ausreichend großem Puffer sowie einer intelligenten Kommunikation der Pixel untereinander ließen sich bei Filmen sogar störende Objekte herausrechnen - und zwar bevor das Gesamtbild / die Filmsequenz überhaupt gespeichert wird.
Damit entfällt dann allerdings auch endgültig das Original (auch als RAW) als Beweismittel.
Hardware ersetzt Software
Das klingt zwar auf den ersten Blick widersprüchlich, hat aber seine Berechtigung.
Gemeint ist Folgendes: Mit der Individualisierung des Sensors auf Pixelebene und dem Einzug der Software-Steuerung in diese Hardware des Fotosensors der Kamera - also quasi der Software-Integration an vorderster Front - wird nun die dem Aufnahmeprozess bisher nachgelagerte Software - wenn nicht völlig wertlos, so doch - in ihrem Wert erheblich abgeschwächt.
Positiv gesehen für den Fotografen wird zukünftig die Aufnahme - wie früher - wieder tatsächlich vermehrt in der Kamera entstehen.
Die langwierigen Nachbearbeitungen am PC werden sich drastisch verkürzen, der Prozessablauf verändern, die Prozesskette und der Arbeitsaufwand bis zum druckfertigen Endergebnis beschleunigen.
Für die klassischen Software-Hersteller der Fotonachbearbeitungs-Software ist dies hingegen eine schlechte Nachricht. Da zukünftig die Änderungen am Bild bereits in der Kamera auf dem Einzelpixel - vor dem eigentlichen Speicherungsprozess - durchgeführt werden können, werden weniger Menschen mühsam am PC etc. nachträglich Nachbearbeiten wollen und auch nicht müssen. Theoretisch lassen sich zukünftig fast alle Funktionen von Lightroom und viele von Photoshop direkt in den Foto-Sensor der Kamera integrieren.
Entweder diese Software-Konzerne schalten schnell um und bieten in Zusammenarbeit mit den Sensorherstellern die kamerainterne Software zur Pixelsteuerung an, oder ihre Aktienkurse werden fallen, bis die Firmen relativ unbedeutend sein werden.
Konsequenzen
Sobald (es geht nicht um ein Falls) diese Individualisierungsmöglichkeiten auf Pixelebene zukünftig umgesetzt werden, wird man in 5 bis 10 Jahren rückblickend erkennen, dass es sich bei den Nanocontrollern um mehr als eine der üblichen kleinen Weiterentwicklungen, sondern um eine epochale und umwälzende Veränderung handelt.
Aber Vorsicht: Diese Nano-Controller-Technologie enthält unglaubliche Möglichkeiten. Aber das heißt noch lange nicht, dass ...
die von Sony derzeit verwendete Nano-Controller-Technologie die einzige Möglichkeit darstellt. Es finden sich auch andere Ansätze zur Steuerung auf Nano-Ebene.
das Sony-Management diese Gedanken hat,
das Sony-Management diese Pläne bereits beschlossen hätte,
die Sony-Techniker alles dies bereits entwickeln oder überhaupt dazu in der Lage sind, dies derzeit zu entwickeln,
sie überhaupt für alle Sensoren aller zukünftigen Kameramodelle eingesetzt wird,
es für klassische Fotografen überhaupt vorgesehen ist,
und wenn ja, in welchem Umfange und in welcher Qualität umgesetzt wird.
Aber ich bin absolut sicher, dass in der nahen Zukunft eine Firma diese Potentiale der Nano-Controller nutzen wird.
Die Sony A9 stellt bei Weitem weder eine perfekte Kamera noch das Endstadium der Entwicklung dar. Aber sie gibt bereits heute einen Vorgeschmack dessen, was mit dieser neuen Sensor-Technologie zukünftig möglich wird.
Für klassische Fotografen äußerst betrüblich ist jedoch der Umstand, dass diese Technologie erstmals den völlig ungewohnten Weg von unten nach oben ging: Sie wurde ursprünglich für Smartphones entwickelt und diffundiert nun langsam zu den teuren Kameras. Das dürfte die Zukunft der Fotografie darstellen: Für die klassischen Fotografen bleiben - ketzerisch ausgedrückt - nur noch die Abfallprodukte übrig, die man - nach der erfolgreichen Anwendung in Smartphones - zu ihnen herunterreicht.
Konkurrenzlage
Angesichts der Tatsache, dass Sony viele Dinge rund um den stacked CMOS seit vielen Jahren veröffentlicht hat, stellt sich tatsächlich die berechtigte Frage, warum die Konkurrenz kein Gegenprodukt auf den Markt wirft.
Man muss vermuten, dass sie bis heute tatsächlich kein adäquates Gegenprodukt besitzen.
In der Tat handelt es sich beim stacked CMOS keineswegs um eine einfache Technologie.
Eventuell haben die Konkurrenten den Sachverhalt allerdings auch so analysiert wie viele andere Analytiker im Jahre 2012: Zu teuer und völlig unnötig für das Vollformat. Dafür gäbe es kostengünstigere andere technische Lösungen. - Ein Trugschluss, wie sich 2017 herausstellte.
Der Nachholbedarf für die Konkurrenten ist groß und der dafür erforderliche Geldbedarf ist riesig. Wie ich bereits vor Jahren für Canon monierte, müssen diese Firmen nun Milliarden in die Hand nehmen, um technologisch nachzuziehen.
Angesichts meiner Erfahrung als Projektleiter sowie Programmmanager / Projektbündel-Manager im IT-Bereich könnte ich viele dieser oben beschriebenen Dinge binnen 3-5 Jahren in die Realität umsetzen. Sonys Konkurrenz sollte jetzt schnell aufwachen. Ansonsten wird der Foto-Markt in 5 Jahren tatsächlich von Sony dominiert.
Sony kann bei Smartphones mit den eigenen modernen Sensoren m.E. kein Monopol aufbauen, weil sich dort auch noch andere Sensorhersteller finden und der Sensor nur für die Fotos erforderlich ist, das Smartphone jedoch noch aus weit mehr Funktionen und Modulen besteht. D.h. ein Lieferstopp für andere Smartphone-Hersteller würde Sony selbst hart treffen. Da verdient man als Zulieferer einfach mehr Geld. - In der klassischen Kamerasparte hingegen kann Sony das Monopol bei diesen neuen Stacked CMOS-Sensoren auf- und ausbauen, da der Fotosensor das wichtigste Element der Kamera darstellt und zahlreiche Konkurrenten keine eigenen Fotosensoren mehr entwickeln. D.h. hier kann der offensichtlich nun eingeführte Lieferstopp neuer Sensoren für andere (wie Nikon und Pentax) jene Hersteller hart treffen. Es ist somit zu vermuten, dass Sony auf absehbare Zeit diese Sensoren nur in eigenen Fotokameras anbietet, um damit die unangefochtene Nummer eins auf dem klassischen Fotokameramarkt zu werden.
Zur Beruhigung aller Leser: Nein, ich bin nicht zu einem gläubigen Sony-Anhänger konvertiert. Genauso wenig, wie ich einer anderen Marke oder einem bestimmten Modell anhänge. Aber die mit der Nano-Technologie verbundenen Vorteile sind so erheblich, dass man sich dieser Umwälzung durchaus bewusst werden sollte. Und man sollte sich in dem notorisch skeptischen Europa und besonders in Deutschland durchaus wieder eine etwas positivere Einstellung zu grundsätzlich neuen Technologien aneignen. Denn Nano-Technologie steht nicht nur für gesundheitsgefährdend, sondern auch für intelligent, hilfreich und arbeitserleichternd.
damit diese umfangreichen, kostenlosen, wissenschaftlich fundierten Informationen weiter ausgebaut werden können, bin ich für jeden Hinweis von Ihnen dankbar.
Deshalb freue ich mich über jede schriftliche Rückmeldung, Fehlerkorrekturen, Ergänzungen, Neue Informationen etc. Ihrerseits per E-Mail oder Kontakt-Formular.
Um meine Neutralität zumindest auf dem hier beschriebenen Feld der Fotografie und Videografie wahren zu können, nehme ich bewusst von keinem Hersteller, Importeur oder Vertrieb irgendwelche Zuwendungen jeglicher Art für das Verfassen der absolut unabhängigen Artikel an. Auch von Zeitschriften oder Magazinen aus dem Fotobereich erhalte ich keinerlei Zuwendungen.
Deshalb freue ich mich, wenn Sie mein unabhängiges Engagement für Sie durch einen gelegentlichen Kauf bei Amazon über die hier angegebenen Links unterstützen. Es ist gleichgültig, welches Produkt Sie über diesen Link kaufen. - Es kann auch jede andere Ware außerhalb des Fotobereiches sein. Alle Preise sind und bleiben für Sie gleich niedrig, wie wenn Sie direkt zu Amazon gehen. Aber durch Ihren Klick auf meinen Link erhalte ich evtl. Monate später eine sehr kleine prozentuale Prämie (Cents je Kauf), welche mir hilft, die hohen Kosten bei der Erstellung der Artikel zumindest teilweise zu decken. - Bitte starten Sie Ihre Einkäufe bei mir.
Herzlichen Dank an alle für Ihre bisherige Unterstützung.
Ja, ich möchte die Unabhängigkeit dieser Seite unterstützen und kaufe über diesen Link bei Amazon
Pflichtangabe: Als Amazon-Partner verdiene ich an qualifizierten Verkäufen. Alle derartigen sogenannten 'bezahlten Links' zu Amazon sind farblich in Rot gekennzeichnet.
Ich wünsche Ihnen weiterhin viel Freude beim Fotografieren und Filmen.