Qualcomm Spectra 380 gelanceerd: 's werelds eerste ISP met geïntegreerde AI

Gisteren op de Snapdragon Technology Summit op Hawaii werd de langverwachte Qualcomm Snapdragon 855 gelanceerd. Hoewel de nieuwe chip verschillende substantiële veranderingen met zich meebrengt (van aanzienlijk nauwkeurigere GPS tot de eerste nieuwe 2, 4 GHz wifi-versie in tien jaar, tot 5G mobiele connectiviteit), blijft de discussie terugkomen op beeldvorming en de enorme verbeteringen die de Qualcomm Spectra 380 brengt.

Traditioneel zou de ISP van de camera de transformatie van de onbewerkte kleuren van de camera omzetten in iets dat de rest van de telefoon kan gebruiken voor machine vision, maar omdat AI-verwerking complexer is geworden, is integratie met gespecialiseerde hardware cruciaal geworden. Qualcomm nam de eerste stappen hiertoe met hun Qualcomm Spectra 280, bakondersteuning voor multi-frame ruisonderdrukking en dieptewaarneming recht in de ISP, maar er was nog een lange weg te gaan. Dit jaar zet Qualcomm die sprong, het bouwen van hardware computer vision-versnelling tot in de Qualcomm Spectra 380 ISP en het creëren van wat zij 's werelds eerste CV-ISP noemen.

De Qualcomm Spectra 380 zal knelpunten in de beeldverwerkingspijplijn verwijderen en resulteren in tot 4x stroombesparing ten opzichte van vorige generaties door het uitvoeren van machine vision-verwerking rechtstreeks op de ISP zelf, waardoor de noodzaak om de CPU, GPU en HSP voor complexe fotografie te activeren niet meer nodig is AI-taken en het aanzienlijk verbeteren van de AR-mogelijkheden van de processor.

Dit betekent dat hardwaredetectie, objectclassificatie en objectsegmentatie allemaal in realtime tot 4k HDR 60Hz kunnen gebeuren op de Qualcomm Snapdragon 855. Dit geeft ons live object of achtergrondvervanging in realtime video, waardoor nieuwe mogelijkheden voor extended reality (XR) -applicaties met de Qualcomm Snapdragon 855-chipset zowel in telefoons als in AR-headsets.

De verbeteringen voor de Qualcomm Spectra 380 stoppen echter niet bij AI en AR. Qualcomm heeft veel werk verzet aan de verbetering van de kleurruimte en de helderheid, door ondersteuning toe te voegen voor volledige HDR10 + video-opname, waardoor het mogelijk wordt om video's op te nemen met een groter dynamisch bereik en bredere kleurruimten, om volledig te kunnen profiteren van de mogelijkheden van moderne telefoons en tv's.

De nieuwe ISP biedt ook verbeterde hardwareversnelling voor VP9-video en voor het HEVC-gebaseerde HEIF-beeldformaat dat 50% kleiner kan zijn dan oudere beeldformaten en biedt uitgebreide functionaliteit (hoewel we in hoge mate uitkijken naar de toevoeging van hardwareversnelling voor de AV1-gebaseerde AVIF, die hopelijk in de komende jaren beschikbaar zal zijn)

De Qualcomm Spectra 380 kan ook beeldverwerking met hogere resolutie verwerken dan voorgaande jaren, met zijn dubbele 14-bit CV-ISP-pijplijn die 22MP 30Hz gelijktijdige opname op dubbele camera's ondersteunt en 48MP 30Hz-opname met een enkele beeldsensor. De snellere sensorleespijplijn vertaalt zich in dit geval echter niet naar video, waar de Qualcomm Spectra 380 dezelfde native 720p 480Hz ondersteunt (zonder gebruik van de cache op de sensor) die de Spectra 280 deed.

Het beste van alles is dat de Qualcomm Spectra 380 in de toekomst verder kan verbeteren, omdat het nieuwe modulaire ISP-ontwerp een nieuwe flexibiliteit biedt voor de beeldverwerkingspijplijn, waardoor het potentieel wordt geopend voor verschillende verwerkingsmethoden voor zowel RAW- als YUV-pixeldomeinen.

Ben je enthousiast over uitgebreide AI-functionaliteit in camera's? Waar hoop je machine vision voor te kunnen gebruiken? Vertel het ons in de reacties hieronder!