For å overvåke miljøet og navigere i den virkelige verden, skal roboten kunne skaffe seg bilder og miljømålinger under forskjellige bakgrunnsbelysningsforhold. De siste årene har forskere og ingeniører over hele verden jobbet med å utvikle flere og mer avanserte sensorer for å integreres i roboter, overvåkningssystemer eller andre enheter som kan føle omgivelsene.
Ifølge Memes Consulting har forskere fra Hong Kong Polytechnic University, Peking University, Yonsei University og Fudan University nylig utviklet en ny type bionisk synssensor som bruker en mekanisme som kunstig simulerer retinal funksjon og kan brukes i en rekke data ble samlet inn under lette forhold. Denne bioniske synssensoren er basert på fototransistorer laget av molybdendisulfid.
Bilde av den biomimetiske synssensormatrisen (venstre); skjematisk struktur av synssensorenheten og optisk mikroskopbilde (høyre)
«Forskerteamet vårt startet arbeidet med optoelektronisk minne for fem år siden», sier Yang Chai, en av forskerne som utviklet synssensoren. "Denne nye enheten kan sende lysavhengige og historieavhengige signaler, noe som muliggjør bildeintegrasjon. , Svak signalakkumulering, spektralanalyse og andre komplekse bildebehandlingsfunksjoner, den multifunksjonelle integrasjonen av sensing, datalagring og databehandling i en enhet."
I 2018 publiserte Yang Chai og kollegene hans den første artikkelen om optoelektronisk minne, der de introduserte en resistiv bytteminneenhet som kan utføre lysregistrering og logikkoperasjoner. Et år senere introduserte teamet en ny type fotoresistiv random access-minne med tre forskjellige funksjoner. Spesielt kan den nye enheten føle miljøet, lagre informasjonen i minnet og utføre nevromorfiske visuelle forbehandlingsoperasjoner.
«Vi studerte begrepene nærsensor- og sensordataparadigmer i 2020 og publiserte våre synspunkter innen feltet.» Yang Chai fortsatte: "Denne nye forskningen på biomimetiske synssensorer bygger på vår På toppen av all tidligere innsats."
Intensiteten av omgivelseslys varierer mye, med et totalt område på 280 dB. Når den menneskelige netthinnen registrerer eksterne lyssignaler, justerer den lysfølsomheten til fotoreseptorene (dvs. stenger og kjegler) i henhold til signalets styrke. Dette gjør det til slutt mulig for det menneskelige øye å gradvis tilpasse seg ulike nivåer av belysning, slik at det kan se tydelig i både mørke og lyse miljøer, en evne kjent som "visuell tilpasning".
– Når du for eksempel går inn i en mørk kino fra en lys hall, kan du knapt se noe i begynnelsen, men etter en stund på kino blir det lettere å se ting, forklarer Yang Chai. – Dette fenomenet kalles scotopic tilpasning. Omvendt, hvis du går fra en mørk kino til en solrik utendørs, vil du føle deg veldig blendet i begynnelsen, og det tar litt tid å bli vant til å se hva som skjer rundt deg. Prosessen Det motsatte av mørk tilpasning kalles fotopisk tilpasning.
Hovedmålet med Yang Chai og kollegenes nylige arbeid er å bygge en synssensor inspirert av strukturen og funksjonen til den menneskelige netthinnen. For å gjøre dette startet de først med å studere den menneskelige netthinnen og prøvde deretter å designe perseptuelle strategier som ville tillate dem å kunstig simulere visuelle tilpasninger.
Toppmoderne bildesensorer basert på CMOS-teknologi har vanligvis et begrenset dynamisk område på 70 dB. Dette dynamiske området er imidlertid mye smalere enn belysningsområdet for naturlige scener (280 dB).
"For å oppnå visuell oppfatning over et bredt spekter av lysintensiteter, har forskere utforsket bruken av kontrollerte optiske blenderåpninger, flytende linser, justerbare eksponeringstider og denoising algoritmer i etterbehandling," sa Yang Chai. "Disse metodene krever imidlertid ofte komplekse maskinvare- og programvareressurser."
Mørk og lett tilpasning av biomimetiske synssensorer. (a) Skjematisk for den mørke tilpasningstesten: gjenkjenning av bilder med lite lys ved hjelp av en matrise på 8 x 8 piksler i et mørkt miljø. (b) Skjematisk diagram over lystilpasningstest: gjenkjenning av bilder med høy belysning ved hjelp av en matrise på 8 x 8 piksler i et lyst miljø. (c) Mørk tilpasningsprosess for å identifisere "8"-mønsteret. (d) Fotoadaptation prosessen for å identifisere "8" mønsteret.
Optoelektroniske enheter med lys adaptiv visjon og bredt sensorisk område på sensoriske terminaler kan ha svært verdifulle bruksområder. De kan for eksempel bidra til å forbedre ytelsen til datasynsverktøy, redusere maskinvarekompleksiteten som kreves for å bygge roboter eller andre sensorsystemer, og forbedre nøyaktigheten til bildegjenkjenningssystemer.
Selv om andre forskningsteam har utviklet optoelektroniske enheter som kan tilpasse seg ulike lysforhold tidligere. Imidlertid kan de fleste av de tidligere demonstrerte enhetene bare etterligne den lette tilpasningsmekanismen til netthinnen. Den mørke tilpasningsprosessen har så langt vist seg vanskeligere å simulere.
"Det er fortsatt en lang vei å gå for å fullstendig gjenskape den visuelle tilpasningsfunksjonen til netthinnen," forklarer Yang Chai. " For å oppnå dette designet vi en fototransistorbasert synssensor ved hjelp av ultratynne halvledere som kan Graden av mørk tilpasning og lystilpasning i samme enhet ble kontrollert ved å bruke forskjellige portspenninger. På denne måten simulerte vi fotoreseptorer og horisontale celler i netthinnen og oppnådde et sensingområde på 199 dB. Syns-adaptive enheter i biomimetiske sensorer."
Kunstig simulering av fotoreseptorer og horisontale celler i netthinnen for visuell tilpasning (mørk tilpasning og lystilpasning)
Den biomimetiske synssensoren utviklet av Yang Chai og kolleger er basert på fototransistorer laget av et ultratynn halvledermateriale kjent som molybdendisulfid. Fototransistorene de brukte har flere ladefelletilstander som kan fange eller frigjøre elektroner i kanalen ved forskjellige portspenninger.
Til syvende og sist tillater disse statene forskere å dynamisk justere oppførselen til enhetene sine. Dette tillot dem i sin tur å kunstig simulere de mørke og lys-adaptive mekanismene til den menneskelige netthinnen, og dermed utvide rekkevidden av sensorens oppfatning av forskjellige lysforhold.
«Vår bioniske synssensor har flere fordeler og funksjoner», sier Yang Chai. " For det første implementeres den visuelle tilpasningsfunksjonen i en enkelt enhet, noe som i stor grad reduserer fotavtrykket. For det andre kan flere funksjoner implementeres på en enkelt enhet. , inkludert lysregistrering, minne og behandling. Til slutt kan mørk og lystilpasning under forskjellige lysintensiteter oppnås ved å kontrollere portspenningen.
Yang Chai og hans kolleger evaluerte den bioniske synssensoren i en rekke tester og fant ut at den effektivt kunne etterligne funksjonen til den menneskelige netthinnen, og oppnådde bemerkelsesverdige resultater i både mørk og lys tilpasning. Videre har den et betydelig høyere perseptuelt område (199 dB) sammenlignet med tidligere foreslåtte løsninger.
«Synssensoren vår kan berike maskinsynsfunksjoner, redusere maskinvarekompleksiteten og oppnå høy bildegjenkjenningseffektivitet», sier Yang Chai, «Alle disse fordelene er tilgjengelige på områder som autonom kjøring, ansiktsgjenkjenning og industriell produksjon i komplekse lysmiljøer. gode applikasjonsutsikter."
I fremtidige studier planlegger forskerne å forbedre ytelsen til synssensoren ytterligere, samtidig som den brukes til å fremstille store systemer som består av sensormatriser. Ideelt sett ønsker de å bygge denne sensormatrisen på et fleksibelt eller halvkuleformet substrat for å muliggjøre et bredere synsfelt.
"Et område som trenger forbedring er tilpasningstiden til synssensoren vår, da det fortsatt ikke er nok til å støtte maskinsynsapplikasjoner." Yang Chai la til: "Vårt mål er å redusere tilpasningstiden til mikrosekundnivået. I tillegg er det også behov for forbedringer av synssensormatrisen Ytterligere forbedringer. Vårt mål på kort sikt for matrisestørrelse er større enn 100 x 100 piksler. Endelig er den heterogene integrasjonen av synssensorer og etterbehandlingsenheter, inkludert silisiumbaserte kontrollkretser, et svært viktig skritt mot praktiske anvendelser.
GMKJ-teknologi er dypt engasjert i sunne og smarte lyskilder, og gir et komplett utvalg av UVA UVB UVC LED, infrarødE IR LED VCSEL-produkter og løsninger på markedet. Det har hundrevis av partnere av høy kvalitet i innenlandske og utenlandske markeder for i fellesskap å fremme bruken av lysteknologi for å skape et sunt og smart liv. .
