Uppdatering: Apple nämnde en andra inspektion av servern och ett professionellt datorvisionsföretag beskrev en möjlighet till vad detta skulle kunna beskrivas i "Hur den andra inspektionen kan fungera" nedan.
Efter att utvecklarna omvänt delar av det har den tidiga versionen av Apple CSAM-systemet effektivt lurats för att markera en oskyldig bild.Apple uppgav dock att de har ytterligare skyddsåtgärder för att förhindra att detta händer i verkligheten.
Den senaste utvecklingen inträffade efter att NeuralHash-algoritmen publicerades på utvecklarwebbplatsen GitHub med öppen källkod, vem som helst kan experimentera med den...
Alla CSAM-system fungerar genom att importera en databas med känt material för sexuella övergrepp mot barn från organisationer som National Center for Missing and Exploited Children (NCMEC).Databasen tillhandahålls i form av hash eller digitala fingeravtryck från bilder.
Även om de flesta teknikjättar skannar bilder som laddats upp i molnet, använder Apple NeuralHash-algoritmen på kundens iPhone för att generera ett hashvärde för det lagrade fotot och jämför det sedan med den nedladdade kopian av CSAM-hashvärdet.
Igår hävdade en utvecklare att han hade omvänt konstruerat Apples algoritm och släppt koden till GitHub - detta påstående bekräftades effektivt av Apple.
Inom några timmar efter att GitHib släpptes använde forskarna framgångsrikt algoritmen för att skapa en avsiktlig falsk positiv - två helt olika bilder som genererade samma hashvärde.Detta kallas en kollision.
För sådana system finns det alltid risk för kollisioner, eftersom hashen så klart är en kraftigt förenklad representation av bilden, men det är förvånande att någon kan generera bilden så snabbt.
Den avsiktliga kollisionen här är bara ett bevis på konceptet.Utvecklare har inte tillgång till CSAM-hashdatabasen, vilket skulle kräva skapandet av falska positiver i realtidssystemet, men det bevisar att kollisionsattacker i princip är relativt lätta.
Apple bekräftade effektivt att algoritmen är grunden för sitt eget system, men sa till moderkortet att detta inte är den slutliga versionen.Företaget uppgav också att det aldrig hade för avsikt att hålla det konfidentiellt.
Apple berättade för Motherboard i ett e-postmeddelande att versionen som analyserats av användaren på GitHub är en generisk version, inte den slutliga versionen som används för iCloud Photo CSAM-detektering.Apple sa att de också avslöjade algoritmen.
"NeuralHash-algoritmen [...] är en del av den signerade operativsystemkoden [och] säkerhetsforskare kan verifiera att dess beteende överensstämmer med beskrivningen", skrev ett Apple-dokument.
Företaget fortsatte med att säga att det finns ytterligare två steg: köra ett sekundärt (hemligt) matchningssystem på sin egen server och manuell granskning.
Apple uppgav också att efter att användare passerat tröskeln på 30 matcher kommer en andra icke-offentlig algoritm som körs på Apples servrar att kontrollera resultaten.
"Denna oberoende hash valdes för att avvisa möjligheten att den felaktiga NeuralHash matchar den krypterade CSAM-databasen på enheten på grund av kontradiktorisk interferens av icke-CSAM-bilder och överskrider matchningströskeln."
Brad Dwyer från Roboflow hittade ett sätt att enkelt skilja mellan de två bilderna som lagts upp som ett bevis på konceptet för en kollisionsattack.
Jag är nyfiken på hur dessa bilder ser ut i CLIP av en liknande men annorlunda neural funktionsextraktor OpenAI.CLIP fungerar på samma sätt som NeuralHash;den tar en bild och använder ett neuralt nätverk för att generera en uppsättning funktionsvektorer som mappar till bildens innehåll.
Men OpenAI:s nätverk är annorlunda.Det är en generell modell som kan kartlägga mellan bilder och text.Det betyder att vi kan använda den för att extrahera bildinformation som är förståelig för människor.
Jag körde de två kollisionsbilderna ovan genom CLIP för att se om den också blev lurad.Det korta svaret är: nej.Detta innebär att Apple bör kunna använda ett andra funktionsextraktionsnätverk (som CLIP) på de upptäckta CSAM-bilderna för att avgöra om de är äkta eller falska.Det är mycket svårare att skapa bilder som lurar två nätverk samtidigt.
Slutligen, som tidigare nämnts, granskas bilderna manuellt för att bekräfta att de är CSAM.
En säkerhetsforskare sa att den enda verkliga risken är att alla som vill irritera Apple kan ge falska positiva resultat till mänskliga granskare.
"Apple designade faktiskt det här systemet, så hashfunktionen behöver inte hållas hemlig, eftersom det enda du kan göra med 'icke-CSAM som CSAM' är att irritera Apples svarsteam med några skräpbilder tills de implementerar filter för att eliminera analys Det skräp i pipelinen är falska positiva resultat, säger Nicholas Weaver, senior forskare vid Institute of International Computer Science vid University of California, Berkeley, till Motherboard i en onlinechatt.
Integritet är en fråga av ökande oro i dagens värld.Följ alla rapporter relaterade till integritet, säkerhet etc. i våra riktlinjer.
Ben Lovejoy är en brittisk teknisk skribent och EU-redaktör för 9to5Mac.Han är känd för sina kolumner och dagboksartiklar, och utforskar sin erfarenhet av Apples produkter över tid för att få mer omfattande recensioner.Han skriver också romaner, det finns två tekniska thrillers, några korta science fiction-filmer och en rom-com!
Posttid: 2021-august