Guida parentale: "intelligenza artificiale" utilizzata per valutare le babysitter in base alla cronologia dei loro social media
Quando Jessie Battaglia iniziò a cercare una nuova babysitter per suo figlio di un anno, voleva più informazioni di quelle che poteva ricavare da un controllo su precedenti criminali, commenti dei genitori e un'intervista faccia a faccia.
Così si è rivolta a Predictim, un servizio online che utilizza "intelligenza artificiale avanzata" per valutare la personalità di una baby-sitter e ha indirizzato i propri scanner a migliaia di post su Facebook, Twitter e Instagram di un candidato.
Il sistema offriva una "valutazione del rischio" automatizzata di un candidato di 24 anni, dicendo che era a "rischio molto basso" di essere un tossicodipendente. Ma ha dato una valutazione del rischio leggermente più alta - due su cinque - per bullismo, molestie, "mancanza di rispetto" e "cattiva attitudine".
Il sistema non spiegava perché avesse preso quella decisione. Ma Battaglia, che aveva creduto che la modella fosse degna di fiducia, sentì all'improvviso fitte di dubbio.
"I social media mostrano il carattere di una persona", ha detto Battaglia, 29 anni, che vive vicino a Los Angeles. "Allora perché è venuta a due e non a uno?"
Predictim offre ai genitori lo stesso playbook che decine di altre aziende tecnologiche stanno vendendo ai datori di lavoro di tutto il mondo: sistemi di intelligenza artificiale che analizzano il linguaggio, le espressioni facciali e la storia online di una persona con la promessa di rivelare gli aspetti nascosti delle loro vite private.
La tecnologia sta ridisegnando il modo in cui alcune aziende si avvicinano al reclutamento, all'assunzione e alla revisione dei lavoratori, offrendo ai datori di lavoro uno sguardo senza eguali ai candidati al lavoro attraverso una nuova ondata di valutazione e sorveglianza psicologica invasiva.
La Fama dice che usa l'intelligenza artificiale per sorvegliare i social media dei lavoratori per "comportamenti tossici" e allertare i loro capi. E la società di recruitment technology HireVue, che collabora con aziende come Geico, Hilton e Unilever, offre un sistema che analizza automaticamente il tono dei candidati, la scelta delle parole e i movimenti del viso durante le interviste video per prevedere la loro abilità e contegno sul lavoro. (I candidati sono incoraggiati a sorridere per ottenere i migliori risultati).
Ma i critici sostengono che Predictim e sistemi simili presentano i propri pericoli rendendo virtualmente non controllate le decisioni automatiche e potenzialmente modificabili.
I sistemi dipendono da algoritmi black-box che forniscono pochi dettagli su come hanno ridotto le complessità della vita interiore di una persona in un calcolo di virtù o danno. E anche se la tecnologia di Predictim influenza il pensiero dei genitori, rimane del tutto non provata, in gran parte inspiegabile e vulnerabile ai silenziosi pregiudizi su come una baby-sitter appropriata dovrebbe condividere, guardare e parlare.
C'è questa "folle corsa a impadronirsi del potere dell'intelligenza artificiale per prendere ogni tipo di decisione senza garantire che sia responsabile nei confronti degli esseri umani", ha affermato Jeff Chester, direttore esecutivo del Center for Digital Democracy, un gruppo di difesa tecnologica. "È come se la gente avesse bevuto il Kool-Aid digitale e pensare che questo fosse un modo appropriato per governare le nostre vite."
Le scansioni di Predictim analizzano l'intera storia dei social media di una babysitter, che, per molti dei più giovani, può coprire la maggior parte della loro vita. E ai sitter viene detto che saranno in grave svantaggio per i lavori competitivi se rifiutano.
Il capo e co-fondatore di Predictim Sal Parsa ha detto che la società, lanciata lo scorso mese come parte della University of California presso l'incubatore tecnologico SkyDeck di Berkeley, prende seriamente domande etiche sul suo uso della tecnologia. I genitori, ha detto, dovrebbero vedere le valutazioni come un compagno che "può o non può riflettere gli attributi reali del sitter".
Ma il pericolo di assumere una baby-sitter problematica o violenta, ha aggiunto, rende l'intelligenza artificiale uno strumento necessario per ogni genitore che spera di tenere al sicuro suo figlio.
"Se cerchi babysitter violente su Google, vedrai centinaia di risultati in questo momento", ha affermato. "C'è gente là fuori che ha una malattia mentale o è appena nata male. Il nostro obiettivo è fare tutto il possibile per fermarli".
Una scansione di Predictim parte da $ 24, 99 e richiede il nome e l'indirizzo email di una babysitter e il suo consenso a condividere un ampio accesso ai suoi account sui social media. La babysitter può rifiutare, ma a un genitore viene comunicato il suo rifiuto, e in una e-mail al babysitter viene detto "il genitore interessato non sarà in grado di assumerti finché non completi questa richiesta".
I dirigenti di Predictim affermano di utilizzare algoritmi di elaborazione del linguaggio e un software di riconoscimento di immagini noto come "computer vision" per valutare i post su Facebook, Twitter e Instagram di babysitter per gli indizi sulla loro vita offline. Al genitore viene fornito esclusivamente il report e non è necessario comunicare al bambino i risultati.
Presumibilmente, i genitori potrebbero guardare direttamente ai loro account di social media pubblici. Ma i report generati dal computer promettono un'approfondita analisi di anni di attività online, riassunti in un'unica cifra: una soluzione inebriante e semplice per un compito poco pratico.
Le valutazioni del rischio sono suddivise in diverse categorie, tra cui il contenuto esplicito e l'abuso di droghe. Lo start-up ha anche annunciato che il suo sistema può valutare le babysitter su altri tratti della personalità, come la gentilezza, la capacità di lavorare con gli altri e la "positività".
L'azienda spera di rimediare all'industria del "parental outsourcing" multimiliardario e ha iniziato a pubblicizzare attraverso sponsorizzazioni a pagamento di blog di genitori e mamme. Il marketing della società si concentra principalmente sulla sua capacità di svelare segreti nascosti e prevenire "l'incubo di ogni genitore", citando casi criminali tra cui quello di una babysitter del Kentucky accusato all'inizio di quest'anno di ferire gravemente una bambina di otto mesi.
"Se i genitori della bambina ferita da questa babysitter fossero stati in grado di usare Predictim come parte del loro processo di controllo", dice un documento di marketing aziendale, "non l'avrebbero mai lasciata sola con il loro prezioso bambino".
Ma gli esperti di tecnologia dicono che il sistema solleva bandiere rosse a sé stante, comprese le preoccupazioni che si tratti di predire i timori dei genitori di vendere scansioni di personalità di accuratezza non testata.
Si interrogano anche su come i sistemi vengono addestrati e su come potrebbero essere vulnerabili a fraintendere i significati indistinti dell'uso dei social media di sitter. Per tutti tranne che per le scansioni a più alto rischio, ai genitori viene dato solo un suggerimento di comportamento discutibile e nessuna frase specifica, link o dettagli da valutare autonomamente.
Quando la scansione di una babysitter è stata segnalata per possibili comportamenti di bullismo, la madre sconvolta che lo ha richiesto ha affermato di non poter dire se il software avesse individuato una citazione di un vecchio film, una canzone o un'altra frase in contrasto con il vero linguaggio del bullismo.
Ma Predictim dice tuttavia che si sta preparando per un'espansione a livello nazionale. I dirigenti di Sittercity, un marketplace di babysitter online visitato da milioni di genitori, hanno annunciato che stanno lanciando un programma pilota all'inizio del prossimo anno che ripiegherà le valutazioni automatizzate di Predictim nell'attuale schiera di schermate di sitter e verifiche di background del sito.
"Trovare un personaggio può avere molte incertezze", ha detto Sandra Dainora, responsabile del prodotto di Sittercity, che ritiene che strumenti come questi potrebbero presto diventare "valuta standard" per trovare i caregiver online. "I genitori cercano sempre la soluzione migliore, la maggior parte delle ricerche, i fatti migliori."
Il Washington Post