Quen recolle big data e por que?

No outono de 2019, estalou un escándalo co servizo Apple Card: ao rexistrarse, emitiu diferentes límites de crédito para homes e mulleres. Incluso Steve Wozniak non tivo sorte:

Un ano antes, revelouse que a plataforma Netflix mostra aos usuarios diferentes carteis e teasers, dependendo do seu sexo, idade e nacionalidade. Por iso, o servizo foi acusado de racismo.

Finalmente, Mark Zuckerberg é regularmente recriminado por supostamente recompilar, vender e manipular os datos dos seus usuarios por parte de Facebook. Ao longo dos anos, foi acusado e mesmo xulgado por manipulación durante as eleccións estadounidenses, axudando aos servizos especiais rusos, incitando ao odio e opinións radicais, publicidade inadecuada, filtrando datos de usuarios, obstaculizando as investigacións contra os pederastas.

Publicación en Facebook de zuck

Ao mesmo tempo, o servizo en liña Pornhub publica anualmente informes sobre o tipo de porno que buscan persoas de diferentes nacionalidades, xénero e idade. E por algún motivo isto non molesta a ninguén. Aínda que todas estas historias son similares: en cada unha delas estamos a tratar con grandes datos, que no século XNUMX chámase "novo petróleo".

Big data -tamén son big data (eng. Big Data) ou metadatos- son unha serie de datos que chegan regularmente e en grandes volumes. Recóllense, procesan e analízanse, dando como resultado modelos e patróns claros.

Pero os big data na web non son só estatísticas para a investigación científica. Pódense usar para rastrexar como se comportan os usuarios de diferentes grupos e nacionalidades, a que prestan atención e como interactúan co contido. Ás veces, para iso, os datos non se recollen dunha fonte, senón de varias, comparando e identificando determinados patróns.

Sobre o importante que é o big data na rede, comezaron a falar cando realmente había moito. A principios de 2020, había 4,5 millóns de usuarios de Internet no mundo, dos cales 3,8 millóns estaban rexistrados en redes sociais.

Segundo as enquisas, máis da metade dos nosos países considera que os seus datos na rede son utilizados por terceiros. Ao mesmo tempo, moitos publican información persoal, fotos e mesmo un número de teléfono en redes sociais e aplicacións.

Hai que explicalo aquí: a primeira persoa é o propio usuario, que coloca os seus datos en calquera recurso ou aplicación. Ao mesmo tempo, acepta (pon unha tick no acordo) o tratamento destes datos segunda parte, é dicir, os propietarios do recurso. Un terceiro son aqueles aos que os propietarios do recurso poden transferir ou vender os datos do usuario. Moitas veces isto está escrito no contrato de usuario, pero non sempre.

O terceiro son axencias gobernamentais, hackers ou empresas que compran datos con fins comerciais. Os primeiros poden obter datos por decisión dun tribunal ou dunha autoridade superior. Os piratas informáticos, por suposto, non usan ningún permiso: simplemente piratean as bases de datos almacenadas nos servidores. As empresas (por lei) só poden acceder aos datos se vostede mesmo o permitiu, marcando a caixa do acordo. En caso contrario, é ilegal.

O big data no campo comercial utilizouse durante décadas, simplemente non era tan intenso como agora. Trátase, por exemplo, dos rexistros das cámaras de vixilancia, dos datos dos navegadores GPS ou dos pagos en liña. Agora, co desenvolvemento das redes sociais, servizos e aplicacións en liña, todo isto pódese conectar e obter a imaxe máis completa: onde viven os potenciais clientes, que lles gusta ver, onde van de vacacións e que marca de coche teñen.

Dos exemplos anteriores, está claro que coa axuda do big data, as empresas, en primeiro lugar, queren orientar anuncios. É dicir, ofrecer produtos, servizos ou opcións individuais só ao público axeitado e mesmo personalizar o produto para un usuario concreto. Ademais, a publicidade en Facebook e noutras grandes plataformas é cada vez máis cara, e mostrarllo a todos seguidos non é para nada rendible.

Pero hai outra tarefa importante que se está a loitar nos últimos anos: achegarse ao público máis solvente. Isto non é tan sinxelo de facer, aínda que a tarefa vese moi facilitada polos servizos de pago e os cheques electrónicos a través dun único OFD (operador de datos fiscais). Para achegarse o máis posible, as empresas incluso intentan rastrexar e "alimentar" os clientes potenciais desde a infancia.: a través de xogos en liña, xoguetes interactivos e servizos educativos.

As maiores oportunidades de recollida de datos son as de corporacións globais que posúen varios servizos á vez. Facebook ten agora máis de 2,5 millóns de usuarios activos. Ao mesmo tempo, a compañía tamén posúe outros servizos: Instagram, máis de 1 millóns, WhatsApp, máis de 2 millóns e outros.

Pero Google ten aínda máis influencia: Gmail é usado por 1,5 millóns de persoas no mundo, outros 2,5 millóns polo sistema operativo móbil Android, máis de 2 millóns por YouTube. E iso sen contar a busca de Google e as aplicacións de Google Maps, a tenda Google Play e o navegador Chrome. Queda por axustar o teu banco en liña e Google poderá saber literalmente todo sobre ti. Por certo, Yandex xa está un paso por diante neste sentido, pero abarca só ao público de fala rusa.

???? En primeiro lugar, as empresas están interesadas no que publicamos e nos gusta nas redes sociais. Por exemplo, se o banco ve que estás casado e che gustan activamente as mozas en Instagram ou Tinder, é máis probable que aprobes un préstamo de consumo. E a hipoteca da familia desapareceu.

Tamén é importante en que anuncios fai clic, con que frecuencia e con que resultado.

(É dicir O seguinte paso son as mensaxes privadas: conteñen moita máis información. As mensaxes filtráronse en VKontakte, Facebook, WhatsApp e outros mensaxeiros instantáneos. Segundo eles, por certo, é fácil rastrexar a xeolocalización no momento de enviar a mensaxe. Seguro que xa notaches: cando falas de comprar algo ou simplemente de pedir pizza con alguén, aparece inmediatamente publicidade relevante no feed.

🚕 Os servizos de entrega e taxis usan e "filtran" activamente os grandes datos. Saben onde vives e traballas, o que che gusta, cales son os teus ingresos aproximados. Uber, por exemplo, mostra o prezo máis alto se estás conducindo a casa desde o bar e obviamente esaxerado. E cando tes un montón de agregadores no teu teléfono, pola contra, ofrecerán outros máis baratos.

(É dicir Hai servizos que utilizan fotos e vídeos para recoller a maior cantidade de información posible. Por exemplo, bibliotecas de visión por ordenador: Google ten unha. Escanean ti e o teu entorno para ver que talla ou altura tes, que marcas usas, que coche conduces, se tes fillos ou mascotas.

(É dicir Os que proporcionan pasarelas de SMS aos bancos para os seus envíos poden rastrexar as súas compras na tarxeta – coñecendo os últimos 4 díxitos e un número de teléfono – e logo vender estes datos a outra persoa. De aí todo este spam con descontos e pizza de agasallo.

🤷️️ Finalmente, nós mesmos filtramos os nosos datos aos servizos e aplicacións da esquerda. Lembra o bombo ao redor de Getcontact, cando todos estaban felices de encher o seu número de teléfono para descubrir como o escribiron outros. E agora atopa o seu acordo e le o que di sobre a transferencia dos teus datos (spoiler: os propietarios poden cedilos a terceiros segundo o seu criterio):

As corporacións poden recoller e incluso vender con éxito os datos dos usuarios durante anos, ata que se trate dunha demanda, como ocorreu co mesmo Facebook. E entón o papel decisivo foi a violación da empresa do GDPR, unha lei na UE que restrinxe o uso de datos de forma moito máis estrita que a estadounidense. Outro exemplo recente é o escándalo do antivirus Avast: un dos servizos subsidiarios da compañía recolleu e vendía datos de 100 a 400 millóns de usuarios.

Pero todo isto ten algunha vantaxe para nós?

Si, tamén hai un lado positivo.

Big data axuda a atrapar criminais e previr ataques terroristas, atopar nenos desaparecidos e protexelos dos perigos.

Coa súa axuda, nós recibimos ofertas interesantes de bancos e descontos persoais. Grazas a eles nós non pagamos por moitos servizos e redes sociais que gañan só en publicidade. Se non, só Instagram custaríanos varios miles de dólares ao mes.

Por último, ás veces é só conveniente: cando os servizos xa saben onde estás e que queres, e non tes que buscar ti mesmo a información que necesitas.

Outra área prometedora para a aplicación do Big Data é a educación.

Nunha das universidades americanas de Virxinia, realizouse un estudo para recoller datos sobre estudantes do chamado grupo de risco. Estes son os que estudan mal, perden as clases e están a piques de abandonar. O caso é que nos estados cada ano descontan unhas 400 persoas. Isto é malo tanto para as universidades, que baixan a cualificación e recortan o financiamento, como para os propios estudantes: moitos toman créditos para a educación que, despois de deducir, aínda haberá que devolver. Sen esquecer o tempo perdido e as perspectivas de carreira. Coa axuda do big data, é posible identificar os atrasados ​​no tempo e ofrecerlles un titor, clases adicionais e outra asistencia específica.

Isto, por certo, tamén é axeitado para as escolas: entón o sistema avisará aos profesores e aos pais: din, o neno ten problemas, axudámolo xuntos. Big Data tamén axudarache a comprender que libros de texto funcionan mellor e que profesores explican o material con máis facilidade.

Outro exemplo positivo é o perfil de carreira.: é cando se axuda aos adolescentes a decidir sobre a súa futura profesión. Aquí, o big data permite recoller información que non se pode obter mediante as probas tradicionais: como se comporta o usuario, a que presta atención, como interactúa co contido.

Nos mesmos EUA existe un programa de orientación profesional: SC ACCELERATE. Utiliza, entre outras cousas, a tecnoloxía GPS CareerChoice: analizan datos sobre a natureza dos estudantes, as súas inclinacións polas materias, os puntos fortes e débiles. A continuación, os datos úsanse para axudar aos adolescentes a escoller as universidades adecuadas para eles.

Subscríbete e síguenos en Yandex.Zen: tecnoloxía, innovación, economía, educación e compartir nunha soa canle.