Desde los medios masivos tradicionales, como la radio y la televisión, hasta los interindividuales como el teléfono o el correo; desde las plataformas generalistas, como Facebook o Twitter, hasta las apps más utilizadas a diario, como el home banking o las apps de citas; desde Google hasta la realidad en el metaverso. Medios, discursos e intercambios que conviven y se tensionan en un clima marcado por el fracaso, la incertidumbre y la sorpresa. En este libro, José Luis Fernández nos propone una mecánica, una mirada propia a partir de un recorrido extenso de lecturas e investigaciones, una caja de herramientas para el análisis de las mediatizaciones. Una metodología para trabajar a fondo sobre la mesa de las disciplinas sociales, para desarmar y armar el complejo engranaje sobre el que se producen y articulan los discursos mediáticos y, por lo tanto, la vida en las sociedades contemporáneas.
A continuación, un fragmento a modo de adelanto:
¿Los datos se capturan o se construyen?
Como siempre que nos introducimos en lo micro, poco frecuentado, nos exponemos a que se nos atribuyan irrelevancias, pero también enfrentamos el riesgo ya conocido de que la complejidad de lo micro nos desborde e impida la intelección de los lectores.
Como aquí nos interesa introducirnos en el problema de la captura de los textos como datos, comenzaremos por el pasaje del dato al sentido.
Desde nuestro marco teórico, la respuesta es simple: si cualquier tipo de datos construidos por un proceso maquinístico (technical) adquiere sentido para un usuario, un analista o un investigador, es porque se lo puede incluir en un sistema de intercambio que, sea o no exclusivamente de sentido, deberá tener una dimensión discursiva para resultar inteligible.
¿Cuál es el problema si a ese proceso, que es inevitable, no se lo somete a crítica y a deconstrucción? El riesgo es considerar los intercambios estudiados como cubiertos por los verosímiles del investigador, quien, si no tiene conocimientos específicos, simplemente repetirá conclusiones o encontrará novedades previsibles. Ningún investigador o analista tiene una visión diferente a cualquier otro nativo si su conocimiento no proviene de metodologías específicas.
La geolocalización de un individuo o un evento se convierte en dato para alguien si el recorrido y la localización se completan con información, costumbres, respuestas, es decir, intercambios en los que cada sujeto está incluido. Lo mismo ocurre, en realidad, con cada megusteo/faveo que se recibe o se da, gestos digitales que, para ser comprendidos, requieren mucha información. ¿Quién no se ha preguntado, y frecuentemente, a qué se debe el faveo o rt de un individuo, sea por desconocido o por demasiado conocido?
Si no está incluido en un sistema de intercambio discursivo, se puede llamar dato a cualquier elemento registrable, pero seguro que no es el tipo de dato que nos interesa a quienes estudiamos mediatizaciones, plataformas, apps y redes y que intentamos comprender sus diversos funcionamientos. Esta riqueza y complejidad de cada rasgo de un intercambio tal vez nunca fue bien comprendida dentro de la comunicación masiva, pero ahora es inevitable enfrentarla (Fernández, 2021).
Como se ve, la respuesta es sencilla, pero la reconstrucción del sistema es de altísima complejidad.
Al estudiar cómo se analizan popularidades a través de seguidores o contactos, de megusteos o faveos, el nivel de presuposición no empírico es altísimo, y es imposible pasar de un faveo al sistema de popularidad y, mucho menos, a partir del saber sobre el sistema de popularidad, cómo se justifica cada faveo. La circularidad no es una primera opción.
De todos modos, si se considera como dato el resultado de algunos de esos clics o señales digitales, en el caso del pasaje de textos a datos, el problema comienza con la propia captura.
En el caso específico de las capturas de textos como datos, los softwares se mueven entre dos extremos: se capturan palabras o se capturan puntos materiales que se utilizan para construir perfiles (de usuario, de sonidos, de rostros, de imágenes como textos). La captura por hashtags es un buen ejemplo de las limitaciones de esas clasificaciones: son palabras o listas de palabras precedidas por el signo # (numeral o ¡almohadilla! en España).
Si una mediatización es un sistema de intercambio discursivo, siempre complejo, que incluye materialidades, sistemas genérico-estilísticos y propuestas de uso o aplicación, cada vez que algún investigador o analista dice que utilizó un procesador de textos en tanto que procesador de palabras, se debe llamar la atención, aunque nos fascinen las estadísticas de repetición y frecuencias y la construcción de patrones de relaciones entre palabras.
En lo que considero como el otro extremo del análisis con procesadores de textos/palabras, está la captura de fenómenos más o menos vinculados con las imágenes. Prestar atención a los extremos sirve, a esta altura, porque los caminos intermedios son múltiples, complejos, muchas veces fragmentarios. Además, siempre se requiere de una especialización y un estudio que difícilmente tenga un científico social a esta altura de los acontecimientos.
No llegué al tema de estos softwares de captura por las imágenes, sino por los raw audio tracks, construidos según el modelo de análisis automático de rostros y utilizados, aparentemente, por Spotify para configurar recomendaciones musicales sofisticadas que, al menos en principio, ponen en cuestión las clasificaciones genérico-estilísticas. De allí provienen las recomendaciones de playlists que se adaptan a estados de ánimo y contextos específicos.
Eso explica perfectamente por qué nos interesa este tipo de softwares y de captura de datos para los que estudiamos plataformas musicales desde nuestra sociosemiótica: sería posible capturar patrones musicales más allá de la conciencia de los usuarios, que elegirían música no solo por sus criterios estilísticos, sino también por cierta empatía de audio (Jáuregui, 2015).
Presentemos ese ejemplo, entonces, como si fuera sencillo: el de los softwares de reconocimiento facial, cuyos principios, como veremos luego, se aplican a diferentes reconocimientos de objetos.
En cierto sentido, las imágenes de la figura 8 son asimilables a la grilla clasificatoria de la observación que presentaremos luego en la tabla 1. Algo así como hipótesis clasificatorias de los materiales sobre los que se está investigando o ejerciendo funciones de análisis. Siguiendo con las simplificaciones que aquí nos resultan operativas, hay en la actualidad dos tipos de usos aplicados sobre rostros efectivamente existentes:
- El reconocimiento individual, que depende de que los datos extraídos de un rostro estén también distribuidos de un modo equivalente en bases de datos. Es decir que su sentido se completa en un sistema de identidades previas. Si no, el cierre sería imposible, o mucho más complejo y en un área diferente, aunque relacionada, de la intervención social y el control social.
- La segmentación del portador del rostro dentro de alguna condición social, muy frecuentemente de atribuciones de riesgo criminológico, pero de inevitables relaciones también con patrones de consumo.
Mientras en el primer caso la conexión de nuestros datos con un sistema es simple y neutra, aunque las consecuencias en términos de seguridad o de estigmatización sean complejas, en la segunda aplicación las reminiscencias lombrosianas son inevitables, pero, además, harán estallar las clasificaciones sociales más ingenuas. Si no se salva ese salto de complejidad, ni las aviesas intenciones de control social podrán ser efectivas y, como ya está ocurriendo, el nivel de error tenderá a ser inmanejable.
Si con la aplicación sobre la materialidad de los rostros encontramos ese nivel de limitaciones y conflictos, imaginemos lo que ocurre si la materialidad de la que extraer datos son emojis y gestos como megustear o favear. Vamos a mostrar que este tipo de problemas no son un invento de complejización desde la sociosemiótica, sino parte de un inevitable proceso de maduración en los caminos de análisis.
Dentro de la bibliografía que se cita en un trabajo muy reciente de recolección, clasificación y archivo de memes (Rogers y Giorgi, 2022), nos encontramos con una brillante tesis de doctorado que estudia apps de captura y clasificación de imágenes. En la tesis de Janna J. Omena (2021), el objetivo es comprender los resultados de apps de api (application programming interfaces) a la captura, selección y clasificación de imágenes . Un tópico muy específico es el de la gramatización de las plataformas (platform grammatisation), entendiendo que, en el contexto de los métodos digitales,
se refiere a procesos inherentes a la tecnología de proceso en el entorno Web y de apis, a través de los cuales la comunicación, los actos y las acciones en línea se estructuran, capturan y fusionan con otros registros, disponibles de forma limitada a través de métodos de recuperación de datos como el rastreo, scraping o llamada api… Como ejemplo, veamos cómo TikTok estructura el contenido de video y los metadatos… debemos consultar las interfaces front-end y back-end de la aplicación móvil como puntos de partida referenciales para comprender cuáles son los actos y acciones que se pueden hacer con un video de TikTok (mirando la interfaz de usuario final) y cómo estos actos y acciones se reorganizan y están disponibles a través de infraestructuras de back-end… (Omena, 2021: 119-120).
Como se ve, la tesis trabaja en ese punto exacto en que lo subdiscursivo, tanto dentro de las propias plataformas como en las apps de captura y tratamiento, convierte a lo digitalizado por las plataformas en objetos de análisis, primero, y en resultados operativos, luego. En este enfoque, la conflictividad entre el análisis humano y el maquinístico es secundaria (sin que ello implique olvidar sus múltiples diferencias y, mucho menos, todo lo que es dejado afuera).
En los ejemplos que citamos, se muestra con imágenes lo que para nosotros son tortitas hojaldradas con crema pastelera. Como primer problema, no quiero pensar en los diversos términos y sentidos, en los diversos castellanos, aplicados a tortita, hojaldre y crema pastelera. Para la autora, se trata de “Pastel de Nata, un famoso pastel portugués que aparece abundantemente en el conjunto de datos relacionados con el país” (Omena, 2021: 221).
Un primer ejercicio que propone es utilizar dos api de Google, una que captura etiquetas (labels) y otra que captura imágenes (entidades), para comparar sus resultados. En ambos casos, puede decirse que las apps capturan un cierto campo semántico descriptivo de modos de denominación.
Al mostrar estos resultados, y preguntarse qué se puede aprender de ellos, Omena advierte los peligros de diversos sesgos. En primer lugar, sobre los riesgos “adictivos” por aplicar lo fácil. Luego, que la capacidad de aplicar un software no debe confundirse con la de conocer la tecnicidad de la aplicación (es decir, sus procedimientos de captura y análisis) y tampoco con la de cómo representar los resultados, que siempre los softwares proponen. Es decir que los softwares ya son portadores de sentido, de lo que deviene la necesidad de conocer el “funcionamiento de las imágenes”, y que el investigador debe conocer, tanto en cuanto a las técnicas algorítmicas como a los procedimientos de clasificación (Omena, 2021: 203-204).
La mirada de Omena, además, no es ajena a los grandes conflictos que atraviesan en nuestra época las relaciones entre investigación y problemática sociocultural. Por eso, apoyándose en una amplia bibliografía de crítica a la neutralidad de la técnica, advierte: “No se puede diseñar, construir, investigar o teorizar sobre los fenómenos sin tener en cuenta las relaciones de poder inherentes a la concentración de la propiedad, desarrollo y venta de tecnologías en usa y Silicon Valley, por ejemplo” (Omena, 2021: 229).
Otro análisis recupera de modo comparativo la captura y el tratamiento de imágenes pasteles de nata por las api de Google, IBM y Microsoft Fuente: Omena (2021: 222).
¿Cómo ha funcionado aquí la técnica cuando se compara el modo de clasificación llevado a cabo por esas tres apps diferentes? Por supuesto que registramos que las tres provienen del mismo contexto económico y epistemo-político. ¿Está funcionando aquí su mandato tecnológico-clasificatorio? ¿De qué manera?
Todas las etiquetas describen atributos o conceptos del producto alimenticio. Tal vez porque la tesis de Omena trata de capturar la capacidad clasificatoria y descriptiva de las api, el análisis subraya en negrita los que son específicos del producto (aunque no lo describan o nominen bien). Quedan sin subrayar los que deben considerarse como genéricos (food, nutrition, finger food, entre otros). Si bien la mención a pastel de nata es mayor en Portugal, la tesista concluye con razón que ese modo de clasificar “demuestra el bajo grado de especificidad cultural de las apis” (Omena, 2021: 221).
Conviene advertir acerca de que no debe ser confundida como propia de las distancias entre lo micro y lo macro la tensión entre, por un lado, la sensibilidad y el conocimiento que requiere la aplicación de api de captura y clasificación automática de imágenes y, por el otro, las concepciones entre el ecosistema económico y sus propuestas tecnológicas.
En última instancia, ¿se trata de la neutralidad macro de la técnica, de las reflexiones meso, que construyen instancias de aplicación o de sus usos micro? ¿En todos los planos la técnica ejerce el mismo nivel y, más precisamente, tipo de influencia?
Por supuesto que las experiencias, discusiones e interpretaciones en los tres niveles y entre ellos pueden y deben ser productivas, pero en buena parte lo serán si se obtienen nuevos conocimientos. La experimentación sobre la aplicación de api, o como se las denomine, a diversos objetos o fenómenos de las plataformas es uno de los caminos. Discutir los modos de captura y análisis de esas api, en un escenario en el que intervengan otros modos de selección, captura y análisis, puede ser otro camino productivo y convergente, sean esos modos de selección, captura y tratamiento sobre objetos alimentarios o sobre memes (Rogers y Oliva, 2022).
Desde mi experiencia, para avanzar en la comprensión de las relaciones entre los sistemas macro y sus manifestaciones micro, deberá profundizarse todavía un poco más para refinar lo meso. Por eso, es preferible, entre las diversas experiencias que presenta Omena, elegir las que tienen como referente a la pastelería, antes que las diversas representaciones de lo corporal, de por sí más conflictivas.
