Typology
Title
Author
Text

MINING

Estelle Blaschke

The history of photography has always been connected to the industrial history of exploiting raw materials—the chemical substances silver bromide, nitrate, or acetate for the analogue process or the semiconductor silicon as an essential component of digital photography. However, mining also refers to the harvesting and exploitation of images themselves, meaning the image content produced and the data recorded when taking a photograph. 

The history of photography has always been connected to the industrial history of exploiting raw materials—the chemical substances silver bromide, nitrate, or acetate for the analogue process or the semiconductor silicon as an essential component of digital photography. However, mining also refers to the harvesting and exploitation of images themselves, meaning the image content produced and the data recorded when taking a photograph. 

The limitless production, usually attributed to the banalization of photography, is of particular importance with regard to the contemporary mining technologies that are so pervasive in computing. Here, quantity is not a deficiency but a distinct quality of the medium. Easily available and produced at very little cost, image datasets are the basic raw material for image computing. When organized, classified, and annotated in image databases such as ImageNet, the Open Images database, or the proprietary datasets of the Big Five (Apple, Amazon, Facebook, Google, and Microsoft), the masses of indexed images allow for the development of image-recognition software. So-called computer vision—the automatic identification of objects and patterns in images—refers back to the long-held dream of organizing images according to their iconographic similarities. It also echoes the cybernetic imaginary of machine-assisted visual literacy. 

Today, computer vision has become widespread in data-driven engineering, manufacturing, and industrial agriculture as part of robotics and the continuous automation of production processes. The ultimate goal is machine-to-machine communication that largely operates without human direction. In addition, photographs are continuously created to monitor and optimize every aspect of the production process. Such photographs are operational in nature. They are deeply embedded in the production process and shaping it at the same time. While these technologies are still far from constituting a scalable practice—human labor, after all, especially in agriculture, is still more accurate, flexible, and cheap—they represent an additional function of contemporary photography: that is, photography as a catalyst for machine learning.

Machine learning, in turn, feeds back into the aesthetics, appearances, and visual culture of photography itself. It is present in the filter technologies in smart phones, in algorithms that structure search results and help navigate the abundance of simultaneously unfettered and networked images, as well as in computational photographs that are entirely artificial.

Die Geschichte der Fotografie ist seit jeher mit der Geschichte der industriellen Ausbeutung von Rohstoffen verbunden: chemische Substanzen wie Silberbromid, -nitrat oder -acetat für das analoge Verfahren oder Silizium in Halbleitern, ein wesentlicher Bestandteil der digitalen Fotografie. Der Begriff „Mining“ bezieht sich jedoch auch auf das massenhafte Sammeln und Verwerten von Bildern selbst, beziehungsweise auf die bei der Aufnahme einer Fotografie erzeugten Bildinhalte und aufgezeichneten Daten.

Die grenzenlose Produktion, die üblicherweise auf die Banalisierung der Fotografie zurückgeführt wird, ist für die heutigen, in der Informatik so allgegenwärtigen Mining-Technologien von besonderer Bedeutung. Hier ist die Quantität kein Makel, sondern ein Qualitätsmerkmal des Mediums. Leicht verfügbare und kostengünstig zusammengestellte Bilddatensätze sind das grundlegende Rohmaterial für die Bildverarbeitung. In Bilddatenbanken wie ImageNet, der Open Images Database oder den proprietären Datensätzen der Big Five (Apple, Amazon, Facebook, Google und Microsoft) organisiert, klassifiziert und mit Metadaten angereichert, ermöglichen die Massen an indexierten Bildern die Entwicklung von Bilderkennungssoftware. Die sogenannte Computer Vision, die automatische Identifizierung von Objekten und Mustern, geht auf den lang gehegten Traum zurück, Bilder nach ihrer ikonografischen Ähnlichkeit zu betrachten und zu ordnen. Auch gründet sie in der kybernetischen Idee von maschinengestützter visueller Kompetenz.

Heute ist die Computer Vision im datengesteuerten Ingenieurwesen, in der Fertigungstechnik und der industriellen Landwirtschaft als Teil der Robotik und der kontinuierlichen Automatisierung von Produktionsprozessen weit verbreitet. Das Ziel ist es, eine direkte Kommunikation zwischen Maschinen herzustellen, die weitestgehend ohne menschliche Anleitung funktioniert. In diesen Produktionsprozessen werden kontinuierlich Fotografien erstellt, um jeden Aspekt des Produktionsablaufs zu überwachen und zu optimieren. Die hergestellten Fotografien sind operativer Natur. Sie sind fest in den Produktionsvorgang eingebettet und prägen ihn gleichzeitig. Während diese Technologien noch weit von einer breiten Anwendung entfernt sind – menschliche Arbeit, insbesondere in der Landwirtschaft, ist immer noch genauer, flexibler und meist billiger –, repräsentieren sie eine zusätzliche Funktion der zeitgenössischen Fotografie: der Fotografie als Katalysator für maschinelles Lernen.

Dabei fließt das maschinelle Lernen wiederum in die Ästhetik, das Erscheinungsbild und die visuelle Kultur der Fotografie selbst ein. Es beeinflusst nicht nur die Filtertechnologien von Smartphones und findet sich in computergenerierten Bildern wieder, die Fotografien imitieren sollen, sondern es kommt in den Algorithmen zum Einsatz, die Suchergebnisse strukturieren und uns dabei helfen, durch die Fülle der entfesselten und zugleich miteinander vernetzten Bilder zu navigieren.

La storia della fotografia è sempre stata legata alla storia industriale dello sfruttamento delle materie prime; dall’argento (bromuro, nitrato, acetato) del processo analogico si è passati al silicio, semiconduttore e componente essenziale per la fotografia digitale. Il termine estrazione (mining), in ogni caso, si riferisce anche al processo di raccolta e sfruttamento delle immagini stesse, nel senso del contenuto che si produce e dei dati che vengono registrati ogni volta che si realizza una fotografia. 

La produzione senza limiti, che viene in genere attribuita alla banalizzazione della fotografia, è particolarmente importante quando si pensa alle tecnologie di estrazione e lettura dei dati che sono tanto diffuse nei processi di analisi digitale (computing). In questo caso, la quantità non è un difetto, ma una qualità distintiva del medium. Set di immagini preesistenti, facilmente acquisibili e prodotti a basso costo, sono il materiale di base per l’analisi delle nuove immagini. Una volta organizzate, classificate e annotate in banche dati come ImageNet, il database Open Images o i dataset proprietari dei Big Five (Apple, Amazon, Facebook, Google, Microsoft), le masse di immagini indicizzate consentono lo sviluppo di software per il riconoscimento. La cosiddetta “computer vision” – l’identificazione automatica di oggetti e modelli nelle immagini – riconduce al vecchio e ricorrente sogno di organizzare le immagini sulla base delle loro somiglianze iconografiche, rimandando anche all’immaginario cibernetico delle tecnologie di assistenza robotizzata della letteratura. 

Oggi la computer vision si è diffusa largamente nei campi dell’ingegneria, dell’industria manifatturiera e dell’agraria come parte della robotica e della progressiva automazione dei processi di produzione. L’obiettivo finale è il raggiungimento di un modello di comunicazione tra-macchina-e-macchina che operi ad ampio raggio senza il bisogno di direzione umana. Al fine di monitorare e ottimizzare ogni aspetto del processo di produzione, viene costantemente realizzata una grande quantità di immagini. In questo modo, le fotografie diventano immagini operative. Se queste tecnologie sono ancora lontane dal poter essere applicate su una scala più minuta – il lavoro dell’uomo, soprattutto in agricoltura, è ancora più accurato, flessibile ed economico – rappresentano comunque una funzione ulteriore della fotografia contemporanea: la fotografia come fattore fondamentale per l’apprendimento automatico (machine learning). 

L’apprendimento automatico si nutre e viene influenzato dall’estetica, dalle apparenze e dalla cultura visiva della fotografia stessa. È presente nei filtri che gli smartphone applicano alle immagini, negli algoritmi che ordinano i risultati delle nostre ricerche e ci aiutano a navigare tra un’infinità di immagini contemporaneamente libere e interconnesse, e nella “fotografia computazionale”, che è interamente artificiale. 

La photographie entretient une relation privilégiée avec l’extraction capitaliste des ressources. Par exemple, l’histoire de la photographie est une histoire continue d’exploitation des matières premières nécessaires au développement de substances chimiques, telles que le bromure, le nitrate ou l’acétate d’argent pour le processus analogique, ou le silicium en tant que semi-conducteur et composant essentiel de la photographie numérique. Cependant, le terme exploitation (en anglais mining) fait également référence à la collecte et à l’exploitation des images elles-mêmes, c’est-à-dire à l’extraction du contenu de l’image produite et des données enregistrées lors de la réalisation d’une photographie.

La production illimitée, que l’on attribue généralement à la banalisation de la photographie, revêt une importance particulière en ce qui concerne les technologies d’extraction qui sont si omniprésentes dans l’informatique d’aujourd’hui. Ici, la quantité n’est pas un défaut. C’est une qualité distincte du support. Les ensembles de données d’images, facilement disponibles et produits à très faible coût, constituent la matière première de base pour le traitement des images. Une fois organisées, classées et annotées dans des bases de données d’images telles que ImageNet, la base de données Open Images ou les ensembles de données propriétaires des Big Five (Apple, Amazon, Facebook/Meta, Google, Microsoft), les masses d’images indexées permettent le développement de logiciels de reconnaissance d’images. L’identification automatique d’objets et de motifs dans les images, connue sous le nom de “vision par ordinateur”, renvoie au vieux rêve de l’organisation des images en fonction de leurs similitudes iconographiques. Il fait également écho à l’imaginaire cybernétique d’une lecture visuelle assistée par machine, c’est-à-dire la possibilité d’interpréter automatiquement le contenu d’une image.

Aujourd’hui, la vision par ordinateur s’est généralisée dans l’ingénierie, la fabrication, l’architecture et l’agriculture industrielle fondées sur les données, dans le cadre de la robotique et de l’automatisation continue des processus de production. L’objectif ultime est une communication de machine à machine qui fonctionnerait en grande partie sans l’aide de l’homme. En outre, des photographies sont créées en permanence pour contrôler et optimiser chaque aspect du processus de production. Il s’agit donc d’images opérationnelles. Bien que ces technologies soient encore loin d’être une pratique évolutive – après tout, le travail humain, en particulier dans l’agriculture, est toujours plus précis, plus flexible et moins cher – elles représentent une fonction supplémentaire de la photographie contemporaine : La photographie en tant que catalyseur de l’apprentissage automatique.

L’apprentissage automatique, à son tour, alimente l’esthétique, les apparences et la culture visuelle de la photographie elle-même. Il est présent dans les technologies de filtrage des smartphones, dans les algorithmes qui structurent les résultats de recherche et aident à naviguer dans l’abondance d’images à la fois libres et en réseau. En outre, les photographies numériques et les données qu’elles produisent contribuent au développement d’images générées par ordinateur, y compris, plus récemment, l’intelligence artificielle générative, qui produit des images entièrement artificielles, mais qui imitent le photoréalisme.

Article

Tomatoes Are Fruits and Other Tales from Category Land

Simone C. Niquille

Available soon

Quote

There is only one Coliseum or Pantheon; but how many millions of potential negatives have they shed, representatives of billions of pictures, since they were erected!

Oliver Wendell Holmes, 1859

Es gibt nur ein Kolosseum oder Pantheon, doch wie viele Millionen möglicher Negative haben sie seit ihrer Errichtung abgesondert – die Grundlage von Milliarden von Bildern.

Source: Oliver Wendell Holmes, “The Stereoscope and the Stereograph,” in Classic Essays on Photography, ed. Alan Trachtenberg (New Haven: Leete’s Island Books, 1980), 71–82, p. 80.

Quote

Keine Sprache der Erde vermag eine so allgemein verständliche Sprache zu sprechen wie die Photographie […], allerdings muss man sich klar darüber werden, ob man der Kultur oder der Konjunktur dienen will.

August Sander, 1931

No language on earth speaks as comprehensively as photography […]. Of course, you have to have decided whether you will serve culture or the marketplace.”

Source: August Sander, Wesen und Werden der Photographie. Die Photographie als Weltsprache, 5. Vortrag, Blatt 2, 1931, Dokument REWE-Bibliothek in der Photographischen Sammlung/SK Stiftung Kultur-August Sander Archiv, Köln.

Typology
Title
Author
Artwork

DIF_000861_168

Armin Linke
Ter Laak Orchids, camera sorting technology, processing, Wateringen, Netherlands, 2021
In the Ter Laak “photo studio,” each orchid is captured in twenty-four images to analyze its size, color and shape through machine learning algorithms. On the basis of this visual information analysis, each flower is rated to determine its price category and market destination. 
Artwork

DIF_000861_159

Armin Linke
Ter Laak Orchids, orchid production line, Wateringen, Netherlands, 2021
Ter Laak grows over eight million orchids per year using robotics and data-driven production modes. Arranged on mobile platforms, millions of orchids are transferred to different heating or cooling areas depending on the stage of their growth. Conveyor belts and automatic gripper systems have been adapted from automotive production solutions to process the plants.
Artwork

DIF_000861_179

Armin Linke
Ter Laak Orchids, camera sorting technology, Wateringen, Netherlands, 2021
Artwork

DIF_000861_269

Armin Linke
Priva, tomato greenhouse, Priva Campus, De Lier, Netherlands, 2021
Data-driven production is the basis for new software products: Priva, for example, offers software under the proprietary brand name “Plantonomy,” promising more efficient resource planning and energy control while monetizing the laws of plant growth. According to Priva, both the expertise and products from automated plant cultivation can be applied equally to building design—in high-rise buildings, hotels, offices, schools, etc.
Artwork

DIF_000861_200

Armin Linke
Priva, the Kompano tomato leaf cutting robot, presentation of visual processing abilities, Priva Campus, De Lier, Netherlands, 2021
Archival

REF_000475_32

Estelle Blaschke
Eastman Kodak Annual Report, 1954. University of Rochester, Rare Books, Special Collections, and Preservation (RBSCP), Kodak Historical Collection
Archival

REF_000910_1

Estelle Blaschke
Advert for Priva Hortimation’s Supervision indoor horticulture management software, 2002. Priva Archive
Archival

REF_000927_1

Estelle Blaschke
Aimé Girard, Research on the cultivation of the industrial potato, Atlas with six heliogravures, 1889
Accompanied by empirical data and scientific measurements, the portfolio documents the different growth stages of the potato plant. Photography was widely applied in natural and human sciences as evidence and as a tool for knowledge production. 
Archival

REF

Edo Collins, Radhakrishna Achanta,  Sabine Süsstrunk, “Deep Feature Factorization for Concept Discovery,” paper presented at the European Conference on Computer Vision (ECCV), Munich, Germany, 2018
Clustering algorithms are developed in databases on the basis of annotated datasets, allowing objects to be identified in images from a variety of angles. Machine learning and visual content recognition requires large amounts of similar images and data sets. 
Archival

Realistic Graphics Lab, EPFL

École Polytechnique Fédérale de Lausanne (EPFL), Switzerland, Realistic Graphics Lab, Entry for the Rendering Competition, 2018  
Video

Interview

Amir Zamir

Amir Zamir, Head of the Visual Intelligence and Learning lab, EPFL, Lausanne, Switzerland, 15.02.2022, 13 min