The topology of philosophical position-taking

Max Noichl

Utrecht University

2024-09-23

Überblick

  • LLMs für die philosophische Forschung?
  • Ein Vorschlag.
  • Pilotstudie
  • Ausblicke

Wie können wir LLMs für die

Philosophische Forschung

nutzbar machen?

Ein paar Vorschläge:

  • Das LLM philosophiert statt uns?
    • Aber: Schon einfache Logik-Aufgaben stellen einen klassischen Failure-Case dar. (Siehe, e. g. Lewis and Mitchell (2024), Moskvichev, Odouard, and Mitchell (2023))
  • Proof-builder integration?
    • Vielversprechend, aber: für Philosophie schwierige Datenlage.
  • Digital Humanities: Klassische Korpusanalyse.
    • LLMs eher Overkill.

Was können LLMs denn gut?

Mittelschwere, repetitive Textaufgaben!

Vorschlag

LLMs extrahieren für uns philosophische Argumente Positionen aus tausenden von Artikeln – und aus den extrahierten Positionen können wir Rückschlüsse auf die globale argumentative Struktur der Philosophie ziehen. Durch viele kleine, lokale Lektüreaufgeaben hilft uns das LLM, uns im Denken zu orientieren.

Eine Pilot-Studie

Unser Sample

'The Philosophical Review'
'Noûs',
'Mind'
'Philosophy and Phenomenological Research'
'The Journal of Philosophy',
'Australasian Journal Of Philosophy'
'Philosophers Imprint'
'Philosophical Studies'
'The Philosophical Quarterly'
'Synthese'

Volltexte von englisch-sprachigen Philosophie-Journalen mit hoher Reputation seit 2000 (de Bruin (2023)). Quellen: JStor + Scraping

Sample-Verteilung, N=17622 (derzeit noch unvollständig)

Workflow

Der Prompt

You are an intelligent philosophy research assisstant that extracts *all* philosophical positions from
the TEXT that you are given. You extract positions, theories, '-isms' and named arguments. You also give
a score that indicates whether the author of the text you are given holds or opposes the position. The
score is between -1 (strongly opposes the position) and 1 (strongly defends the position). You also
provide an exact quote from the text that shows why you gave the score you gave, as well as a short
definition you derive closely from the text. You return your answer in JSON, and nothing else. Here's an
example of a valid response:
{
    \"Foundationalism\": {
        \"author_holds\": -0.5,
        \"definition\":\"The view that some beliefs can justifiably be held by inference from other beliefs, 
                         which themselves are justified directly.\",
        \"quote\": \"Here I show how Sellars has demonstrated the falsity of foundationalist thinking.\"
    },
    \"The Regress Argument\": {
        \"author_holds\": .8,
        \"definition\":\"The regress argument is the argument that any proposition requires a justification.
                         However, any justification itself requires support. This means that any proposition 
                         whatsoever can be endlessly questioned, resulting in infinite regress.\",
        \"quote\": \"The regress problem provides a powerful argument for foundationalism.  \"
    },
    }"
}
You might also be given the names of some ALREADY PARSED POSITIONS. If they occur in the text in an
identical or near identical way, you can reuse their names and definitions. If they do not, you must
ignore them.

Ergebnisse

Verteilung der häufigsten Positionen.

Polaritäten der häufigsten Positionen.

Weiteres Processing

  • Hauptkomponentenanalyse

Ein paar Ladungen auf Hauptkomponenten (Achsen der größten Varianz) der Positionen.

Weiteres Processing

  • Hauptkomponentenanalyse
  • Uniform Manifold Approximation and Projection (UMAP, McInnes, Healy, and Melville (2018))
  • Clustering (HDBSCAN, Malzer and Baum (2019))
  • Visualisierung von Cluster-Keywords (Work in progress!)

Bemerkungen

  • Mapping erscheint unverbunden. Ist das ein Artefakt der Visualisierung? – Der Methode? – Oder ein genuiner Fakt über Gegenwartsphilosophie?
  • Beschränkte inhaltliche Interpretation: Auch wenn das LLM die Texte korrekt bearbeitet, wissen wir nicht ob die vertretenen Positionen korrekt oder konsistent sind.

Ausblick

  • Evaluation!
  • Interessantere Samples, Personalisierung.
  • Feintuning!
  • Semantische Repräsentation von Positionen durch Encoder-Decoder Modelle?

Vielen Dank!

Literature

de Bruin, Boudewijn. 2023. “Ranking Philosophy Journals: A Meta-Ranking and a New Survey Ranking.” Synthese 202 (6): 1–31. https://doi.org/10.1007/s11229-023-04342-9.
Lewis, Martha, and Melanie Mitchell. 2024. “Using Counterfactual Tasks to Evaluate the Generality of Analogical Reasoning in Large Language Models.” arXiv. https://arxiv.org/abs/2402.08955.
Malzer, Claudia, and Marcus Baum. 2019. “HDBSCAN($\hat{\epsilon}$): An Alternative Cluster Extraction Method for HDBSCAN.” arXiv:1911.02282 [Cs], November. https://arxiv.org/abs/1911.02282.
McInnes, Leland, John Healy, and James Melville. 2018. “UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction.” arXiv:1802.03426 [Cs, Stat], February. https://arxiv.org/abs/1802.03426.
Moskvichev, Arseny, Victor Vikram Odouard, and Melanie Mitchell. 2023. “The ConceptARC Benchmark: Evaluating Understanding and Generalization in the ARC Domain.” arXiv. https://arxiv.org/abs/2305.07141.