Interview Prof. Schuetze for FAZ am Sonntag

The journalist Piotr Heller interviewed Prof. Schuetze for FAZ am Sonntag about GPT-3 and CIS doctoral student Timo Schick's work on an alternative model.

Quote: "Was kommt dann auf uns zu, wenn jemand ein noch größeres Sprachmodell entwickelt, eine Art GPT-4. 'Ich finde das schon interessant, halte es aber letzendlich für eine Sackgasse', sagt Schütze. GPT-3 ist in seiner jetzigen Form starr. Es hat einmal gelernt, seine Parameter festgelegt und verändert sich nicht weiter. Es wird nicht besser. Schütze arbeitet an Systemen, die man zusätzlich mit vielen Beispielen einer konkreten Aufgabe füttert -- etwa dem Verfassen einer Restaurantkritik -- und sie für diese Aufgabe perfektioniert."

"What happens if someone develops an even larger language model, a type of GPT-4? 'I think that's interesting, but ultimately it's a dead end', Schuetze says. GPT-3 in its current incarnation is static. It was pretrained, has a fixed set of parameters and does not change. It cannot improve (on a specific task). Schuetze works on systems that are trained on additional examples for a task -- e.g., writing a restaurant review -- and that become optimized for that task in the process."

The article can be retrieved here (paywall).