Modelli deboli aiutano quelli forti

I modelli linguistici di grandi dimensioni spesso falliscono nei compiti di ragionamento nonostante siano in grado di risolverli. Ciò accade a causa di bug di ragionamento localizzati nelle fasi intermedie. La tecnica di Woodpecker Distillation, proposta su arXiv, utilizza modelli deboli per diagnosticare e correggere questi errori. I modelli deboli generano 'patch' che vengono utilizzati per correggere la traiettoria del modello forte verso una soluzione corretta. Questo approccio si differenzia dal fine-tuning tradizionale, poiché il segnale utile non risiede nel testo di intervento stesso, ma nel modo in cui esso influenza la distribuzione di ragionamento del modello. La Woodpecker Distillation rappresenta un nuovo framework di addestramento che apprende da interventi locali contrastivi.