Strumento di classificazione a coppie
Esempi reali di progetti di ricerca sul confronto PairwiseAvendo trascorso gli ultimi anni a progettare e gestire centinaia di progetti di confronto Pairwise per clienti che vanno dai fondatori di startup in fase iniziale e dai team di prodotto delle aziende tecnologiche in fase di espansione ai leader governativi e agli scienziati sociali, ho visto alcuni approcci di ricerca davvero interessanti. Ecco alcuni dei miei preferiti:1. Salvare una startup che affondaIl mio esempio preferito di stack ranking in azione è in realtà una mia storia. 6 mesi dopo aver lanciato un prodotto, ero giunto alla conclusione di aver costruito qualcosa che nessuno voleva. Avevamo appena perso il nostro unico cliente pagante e stavamo valutando se abbandonare il progetto…
Come ultimo sforzo, decidemmo di fare un ultimo esperimento. Avevamo condotto circa 150 interviste agli utenti nei sette mesi precedenti, quindi avevamo una buona idea di tutti i diversi problemi che i nostri clienti target dovevano affrontare, ma non eravamo sicuri che i problemi che ci eravamo concentrati a risolvere fossero quelli di cui i nostri clienti target si preoccupavano effettivamente. Nel giro di due ore, abbiamo potuto constatare che l’affermazione del problema su cui avevamo costruito la nostra intera proposta di valore e il nostro posizionamento sul mercato si trovava all’ultimo posto.Entro la fine di quella settimana, i risultati dello studio Pairwise Comparison avevano dato una svolta alla nostra intera azienda. Avevamo clienti paganti come Hotjar, testimonianze di clienti che dicevano letteralmente “vi amo” e avevamo aumentato il tasso di attivazione di nuovi utenti di molte volte. Scoprite la storia completa per capire come ci siamo riusciti.
Esempio di confronto a coppie
Nell’Ordinamento soggettivo, ho utilizzato un algoritmo QuickSort e un input umano per ordinare cinque film del 1988. Ha funzionato perché 1) ero l’unico a fornire input, 2) i miei input erano coerenti e 3) l’elenco era ragionevolmente breve. Se voglio che più persone forniscano l’input e lo facciano in modo asincrono, non funziona. Se la mia lista è lunga 100 voci, diventa poco pratica e soggetta a incoerenza.
Il vincitore riceve 1 punto e il perdente zero. Con un numero sufficiente di voti, dovrei essere in grado di ordinare i punti e ottenere un elenco correttamente ordinato. Potrei inviare questo foglio di calcolo a qualcun altro, farlo votare un certo numero di volte e poi inoltrarlo a qualcun altro. Quando torna a me, l’elenco dovrebbe essere un’approssimazione delle preferenze del gruppo. Ma quanti voti ci vogliono?
Ho ipotizzato che ci voglia un numero di voti pari a cinque volte il numero di elementi dell’elenco. Per la mia lista di cinque articoli, sarebbero stati necessari 25 voti per avere un campione sufficiente. Era una pura ipotesi e si è rivelata sbagliata. La seconda volta che l’ho eseguito, due film hanno ricevuto zero voti. Uno è il peggior film della lista e avrebbe dovuto ricevere zero voti. L’altro è andato semplicemente contro film migliori perché i film sono mostrati in modo casuale.
Formula del metodo del confronto a coppie
Il confronto a coppie è generalmente un processo di confronto tra entità a coppie per giudicare quale di esse sia preferita, o abbia una maggiore quantità di qualche proprietà quantitativa, o se le due entità siano o meno identiche. Il metodo del confronto a coppie è utilizzato nello studio scientifico delle preferenze, degli atteggiamenti, dei sistemi di voto, delle scelte sociali, delle scelte pubbliche, dell’ingegneria dei requisiti e dei sistemi di intelligenza artificiale multiagente. Nella letteratura psicologica si parla spesso di confronto a coppie.
L’illustre psicometrista L. L. Thurstone introdusse per la prima volta nel 1927 un approccio scientifico all’utilizzo di confronti a coppie per la misurazione, che definì legge del giudizio comparativo. Thurstone collegò questo approccio alla teoria psicofisica sviluppata da Ernst Heinrich Weber e Gustav Fechner. Thurstone dimostrò che il metodo può essere utilizzato per ordinare gli item lungo una dimensione come la preferenza o l’importanza, utilizzando una scala di tipo intervallare.
Il matematico Ernst Zermelo (1929) descrisse per la prima volta un modello di confronto a coppie per la classificazione degli scacchi in tornei incompleti, che funge da base (anche se per un po’ di tempo non è stato riconosciuto) per metodi come il sistema di classificazione Elo ed è equivalente al modello Bradley-Terry, proposto nel 1952.
Generatore di confronto a coppie
L’applicazione tipica dei confronti a coppie si verifica quando il ricercatore esamina più di due medie di gruppo (cioè, la variabile indipendente ha più di due livelli) e si verifica un effetto statisticamente significativo per l’ANOVA omnibus. Il rifiuto dell’ipotesi nulla omnibus indica semplicemente che esiste una differenza tra due o più medie, ma non specifica dove possano trovarsi le differenze tra i gruppi; a questo punto, spesso è necessario effettuare confronti successivi. Confronti di questo tipo vengono spesso effettuati in modo post hoc, cioè quando l’ipotesi nulla omnibus dell’ANOVA viene rifiutata, un’ulteriore analisi tra le coppie di medie indicherà dove si trovano le differenze tra i gruppi.