Як я навчав модель обирати людину

Людина шукає кофаундера. Першим у видачі їй показують засновника, який теж шукає кофаундера.

За словами все сходиться. Ніша та сама, в обох профілях написано про стартап і частку. Тільки на зустрічі кожен чекатиме, що погодиться інший.

Як двоє, що зустрічають в аеропорту, яких відправили зустрічати одне одного.

Це перший прогін у лабораторії Folkso. Без перевірки перших місць таке вилізло в 17 пошуках команд із 233. Folkso шукає людей, коли задача в ChatGPT або Claude впирається в людину, і пошук там роблю я. Далі я вчив його ставити першим того, з ким справді варто зустрітися.

Тисяча пошуків із відомою відповіддю

Покращувати пошук, не знаючи правильної відповіді, марно. Будь-яка правка тоді здається вдалою, бо перевірити її нема на чому. У живих людей правильної відповіді немає, тому я зібрав вигаданих.

Їх сто, і до них тисяча пошуків. Профілі людей і те, що асистент пам’ятає про того, хто шукає, написала модель. Хто підходить насправді, рахує код за прихованими картками, яких пошук не бачить.

Сімсот пошуків пішли на налаштування. Решту 300 я відклав, у налаштуванні вони не беруть участі, і всі цифри нижче взяті з них.

Найскладніше в наборі це двійники. У кожній ніші п’ятеро і більше людей, однакових по справі й різних по духу. Роботу зробить будь-хто з них, а пошуку треба зрозуміти, з ким тому, хто шукає, буде легше.

Як пошук обирає

Від грубого до точного. Кожен наступний крок дорожчий за попередній, тому до нього доходить менше людей.

Спочатку фільтри в коді. До чого людина відкрита, бюджет, зайнятість і місто, причому місто будь-якою мовою. Найнудніший крок, і я на ньому спіткнувся, але про це нижче.

Потім сенс. Профіль розбитий на частини, у кожної свій вектор, а поруч працює звичайний пошук за словами. Далі проходять перші 50.

Цих 50 читає Jev. Це модель від TypeSafe для рішень усередині програми. На вузьке питання вона відповідає ймовірністю, і далі з цим числом працює код.

Jev перечитує кандидатів пачками по 10 і про кожного відповідає на чотири питання. Чи підходить людина по справі. Чи не шукає вона сама того ж, що шукає той, хто шукає, як той засновник із першого прогону. Чи схожа на того, хто шукає. Чи є в них щось спільне.

Перших шістьох Jev перевіряє ще раз, уже по одному. Якщо не пройшов ніхто, пошук так і каже, що відповідних немає. Весь шлях коштує частки цента за пошук.

По одному, бо в списку модель плутає сусідів. Це позиційне зміщення, його давно описують у роботах про ранжування списком. У рецептах TypeSafe кожен кандидат теж іде окремим запитом, який не бачить інших.

Що вийшло

Триста відкладених пошуків, до і після.

Якщо розставити людей навмання, найкращий опиниться першим у 4,6% пошуків.

Засновники, які самі шукають кофаундера, з перших місць пішли. Було 17 на 233 пошуки команд, після перевірки перших стало 0.

Той, хто не може зробити роботу, тепер стоїть першим у двох пошуках зі ста. Найкращий стоїть першим майже в половині, і друга половина впирається в дух.

Дух

Серед двійників по справі підходять усі, і вибирати лишається за характером і цінностями.

Кожен сигнал духу окремо слабкий. Я перевірив їх на двійниках по одному, і ось як часто сигнал вгадує найкращого.

У самій видачі серед людей, однакових по справі, найкращий по духу стоїть першим у 38% пошуків. Навмання було б 25%. Якщо в того, хто шукає, є свій профіль у Folkso, 43%.

Схожість цінностей і занять важить більше, ніж темперамент. У дослідженнях дружби виходить те саме.

Риси характеру беруться з портрета, який будується, коли людина зберігає профіль. Jev вгадує рису у 88% випадків за 0,3 секунди. Sonnet 5 вгадує ті самі 88% і витрачає на це 10 секунд.

Що не спрацювало

Ваги духу я спочатку підібрав перебором по сітці. На налаштуванні це дало плюс 8 пунктів, на відкладених плюс 2. Пошук вивчив сімсот знайомих пошуків, і на нових від цього майже нічого не лишилося.

Потім була суміш сигналів, вивчена попарно на двійниках. Найкращого двійника вона обирає у 42% випадків, частіше за будь-який сигнал поодинці. Порядок видачі вона зсунула на 0,7 пункта, і в прод її не взяли.

Шкали характеру, дописані словами прямо в запиті, зробили гірше. «Найкращий першим» упав із 49% до 45%.

Найнеприємніша поломка була тихою. Спочатку Jev отримував усі 50 довгих профілів одним запитом і в 18% пошуків падав з помилкою, а пошук мовчки йшов далі без нього. Таких набралося 152 з 822.

Без Jev першим стає не той у 23% пошуків. Тому тепер, якщо він не відповів, пошук просить повторити і навмання нічого не показує.

І міста. Із 102 пошуків зустрічей наживо у 61 після фільтрів лишалося менше двох людей. Код вважав «Берлін» і «Berlin, Germany» різними містами, поки я не навчив його їх зводити.

Стеля

48,9% це стеля того, що можна витиснути з вигаданого набору.

Далі пошук зрушать тільки живі результати. Людина прийняла запит на знайомство або натиснула «не той» і написала чому. Таких результатів у мене поки нуль.

Цей пошук працює в Folkso, коли ChatGPT або Claude шукають людину під задачу.

Усі цифри лабораторії

Як рахували і де криво

• Набір вигаданий. Профілі людей і пам’ять тих, хто шукає, написала модель, живих людей у ньому немає.
• Правду рахує код за прихованими картками, яких пошук не бачить. Наскільки ці картки схожі на живих людей, я не знаю.
• Живих результатів поки немає. Жодного прийнятого запиту і жодного «не той» з причиною.
• На 300 пошуках похибка близько ±5 пунктів. Правку я вважаю покращенням, тільки якщо вона обганяє попередню версію більш ніж на 5 пунктів.
• Цифри з лабораторії Folkso, 27–29 вересня 2026.

До речі, про двох засновників із першого прогону. Першими одне в одного вони тепер не стають.

Може, і дарма. Раптом удвох у них би щось вийшло. Спитати нема в кого, обох вигадала модель.