В Coinbase выявили потенциал ChatGPT как инструмента для анализа криптоактивов

Команда биржи пришла к выводу, что бот не может пока заменить стандартную процедуру анализа активов, но может использоваться после нее для контрольной проверки

Криптобиржа Coinbase протестировала ChatGPT в качестве инструмента для проверки токенов перед возможным листингом и сравнила результаты со стандартной процедурой проверки. В отчете биржи говорится, что ChatGPT не достиг нужного уровня точности для интеграции в процесс анализа активов, но продемонстрировал достаточный потенциал, который Coinbase продолжит исследовать.

Команда биржи сравнила 20 результатов проверки от ChatGPT со своей стандартной проверкой. В 12 случаях они совпали. Из оставшихся 8 результатов в 5 случаях бот неправильно обозначил высокорисковый актив как низкорисковый. В сообщении отмечается, что это очень плохой результат, поскольку недооценка риска гораздо более вредна, чем переоценка.

В ходе эксперимента выяснилось, что ChatGPT не способен «понять», что ему не хватает данных для выполнения надежного анализа, и это приводит к пробелам в оценке, поскольку дополнительные факторы остаются незамеченными.

Также тест показал, что бот может быть непоследовательным: когда ему задавали один и тот же вопрос несколько раз, он не всегда выдавал один и тот же ответ.

В итоге команда биржи пришла к выводу, что бот пока не подходит в качестве инструмента для полноценной проверки активов. Но в Coinbase ожидают, что его точность можно повысить, и для начала инженеры могут использовать ChatGPT для выполнения дополнительной контрольной проверки, чтобы выявить риски, который могли быть упущены из виду при стандартной проверке.