Нейросеть навчилися судити про книгу за обкладинкою
Японські науковці з Університету Кюсю створили нейросети, що визначає жанр книги за її обкладинкою.

Дослідники створили чотиришарову конвертовану нейросеть (CNN), кожна зі складів якої складається з 512 нейронів. Для навчання нейросети учені завантажили в неї 137788 унікальних обкладинки книг з Amazon, класифікованих по 20 різних жанрам. Для кожної книги автори дослідження вказали тільки один жанр - який зазначено на сайті першим.

В ході випробувань алгоритм навчився правильно визначати жанр у 21,9% випадків. «Це показує, що класифікація книг на основі дизайну обкладинки можлива, хоча це і дуже складна задача», - говорять автори.

Деякі жанри виявилися легшими для розпізнавання, ніж інші. Наприклад, нейросети порівняно легко легко розпізнає книги з туризму та комп'ютерних технологій, тому що дизайнери використовують типові зображення для книг цих жанрів. Так само легко програма розпізнає кухонну книгу, якщо на обкладинці знаходиться зображення їди, проте випробовує затруднения, якщо замість цього на обкладинці знаходиться, наприклад, портрет шеф-повара.

Біографії та мемуари алгоритм часто відносять до суміжного жанру історичної літератури, путає дитячі книжки з комиксами та графічними романами, і майже не відрізняє медичну від іншої наукової літератури.

Исследование имеет существенную недостаточность: ученые не порівняли результати роботи машини з результатами людини. Зокрема, було б корисно знати, наскільки точно визначити жанр книги за обкладинкою можливих користувачів платформи Mechanical Turk на Amazon.