Требования к алгоритму? ОК.
"Пользователь должен иметь возможность просмотреть список книг, упорядоченный по убыванию средней оценки книги" - просто сортировка.  
"Пользователь должен иметь возможность просмотреть список книг, упорядоченный по убыванию по средней оценки книги с учетом упорядоченного по убыванию количества оценок" - сортировка по кол-ву оценок, потом результаты сортируются по оценке книги.

"упорядоченный по убыванию по средней оценки книги с учетом упорядоченного по убыванию количества оценок"

насколько вы оцениваете шансы, что программист вас правильно поймет?

ну можно и медленно и два раза, как в том анекдоте про милиционера:
"Сортировка должна выполняться в следующем порядке:
1. Сортировка по количеству оценок, по убыванию.
2. Результат используется для сортировки по средней оценке, по убыванию".

Не поймет. Вообще сортировка должна быть прозрачна пользователю и она будет строго по убыванию рейтинга

Вот формулу рейтинга можно менять

Ещё можно делать две сортировки, одна по сложному рейтингу, вторая тупо по среднему

изначально обговаривалось, что пользователю должна быть доступна опция "с учетом количества оценок". Этот случай я и пытаюсь описать.

Не показывать/учитывать оценку пока товар не получит N-оценок от покупателей.

тоже вариант. А еще "Скрывать оценки без заполненных отзывов".

«Пользователь должен иметь возможность просмотреть список книг, упорядоченный по убыванию по средней оценки книги с учетом упорядоченного по убыванию количества оценок" - сортировка по кол-ву оценок, потом результаты сортируются по оценке книги»

насколько я понимаю, распределение оценок по товарам обычно имеет форму длинного хвоста

таким образом вы сначала получите 500 товаров, по которым есть хотя бы 5 оценок, и средние оценки их будут в диапазоне 2.5—3,5

а уже потом пойдут, те, у которых есть 4 оценки, но со средним баллом 5.0, например

в целом кажется у статистиков должна быть специальная фунция для таких задач

ага. если пользователь выставит соответствующий признак.
ну и дополнительно можно предложить признак "скрывать оценки без заполненных отзывов", а еще "показывать оценки только от авторизованных пользователей", если форма оценки не отсекает такое на этапе оценки

а зачем пользователю понимать? вы например уверены, что точно понимаете, почему у вас в гугле выдача именно такая?

У меня варианты представления рейтинга
1) В виде кривой нормального распределения
2) В виде bubble chart где x - товар, y - средняя оценка как среднее арифметическое, а площадь бабла - количество отзывов, взятых в расчет среднего арифметического

представления для кого?

Для пользователей

это типичный приём плохого продакта--технаря «мы не знаем, как лучше, давайте накидаем пользователю опций», извините

типичный прием другого плохого продакта - думать за пользователя, извините. из контекста задачи неясно, знаем ли мы, как лучше. единственное, на что я опирался - фраза "коллег по индустрии", а это все-таки выделяет некоторое подмножество.

не очень понимаю, что значит «рейтинг товара считается по кривой нормального распределения»

я предлагаю описать правильный алгоритм сортировки, считая, что товары точно выводятся последовательно

думать за пользователя конечно надо.
и предположения строить, и обоснования

контекст я вам описал же — вы делаете каталог профессиональных книг. можно даже уточнить, что для аналитиков

если чего в контексте не хватает, можно или спросить или достроить предположения и потом свои решения основывать на предположениях

именно поэтому я и предполагаю, что потенциальному покупателю товара надо дать возможность построить несколько вариантов сортировки. с учетом количества отзывов, с учетом отзывов реальных пользователей, с учетом отзывов с заполненной текстовой частью и т.п.