Pregunta: CASO: Experimentos publicitarios en RestaurantGrades Shirley A. Critic es la fundadora de RestaurantGrades (RG), una plataforma de reseñas de restaurantes (similar a Yelp o TripAdvisor) con un impresionante stock de reseñas en línea escritas por comensales comunes y corrientes. Shirley está satisfecha con el crecimiento y la posición de la empresa en la

CASO:

Experimentos publicitarios en RestaurantGrades

Shirley A. Critic es la fundadora de RestaurantGrades (RG), una plataforma de reseñas de restaurantes (similar a Yelp o TripAdvisor) con un impresionante stock de reseñas en línea escritas por comensales comunes y corrientes. Shirley está satisfecha con el crecimiento y la posición de la empresa en la industria. , y tiene evidencia convincente de que las reseñas de RG tienen una influencia importante en las elecciones de restaurantes que hace la gente. Sin embargo, han surgido dudas sobre la eficacia de la principal fuente de ingresos de la empresa: la venta de anuncios a restaurantes. Para comprender mejor este problema, Shirley decidió realizar un ensayo controlado aleatorio a gran escala con un grupo de control y dos grupos de tratamiento: un tratamiento para probar el impacto de sus anuncios actuales en las ventas del restaurante, y el otro tratamiento para probar el impacto de una diseño de anuncio alternativo al que está considerando cambiar. Su equipo realizó el experimento y encontró los resultados en la hoja de cálculo adjunta. Siendo una nerd de los datos (en el mejor sentido posible) y sabiendo que el diablo suele estar en los detalles, Shirley quiere ver los resultados ella misma. Quiere saber si los anuncios de su empresa realmente funcionan y si deberían seguir con el diseño actual o cambiar al diseño alternativo.

Antecedentes de los anuncios de RG

En RG, cada restaurante tiene una página de perfil con información operativa que incluye su horario, número de teléfono y ubicación, donde los usuarios de RG que han visitado el restaurante pueden dejar reseñas para otros usuarios. Los usuarios también pueden descubrir y buscar restaurantes en la plataforma mediante filtros, y pueden hacer reservas y pedir comida a través de la página de perfil de un restaurante. La mayoría de los ingresos de RG provienen de la venta de anuncios a través de su equipo de ventas, que llama a los restaurantes en frío para intentar convencerlos de que anuncien en la plataforma. Los anuncios, etiquetados como resultados de búsqueda patrocinados, se colocan en una sección separada encima de los resultados orgánicos de las búsquedas que realizan los usuarios. Los paquetes de anuncios se compran por unos 300 dólares al mes y los anunciantes deben firmar un contrato de un año. Si bien RG utiliza un algoritmo de búsqueda muy parecido al de Google que determina cuándo y qué anuncios se muestran según la búsqueda de restaurantes de un usuario en la plataforma, los restaurantes tienen poco que decir sobre qué términos de búsqueda activarán sus anuncios. Sin embargo, tienen la garantía de que sus anuncios se mostrarán a los usuarios un mínimo de 1.000 veces al mes. El algoritmo de búsqueda actual de RG muestra anuncios de restaurantes activados por tipo de cocina dentro de un radio de 0,5 millas de la búsqueda de un usuario. Por ejemplo, si un usuario busca restaurantes italianos en Harvard Square, el algoritmo elegirá dos restaurantes italianos dentro de Harvard Square para anunciar. El equipo de ingeniería ha realizado una variedad de pruebas para observar cómo responden los usuarios a diferentes tipos de anuncios en diferentes búsquedas y ha diseñado un algoritmo de búsqueda alternativo. En lugar de elegir dos restaurantes por cocina, el algoritmo alternativo muestra anuncios cuando un usuario busca un restaurante específico y elige dos restaurantes con calificaciones y horarios similares. Si bien el equipo de Shirley está razonablemente satisfecho con la forma en que el algoritmo actual muestra los anuncios, están abiertos a la posibilidad de que el diseño alternativo pueda ser significativamente mejor (o significativamente peor) a la hora de brindar beneficios a sus anunciantes.

Experimento

Para el experimento, el equipo de Shirley seleccionó al azar 30.000 restaurantes que estaban activos en su plataforma pero que no estaban anunciando en ese momento, lo que dio como resultado una muestra representativa de su población de restaurantes en los EE. UU. Sin embargo, durante el mes que duró el experimento, 10.000 restaurantes fueron elegidos al azar para recibir anuncios gratuitos utilizando el enfoque publicitario actual, y otros 10.000 restaurantes fueron seleccionados al azar para recibir anuncios diseñados alternativamente. La principal diferencia entre estos dos grupos de tratamiento fue que el diseño alternativo utilizó un algoritmo muy diferente para decidir cuándo entregar anuncios y qué anuncios emparejar con cada búsqueda, como se describió anteriormente. Los 10.000 restaurantes restantes no recibieron publicidad. Ninguno de los restaurantes fue informado sobre el experimento ni sobre los anuncios.

Hoja de cálculo

El suplemento de la hoja de cálculo para este ejercicio (HBS No. 916-702) contiene los resultados que el equipo de Shirley observó en los 30.000 restaurantes durante el experimento de un mes. La unidad de observación es un restaurante-mes, por lo que los datos de cada restaurante están en una sola fila. Por ejemplo, en una fila, las páginas vistas se refieren al número de visitas únicas a la página RG de un restaurante durante ese mes. Las variables de resultado incluidas son las siguientes:

P1. Dado que hay un conjunto de restaurantes en la plataforma que han comprado anuncios y otro que no ha comprado anuncios, ¿por qué se requiere una prueba A/B? ¿No podemos comparar los resultados de los restaurantes que lo hacen y los que no lo hacen para determinar la eficacia de la publicidad?

P2. De las tres variables, páginas vistas, llamadas y reservas, ¿qué variable de resultado debería utilizarse para medir la eficacia de la publicidad? ¿Esta elección depende de los objetivos comerciales? Por favor explica tu respuesta.

P3. Utilice cualquiera de las variables de resultado que eligió en respuesta a la Pregunta 2 anterior para determinar la efectividad de cada tipo de publicidad en las partes (a) y (b) de esta pregunta a continuación. a) ¿Debería RG atenerse al algoritmo de visualización de anuncios actual o debería cambiar a la alternativa? ¿La respuesta es la misma para ambos tipos de restaurantes? Diseñe y ejecute un modelo de regresión para responder esta pregunta y adjunte la captura de pantalla del resultado de su regresión a su envío. b) Nos interesa saber si el algoritmo de visualización de anuncios actual y el algoritmo alternativo son mejores que el control de no publicidad de los restaurantes. ¿Puedes utilizar el análisis que ya has realizado para responder esta pregunta? Si es así, ¿cómo? Si no, ¿qué puedes hacer para responder esta pregunta? Explique y adjunte capturas de pantalla de cualquier otra regresión que pueda utilizar. Finalmente, informe sus hallazgos para responder la pregunta.