Un estudio «ciego» encargado por el editor de directorios y la red de anuncios local YP, realizado por Crowdflower, encontró que los resultados de búsqueda locales de YP eran mejores en general que los de los motores de búsqueda. Esto se midió en función del índice de satisfacción del usuario. Se compararon miles de consultas durante un período de un año. Puedo escuchar el escepticismo: «Está patrocinado […]
Un estudio «ciego» encargado por el editor del directorio y la red de publicidad local YP, realizado por Crowdflower, encontró que los resultados de búsqueda locales de YP eran mejores en general que los de los motores de búsqueda. Esto se midió en función del índice de satisfacción del usuario. Se compararon miles de consultas durante un período de un año.
Puedo escuchar el escepticismo: «Es un estudio patrocinado» y «¿Cómo pueden ser mejores que los resultados locales de Google?» Esto es lo que dice el estudio sobre la metodología:
YP contrató a CrowdFlower, un tercero independiente, para que empleara una metodología innovadora e imparcial para la medición de relevancia de los resultados de búsqueda locales en YP y otros sitios. Durante más de un año, CrowdFlower trabajó con YP para probar aproximadamente 13,000 resultados de consultas de búsqueda locales por mes para rastrear la satisfacción del usuario (como un proxy para la relevancia de búsqueda) de los resultados de búsqueda locales de YP.com y los de otros motores de búsqueda locales populares.
El estudio compara la tecnología de búsqueda local de YP con otros motores de búsqueda locales populares: Bing local (bing.com/local), Google Maps (maps.google.com) y Yahoo! Local (local.yahoo.com). Fueron elegidos para el estudio debido a su gran alcance de usuarios y su capacidad para ofrecer resultados de búsqueda en todas las categorías de empresas locales. Las consultas de búsqueda del estudio abarcan una amplia gama de categorías de empresas locales. Los sitios que se centran en un conjunto reducido de categorías verticales, como los sitios de restaurantes o de entretenimiento, no se incluyeron porque su alcance no coincide con la amplitud de este estudio.
En la tarea de evaluación, las consultas de búsqueda se presentan a los colaboradores a quienes se les pide que califiquen su satisfacción con la relevancia de los resultados. Para eliminar posibles sesgos, los resultados de la búsqueda se presentan en listas sin marca que muestran solo información básica de la lista, como el nombre de la empresa, la dirección y el número de teléfono.
Me dijeron que este estudio fue originalmente diseñado para fines de evaluación comparativa interna. No se llevó a cabo con fines de marketing o relaciones públicas. Solo al final, la empresa autorizó a Crowdflower a lanzarlo.
Como se menciona en la discusión anterior, los usuarios no estuvieron expuestos a la marca del sitio de búsqueda. Arriba hay una imagen del tipo de pantalla que los participantes del estudio vieron en cada caso, independientemente de la fuente.
Como indica la pantalla, se pidió a los usuarios en cada caso que realizaran una consulta y luego calificaran el resultado en una escala de «búsqueda no válida» a «perfecto». Cada consulta tenía una palabra clave y una ubicación (ciudad, estado, código postal). La distribución de los tipos de consultas se ilustra en el siguiente gráfico:
Crowdflower explica con más detalle el proceso de selección de consultas:
La mayoría de las consultas (aproximadamente el 65%) se seleccionan al azar de las búsquedas de los usuarios en el sitio YP.com. Las consultas restantes se extraen de las categorías más buscadas (alto tráfico), las principales categorías monetizadas de YP (más monetizadas) y un conjunto de control (monitoreo) que permanece constante mes tras mes.
Si hay algún «sesgo» en el estudio, sería en el proceso de selección de consultas; este no fue un grupo de consultas seleccionado al azar. Sin embargo, eso no explica los resultados.
Crowdflower informó que en noviembre de 2012, los resultados de búsqueda de YP “se encontraron más relevantes en comparación con Bing local, Google Maps y Yahoo! Local. Los usuarios estaban satisfechos con los resultados de búsqueda de YP.com el 86% del tiempo, en comparación con el 83% de Google Maps, el 82% de Yahoo! Local, y 74% para Bing local «.
Hay otros gráficos como el anterior que muestran una comparación de la satisfacción y el rendimiento del usuario por consulta de nombre comercial y categoría comercial. En cada caso, YP entregó una mayor relevancia / satisfacción de búsqueda local en general que Google, Yahoo y Bing en ese orden. El siguiente es un desglose más detallado de las categorías en las que YP se desempeñó mejor y en las que sus resultados fueron comparables a los de la competencia.
Microsoft a menudo afirma que sus resultados son mejores que los de Google, pero la fuerza de la marca de Google ciega a la gente a ese hecho. La gente debate la veracidad de esa afirmación. Esta puede ser una situación comparable, donde YP hizo un mejor trabajo para satisfacer las expectativas de los usuarios que sus competidores en los motores de búsqueda, pero la marca de Google hace que sea difícil de aceptar para la gente.
Tengo especial curiosidad por saber qué piensa la gente de estos hallazgos y si usted los cree o permanece escéptico.
Las opiniones expresadas en este artículo pertenecen al autor invitado y no necesariamente a El Blog informatico. Los autores del personal se enumeran aquí.