Esta semana estaba revisando las estadísticas de uso de libros impresos en páginas amarillas, en preparación para la conferencia SMX Local & Mobile, y me sorprendió una vez más la gran cantidad de números que la Asociación de Páginas Amarillas (YPA) promociona en sus comunicados de prensa y artículos de investigación. Algunas personas en conferencias han rechazado la idea de que la impresión […]
Estuve revisando las estadísticas de uso de libros impresos en páginas amarillas esta semana, en preparación para la Conferencia SMX local y móvil, y me sorprendió una vez más la gran cantidad de Asociación de Páginas Amarillas (YPA) promociona en sus comunicados de prensa y artículos de investigación. Algunas personas en conferencias rechazaron la idea de que el uso de la impresión podría estar disminuyendo mucho, según las cifras de estos YPA, y me pregunto si podría haber algún grado de error involucrado en los métodos de muestreo de datos utilizados por las empresas de investigación detrás los informes.
Con muy poca verificación, descubrí que mi sospecha tiene una base: algunas de las investigaciones de la industria de las páginas amarillas ampliamente citadas carecen de información crítica, de acuerdo con los métodos de recopilación de datos publicados.
¿El uso de la impresión se mantiene estable?
Por ejemplo, los YPA anuncio de primavera de las cifras de uso de las páginas amarillas del año pasado indican que “… el uso de la impresión se mantuvo estable con 13,4 mil millones de referencias de páginas amarillas impresas, sin cambios desde 2006, según el Estudio de uso de la industria de 2007 Knowledge Networks / SRI (KN / SRI)…”. El RP también afirma que «Aproximadamente el 87 por ciento de la población de EE. UU. Utilizó las páginas amarillas impresas en 2007». Ambas cifras me parecieron un poco extrañas, porque la sabiduría convencional de muchos se ha inclinado hacia el concepto de que el uso de YP impresos está disminuyendo año tras año, a medida que aumentan las búsquedas en Internet y en teléfonos móviles.
En 2007, el YPA había informado una caída del 7,6 por ciento durante el año 2006 en las referencias de libros impresos. Me parece extraño que en 2008 no veamos una caída continua en la cantidad de referencias impresas. Charles Laughlin, analista de Kelsey Group, comentó sobre esta posible discrepancia, indicando:
La metodología utilizada para medir el uso es tal que una gran variación de un año puede no ser tan significativa como la tendencia a lo largo del tiempo. Una pregunta en curso es si existe un piso para el uso del PEP, basado en los límites de penetración de Internet y las ventajas del PEP, al menos en ciertas categorías. El patrón a lo largo del tiempo ha sido generalmente períodos de estabilidad seguidos de períodos de declive. Entonces, en lugar de un solo piso, puede haber una serie de pisos a medida que la combinación de usuarios y opciones de medios evoluciona con el tiempo.
Si puedo parafrasear, creo que Charles está sugiriendo que las cifras a lo largo del tiempo podrían mostrar un patrón escalonado de una tendencia general a la baja para la impresión, por lo que el uso aparentemente estable de la impresión YP de 2006 a 2007 quizás esté subestimando el hecho de que es probable que los usuarios continuar reduciendo el uso de la impresión durante un tiempo más amplio.
En lugar de una distribución estadística imprecisa, he tenido una sospecha mucho más fuerte de que la investigación en sí misma carece de muestreo de una gran parte demográfica de la población.
Datos basados en hogares «telefónicos»
De acuerdo a Redes de conocimiento, recopilan datos encuestando un conjunto de muestra de la población de EE. UU. mediante la generación de un conjunto de números de teléfono aleatorios distribuidos a través de los mercados de todo el país. Para las cifras de la investigación de primavera, llamaron a 9,008 personas, compilaron esos datos y los proyectaron como estadísticamente representativos de toda la población de EE. UU.
El problema que he tenido con esta metodología es que este tipo de encuesta telefónica pierde a los hogares que han abandonado los teléfonos fijos en favor de usar solo sus teléfonos celulares.
La hoja de hechos para YP Market Reporter de Knowledge Networks afirma que la información se basa en hogares telefónicos:
Basado en una muestra probabilística proyectable de
encuestados adultos que viven en hogares telefónicos, YPMR se basa en métodos de investigación de encuestas sólidos y se adhiere a las pautas de ARF para la audiencia. medición. Los informes de mercado individuales están disponibles y basado en una muestra de consumidores adultos ubicados en las áreas de distribución de directorios de las Páginas Amarillas específicas.
Knowledge Networks anticipó mi tipo de crítica, y en su Libro blanco de medición de audiencia de YP Directory, afirman que del 8% estimado de hogares sin teléfonos fijos que se pierden en su muestreo, el 2% sin teléfonos no es probable que sean clientes potenciales. (Supongo), y el 6% que son hogares solo con teléfonos celulares no es estadísticamente significativo:
Aproximadamente el 8% de los hogares no cubiertos en el muestreo de RDD está compuesto por hogares sin teléfonos fijos (2%) o hogares solo con teléfonos móviles (6%). Los hogares sin línea telefónica pueden ser menos pertinentes para las estimaciones de participación en el directorio y los hogares que solo utilizan teléfonos celulares representan un pequeño problema de cobertura (6%) y es poco probable que introduzcan sesgos en las estimaciones de participación debido a la pequeña contribución al total.
Solo como una verificación de sentido común, podría intentar averiguar en qué medida esas cifras generales se relacionan con personas reales que usan las páginas amarillas durante el año. Si asumimos que los 13,4 mil millones de referencias impresas se proyectan sobre la base del conjunto de muestra de 9k individuos, y si asumimos que Knowledge Networks estaba proyectando ese número en base a la población de EE. UU. De 301,6 millones de personas, el 87% de la población que YP usado en 2007 habría promediado alrededor de 51 referencias impresas por cada persona durante el año. Eso equivale a cada una de esas personas que miran un libro de páginas amarillas aproximadamente una vez por semana durante el año; una cantidad algo alta, creo, para la mayoría de los consumidores, y sería una cantidad aún mayor de búsquedas por persona si extrajáramos a los niños. y otros grupos que es poco probable que utilicen las páginas amarillas de esa cifra de población general.
Ahora, posiblemente podría estar en desacuerdo con la confiabilidad general del informe, aparte del segmento de población no encuestado, porque creo que el conjunto de la muestra de personas encuestadas es un porcentaje relativamente pequeño de la población general de EE. UU., Y el error estándar podría ser bastante significativo, más aún cuando se tiene en cuenta este 8%. Por ejemplo, el censo de EE. UU. estimó que la población de EE. UU. era de 301,621,157 al 1 de julio del año pasado, y la investigación del uso del directorio de YP se basó en solo 9,008 personas.
Entiendo que podemos descartar a los niños y a los extremadamente ancianos de las cifras de población general, y a las personas que dieron entrevistas telefónicas probablemente se les pidió que proporcionaran información sobre cuánto usaban las páginas amarillas en su hogar en general, pero creo que las cifras aún indican que Puede haber un alto grado de error potencial involucrado en estas proyecciones incluso antes de tener en cuenta el 8% faltante, basado puramente en las matemáticas involucradas.
Siempre que base las estadísticas en proyecciones de un grupo de muestra, existe un porcentaje de error matemáticamente incorporado que puede asumirse en todas las cifras resultantes. No se nos dice cuánto han calculado los estadísticos de Knowledge Networks que es este porcentaje para estos informes, pero me arriesgaría a adivinar que son bastantes puntos porcentuales.
¿Los usuarios de páginas amarillas buscan algo en su libro de páginas amarillas una vez por semana, en promedio? Teniendo en cuenta que la mayoría de los consumidores frecuentan proveedores familiares, creo que este número es un poco alto.
¿Son significativos los hogares desaparecidos?
Pero, volvamos a la base de su afirmación de que la cantidad de hogares que solo utilizan teléfonos celulares y que se pierden en la encuesta es insignificante. Si fuera solo el 6% de la población, y si ese 6% usara las páginas amarillas impresas al mismo ritmo que el resto de las personas encuestadas, esto podría ser cierto. Pero, me ha preocupado que podría ser mucho más del 6% los que han abandonado los teléfonos fijos en favor de sus teléfonos celulares, y sospecho que no tener ese 6% en las estadísticas podría sesgar las estadísticas a favor del YP impreso.
Creo que las personas que solo tienen teléfonos fijos probablemente sean personas mayores que ni siquiera han adoptado Internet o que lo usan menos. El sentido común también me dice que las personas que solo usan teléfonos celulares son quizás «los primeros en adoptar» la tecnología y pueden estar mucho más inclinados a usar sus computadoras o teléfonos celulares para buscar negocios e información, en lugar de usar los libros impresos.
Resulta que esta es probablemente una preocupación válida. Somos afortunados de que las actuales contiendas de candidatos presidenciales hayan dado lugar a que se preste mucha atención a la metodología de las encuestas telefónicas. Las encuestas políticas tienen el mismo problema: los encuestadores examinan una muestra aleatoria de una población para proyectar qué porcentaje de esa población es probable que vote por un candidato u otro. Los observadores han cuestionado si la posibilidad de que se pierdan los teléfonos celulares en los hogares podría sesgar significativamente los resultados de una forma u otra, y varios investigadores dicen que esta es una preocupación válida.
Crecen las poblaciones que solo utilizan teléfonos móviles
Mediamark Research ha publicado un trabajo de investigación sobre este tema, El nacimiento de una nación celular, y afirman que la población de solo teléfonos celulares ha crecido hasta el 14%. Las cifras más recientes tienen el porcentaje más cercano al 16%. Demográficamente, según ellos, el 32,3% de los jóvenes de 18 a 24 años vive en hogares con teléfono celular pero sin línea fija, al igual que el 27% de los adultos designados como “solteros, nunca casados”.
La “Encuesta Nacional de Entrevistas de Salud” del Centro para el Control de Enfermedades de 2007 estados que los hogares en los que solo se utilizaban celdas representaban el 13,6% de los hogares estadounidenses, en comparación con el 12,8% a fines de 2006 (lo que me indica que las cifras de uso de YP impresas del año pasado también estaban potencialmente sobrecontadas en un grado significativo), y
El Centro de Investigación Pew encuentra que es probable que las encuestas que no incluyan el segmento de los teléfonos móviles subestimen las proyecciones relacionadas con la adopción de tecnología:
Quizás no sea sorprendente que excluir a los encuestados que solo tienen celdas también arroje estimaciones más bajas de sofisticación tecnológica. Por ejemplo, la estimación general de la proporción de personas de 18 a 25 años que utilizan sitios de redes sociales es del 57% cuando la muestra de solo celda se combina con la muestra de teléfono fijo, mientras que la estimación basada solo en la muestra de teléfono fijo es del 50%.
A New York Times artículo este mes cita a Stephen Blumberg, científico senior del Centro Nacional de Estadísticas de Salud, diciendo que proyecta que los hogares con teléfonos celulares crezcan a más del 25% para fines de 2008. También citan a Martin Frankel, profesor de estadística en Baruch College , indicando:
Hasta que las encuestas por Internet tengan un marco de muestreo decente, las encuestas telefónicas son necesarias y no podemos excluir los teléfonos móviles de las encuestas telefónicas.
¿Cómo afecta esto a las cifras de investigación de la industria?
Lo que podemos concluir de todo esto es que las cifras de investigación de la industria probablemente estén desviadas en un grado significativo, porque no incluyen una muestra representativa del segmento de consumidores de teléfonos celulares solamente. El uso de Print YP probablemente disminuyó aún más entre 2006 y 2007, a diferencia de los informes de que se mantuvo estable. Y, el porcentaje de la población de EE. UU. Que usó las páginas amarillas en 2007 probablemente fue menor al 87%, y probablemente hubo menos referencias a los libros YP que la proyección declarada de 13,4 mil millones.
No es realmente culpa de la Asociación de Páginas Amarillas que sus datos de investigación se vean socavados por un muestreo incompleto; es más responsabilidad de la empresa que han utilizado para proporcionar investigación, Redes de conocimiento. Los YPA Pautas de ARF para la medición de la audiencia, no entre en detalles sobre la regulación del componente de la audiencia y el tamaño de la muestra, y tal vez debería. También deberían exigir que la investigación indique claramente el porcentaje de error estimado con los resultados, en mi opinión.
Pero, con el aumento del escrutinio que se está produciendo últimamente con las encuestas telefónicas, Knowledge Networks es casi seguro que está consciente del posible problema del conteo insuficiente, y debería haberse movido antes para cerrar la brecha. Realmente no estoy tratando de golpear a nadie aquí, pero estas estadísticas se publicitan ampliamente y deben evaluarse y analizarse cuidadosamente antes de ser expulsadas. Nadie quiere vender el ropa nueva del emperador, y las empresas deben recibir una comprensión clara del valor que recibirán por su dinero publicitario.
En defensa de las redes de conocimiento, diría que hace solo unos años el número de hogares que solo usaban teléfonos celulares era una fracción mucho menor de la población general y probablemente era estadísticamente insignificante. Pienso que ellos…