Es probable que las estadísticas de uso de las páginas amarillas sean incorrectas

Esta semana estaba revisando las estad√≠sticas de uso de libros impresos en p√°ginas amarillas, en preparaci√≥n para la conferencia SMX Local & Mobile, y me sorprendi√≥ una vez m√°s la gran cantidad de n√ļmeros que la Asociaci√≥n de P√°ginas Amarillas (YPA) promociona en sus comunicados de prensa y art√≠culos de investigaci√≥n. Algunas personas en conferencias han rechazado la idea de que la impresi√≥n [‚Ķ]

Estuve revisando las estad√≠sticas de uso de libros impresos en p√°ginas amarillas esta semana, en preparaci√≥n para la Conferencia SMX local y m√≥vil, y me sorprendi√≥ una vez m√°s la gran cantidad de Asociaci√≥n de P√°ginas Amarillas (YPA) promociona en sus comunicados de prensa y art√≠culos de investigaci√≥n. Algunas personas en conferencias rechazaron la idea de que el uso de la impresi√≥n podr√≠a estar disminuyendo mucho, seg√ļn las cifras de estos YPA, y me pregunto si podr√≠a haber alg√ļn grado de error involucrado en los m√©todos de muestreo de datos utilizados por las empresas de investigaci√≥n detr√°s los informes.

Con muy poca verificación, descubrí que mi sospecha tiene una base: algunas de las investigaciones de la industria de las páginas amarillas ampliamente citadas carecen de información crítica, de acuerdo con los métodos de recopilación de datos publicados.

¬ŅEl uso de la impresi√≥n se mantiene estable?

Por ejemplo, los YPA anuncio de primavera de las cifras de uso de las p√°ginas amarillas del a√Īo pasado indican que ‚Äú‚Ķ el uso de la impresi√≥n se mantuvo estable con 13,4 mil millones de referencias de p√°ginas amarillas impresas, sin cambios desde 2006, seg√ļn el Estudio de uso de la industria de 2007 Knowledge Networks / SRI (KN / SRI)‚Ķ‚ÄĚ. El RP tambi√©n afirma que ¬ęAproximadamente el 87 por ciento de la poblaci√≥n de EE. UU. Utiliz√≥ las p√°ginas amarillas impresas en 2007¬Ľ. Ambas cifras me parecieron un poco extra√Īas, porque la sabidur√≠a convencional de muchos se ha inclinado hacia el concepto de que el uso de YP impresos est√° disminuyendo a√Īo tras a√Īo, a medida que aumentan las b√ļsquedas en Internet y en tel√©fonos m√≥viles.

En 2007, el YPA hab√≠a informado una ca√≠da del 7,6 por ciento durante el a√Īo 2006 en las referencias de libros impresos. Me parece extra√Īo que en 2008 no veamos una ca√≠da continua en la cantidad de referencias impresas. Charles Laughlin, analista de Kelsey Group, coment√≥ sobre esta posible discrepancia, indicando:

La metodolog√≠a utilizada para medir el uso es tal que una gran variaci√≥n de un a√Īo puede no ser tan significativa como la tendencia a lo largo del tiempo. Una pregunta en curso es si existe un piso para el uso del PEP, basado en los l√≠mites de penetraci√≥n de Internet y las ventajas del PEP, al menos en ciertas categor√≠as. El patr√≥n a lo largo del tiempo ha sido generalmente per√≠odos de estabilidad seguidos de per√≠odos de declive. Entonces, en lugar de un solo piso, puede haber una serie de pisos a medida que la combinaci√≥n de usuarios y opciones de medios evoluciona con el tiempo.

Si puedo parafrasear, creo que Charles está sugiriendo que las cifras a lo largo del tiempo podrían mostrar un patrón escalonado de una tendencia general a la baja para la impresión, por lo que el uso aparentemente estable de la impresión YP de 2006 a 2007 quizás esté subestimando el hecho de que es probable que los usuarios continuar reduciendo el uso de la impresión durante un tiempo más amplio.

En lugar de una distribución estadística imprecisa, he tenido una sospecha mucho más fuerte de que la investigación en sí misma carece de muestreo de una gran parte demográfica de la población.

Datos basados ‚Äč‚Äčen hogares ¬ętelef√≥nicos¬Ľ

De acuerdo a Redes de conocimiento, recopilan datos encuestando un conjunto de muestra de la poblaci√≥n de EE. UU. mediante la generaci√≥n de un conjunto de n√ļmeros de tel√©fono aleatorios distribuidos a trav√©s de los mercados de todo el pa√≠s. Para las cifras de la investigaci√≥n de primavera, llamaron a 9,008 personas, compilaron esos datos y los proyectaron como estad√≠sticamente representativos de toda la poblaci√≥n de EE. UU.

El problema que he tenido con esta metodología es que este tipo de encuesta telefónica pierde a los hogares que han abandonado los teléfonos fijos en favor de usar solo sus teléfonos celulares.

La hoja de hechos para YP Market Reporter de Knowledge Networks afirma que la información se basa en hogares telefónicos:

Basado en una muestra probabilística proyectable de

encuestados adultos que viven en hogares telefónicos, YPMR se basa en métodos de investigación de encuestas sólidos y se adhiere a las pautas de ARF para la audiencia. medición. Los informes de mercado individuales están disponibles y basado en una muestra de consumidores adultos ubicados en las áreas de distribución de directorios de las Páginas Amarillas específicas.

Knowledge Networks anticipó mi tipo de crítica, y en su Libro blanco de medición de audiencia de YP Directory, afirman que del 8% estimado de hogares sin teléfonos fijos que se pierden en su muestreo, el 2% sin teléfonos no es probable que sean clientes potenciales. (Supongo), y el 6% que son hogares solo con teléfonos celulares no es estadísticamente significativo:

Aproximadamente el 8% de los hogares no cubiertos en el muestreo de RDD est√° compuesto por hogares sin tel√©fonos fijos (2%) o hogares solo con tel√©fonos m√≥viles (6%). Los hogares sin l√≠nea telef√≥nica pueden ser menos pertinentes para las estimaciones de participaci√≥n en el directorio y los hogares que solo utilizan tel√©fonos celulares representan un peque√Īo problema de cobertura (6%) y es poco probable que introduzcan sesgos en las estimaciones de participaci√≥n debido a la peque√Īa contribuci√≥n al total.

Solo como una verificaci√≥n de sentido com√ļn, podr√≠a intentar averiguar en qu√© medida esas cifras generales se relacionan con personas reales que usan las p√°ginas amarillas durante el a√Īo. Si asumimos que los 13,4 mil millones de referencias impresas se proyectan sobre la base del conjunto de muestra de 9k individuos, y si asumimos que Knowledge Networks estaba proyectando ese n√ļmero en base a la poblaci√≥n de EE. UU. De 301,6 millones de personas, el 87% de la poblaci√≥n que YP usado en 2007 habr√≠a promediado alrededor de 51 referencias impresas por cada persona durante el a√Īo. Eso equivale a cada una de esas personas que miran un libro de p√°ginas amarillas aproximadamente una vez por semana durante el a√Īo; una cantidad algo alta, creo, para la mayor√≠a de los consumidores, y ser√≠a una cantidad a√ļn mayor de b√ļsquedas por persona si extraj√°ramos a los ni√Īos. y otros grupos que es poco probable que utilicen las p√°ginas amarillas de esa cifra de poblaci√≥n general.

Ahora, posiblemente podr√≠a estar en desacuerdo con la confiabilidad general del informe, aparte del segmento de poblaci√≥n no encuestado, porque creo que el conjunto de la muestra de personas encuestadas es un porcentaje relativamente peque√Īo de la poblaci√≥n general de EE. UU., Y el error est√°ndar podr√≠a ser bastante significativo, m√°s a√ļn cuando se tiene en cuenta este 8%. Por ejemplo, el censo de EE. UU. estim√≥ que la poblaci√≥n de EE. UU. era de 301,621,157 al 1 de julio del a√Īo pasado, y la investigaci√≥n del uso del directorio de YP se bas√≥ en solo 9,008 personas.

Entiendo que podemos descartar a los ni√Īos y a los extremadamente ancianos de las cifras de poblaci√≥n general, y a las personas que dieron entrevistas telef√≥nicas probablemente se les pidi√≥ que proporcionaran informaci√≥n sobre cu√°nto usaban las p√°ginas amarillas en su hogar en general, pero creo que las cifras a√ļn indican que Puede haber un alto grado de error potencial involucrado en estas proyecciones incluso antes de tener en cuenta el 8% faltante, basado puramente en las matem√°ticas involucradas.

Siempre que base las estadísticas en proyecciones de un grupo de muestra, existe un porcentaje de error matemáticamente incorporado que puede asumirse en todas las cifras resultantes. No se nos dice cuánto han calculado los estadísticos de Knowledge Networks que es este porcentaje para estos informes, pero me arriesgaría a adivinar que son bastantes puntos porcentuales.

¬ŅLos usuarios de p√°ginas amarillas buscan algo en su libro de p√°ginas amarillas una vez por semana, en promedio? Teniendo en cuenta que la mayor√≠a de los consumidores frecuentan proveedores familiares, creo que este n√ļmero es un poco alto.

¬ŅSon significativos los hogares desaparecidos?

Pero, volvamos a la base de su afirmación de que la cantidad de hogares que solo utilizan teléfonos celulares y que se pierden en la encuesta es insignificante. Si fuera solo el 6% de la población, y si ese 6% usara las páginas amarillas impresas al mismo ritmo que el resto de las personas encuestadas, esto podría ser cierto. Pero, me ha preocupado que podría ser mucho más del 6% los que han abandonado los teléfonos fijos en favor de sus teléfonos celulares, y sospecho que no tener ese 6% en las estadísticas podría sesgar las estadísticas a favor del YP impreso.

Creo que las personas que solo tienen tel√©fonos fijos probablemente sean personas mayores que ni siquiera han adoptado Internet o que lo usan menos. El sentido com√ļn tambi√©n me dice que las personas que solo usan tel√©fonos celulares son quiz√°s ¬ęlos primeros en adoptar¬Ľ la tecnolog√≠a y pueden estar mucho m√°s inclinados a usar sus computadoras o tel√©fonos celulares para buscar negocios e informaci√≥n, en lugar de usar los libros impresos.

Resulta que esta es probablemente una preocupación válida. Somos afortunados de que las actuales contiendas de candidatos presidenciales hayan dado lugar a que se preste mucha atención a la metodología de las encuestas telefónicas. Las encuestas políticas tienen el mismo problema: los encuestadores examinan una muestra aleatoria de una población para proyectar qué porcentaje de esa población es probable que vote por un candidato u otro. Los observadores han cuestionado si la posibilidad de que se pierdan los teléfonos celulares en los hogares podría sesgar significativamente los resultados de una forma u otra, y varios investigadores dicen que esta es una preocupación válida.

Crecen las poblaciones que solo utilizan teléfonos móviles

Mediamark Research ha publicado un trabajo de investigaci√≥n sobre este tema, El nacimiento de una naci√≥n celular, y afirman que la poblaci√≥n de solo tel√©fonos celulares ha crecido hasta el 14%. Las cifras m√°s recientes tienen el porcentaje m√°s cercano al 16%. Demogr√°ficamente, seg√ļn ellos, el 32,3% de los j√≥venes de 18 a 24 a√Īos vive en hogares con tel√©fono celular pero sin l√≠nea fija, al igual que el 27% de los adultos designados como ‚Äúsolteros, nunca casados‚ÄĚ.

La ‚ÄúEncuesta Nacional de Entrevistas de Salud‚ÄĚ del Centro para el Control de Enfermedades de 2007 estados que los hogares en los que solo se utilizaban celdas representaban el 13,6% de los hogares estadounidenses, en comparaci√≥n con el 12,8% a fines de 2006 (lo que me indica que las cifras de uso de YP impresas del a√Īo pasado tambi√©n estaban potencialmente sobrecontadas en un grado significativo), y

El Centro de Investigación Pew encuentra que es probable que las encuestas que no incluyan el segmento de los teléfonos móviles subestimen las proyecciones relacionadas con la adopción de tecnología:

Quiz√°s no sea sorprendente que excluir a los encuestados que solo tienen celdas tambi√©n arroje estimaciones m√°s bajas de sofisticaci√≥n tecnol√≥gica. Por ejemplo, la estimaci√≥n general de la proporci√≥n de personas de 18 a 25 a√Īos que utilizan sitios de redes sociales es del 57% cuando la muestra de solo celda se combina con la muestra de tel√©fono fijo, mientras que la estimaci√≥n basada solo en la muestra de tel√©fono fijo es del 50%.

A New York Times artículo este mes cita a Stephen Blumberg, científico senior del Centro Nacional de Estadísticas de Salud, diciendo que proyecta que los hogares con teléfonos celulares crezcan a más del 25% para fines de 2008. También citan a Martin Frankel, profesor de estadística en Baruch College , indicando:

Hasta que las encuestas por Internet tengan un marco de muestreo decente, las encuestas telefónicas son necesarias y no podemos excluir los teléfonos móviles de las encuestas telefónicas.

¬ŅC√≥mo afecta esto a las cifras de investigaci√≥n de la industria?

Lo que podemos concluir de todo esto es que las cifras de investigaci√≥n de la industria probablemente est√©n desviadas en un grado significativo, porque no incluyen una muestra representativa del segmento de consumidores de tel√©fonos celulares solamente. El uso de Print YP probablemente disminuy√≥ a√ļn m√°s entre 2006 y 2007, a diferencia de los informes de que se mantuvo estable. Y, el porcentaje de la poblaci√≥n de EE. UU. Que us√≥ las p√°ginas amarillas en 2007 probablemente fue menor al 87%, y probablemente hubo menos referencias a los libros YP que la proyecci√≥n declarada de 13,4 mil millones.

No es realmente culpa de la Asociaci√≥n de P√°ginas Amarillas que sus datos de investigaci√≥n se vean socavados por un muestreo incompleto; es m√°s responsabilidad de la empresa que han utilizado para proporcionar investigaci√≥n, Redes de conocimiento. Los YPA Pautas de ARF para la medici√≥n de la audiencia, no entre en detalles sobre la regulaci√≥n del componente de la audiencia y el tama√Īo de la muestra, y tal vez deber√≠a. Tambi√©n deber√≠an exigir que la investigaci√≥n indique claramente el porcentaje de error estimado con los resultados, en mi opini√≥n.

Pero, con el aumento del escrutinio que se est√° produciendo √ļltimamente con las encuestas telef√≥nicas, Knowledge Networks es casi seguro que est√° consciente del posible problema del conteo insuficiente, y deber√≠a haberse movido antes para cerrar la brecha. Realmente no estoy tratando de golpear a nadie aqu√≠, pero estas estad√≠sticas se publicitan ampliamente y deben evaluarse y analizarse cuidadosamente antes de ser expulsadas. Nadie quiere vender el ropa nueva del emperador, y las empresas deben recibir una comprensi√≥n clara del valor que recibir√°n por su dinero publicitario.

En defensa de las redes de conocimiento, dir√≠a que hace solo unos a√Īos el n√ļmero de hogares que solo usaban tel√©fonos celulares era una fracci√≥n mucho menor de la poblaci√≥n general y probablemente era estad√≠sticamente insignificante. Pienso que ellos…

Deja un comentario