Rankingi – oficjalne stanowisko firmy Expandi

W zeszłym tygodniu poruszyłem kwestię rankingów we wpisie Rankingi, czyli którędy chadza Poliszynel. W materiale skomentowałem dwa ostatnie rankingi które ukazały się w prasie, pierwszy dotyczył Rankingu agencji PR zrobionego przez miesięcznik Home & Market drugi – rankingu banków, który był opublikowany w Pulsie Biznesu.

Pierwsza sprawa (Home & Market) wciąż się toczy… do grona komentatorów dołączył Marketing przy Kawie. Redakcja Home & Market wciąż milczy i całkiem prawdopodobne, że wybierze najmniej konfrontacyjne rozwiązanie – komentarz w następnym wydaniu magazynu… niech w sieci gadają, do papieru i tak nic się nie da dopisać – zobaczymy.

Natomiast w kwestii drugiego komentowanego przeze mnie rankingu, otrzymałem komentarz od firmy Expandi, która przeprowadzała badanie ocen usług bankowych przez internautów. Miałem wątpliwości dotyczące rzetelności tego badania, a raczej pominięcia w tekście Pulsu Biznesu kwestii działań szeptanych i szemranych w sieci. Oto stanowisko firmy jakie otrzymałem w tej sprawie (dopisałem je również do wpisu z rankingami):

Metodologia badania NetMonitor – Banking Review

Artykuł zamieszczony w Pulsie Biznesu nie wspominał o tak ważnej kwestii w kontekście wiarygodności wyników badania jak metodologia – korzystając z okazji chcielibyśmy ją w kilku słowach przybliżyć.

Badanie NetMonitor Banking Review jest badaniem ciągłym skierowanym do instytucji finansowych i oferowanym w postaci usługi z dostępem do panelu on-line, jak również w postaci raportów. Opiera się na hybrydowym systemie zbierania, klasyfikowania i oceniania informacji. Informacje publikowane w Internecie zbierane są za pomocą systemu pająków, działającego na zasadzie wyszukiwania w treściach przeglądanych zdefiniowanych uprzednio słów kluczowych (nazw banków wraz z ich odmianami, charakterystycznych nazw usług itp.). Informacje przeglądane są na ściśle zdefiniowanej grupie źródeł, które są wybierane przez zespół naszych analityków tak, by były wartościowe i reprezentatywne w kontekście badania. Aktualnie jest ich kilkaset i grupa tych źródeł jest stale powiększana. Tak zebrane informacje, po wstępnym przetworzeniu mającym na celu wyeliminowanie niepotrzebnych treści (np. reklam) które można jednoznacznie w sposób automatyczny zidentyfikować, są następnie czytane i oceniane wg ściśle określonych kryteriów przez zespół analityków.

To właśnie na etapie oceny przez analityków każdej informacji, która jest brana pod uwagę w kontekście badania odrzucane są (tzn. nie są poddawane ocenie i ujmowane w zestawieniach rankingowych) informacje, które są już przez samych internautów lub przez naszych analityków identyfikowane jako treści niewiarygodne, generowane w sieci przez działające w sposób nieetyczny niektóre agencje WOMM czy PR. W procesie identyfikacji takich informacji pomagają nam również autorskie rozwiązanie stosowane przez naszą firmę. W podobny sposób odrzucane są treści nie wnoszące nic do merytorycznej dyskusji, oraz wszelkiego rodzaju treści generowane na niektórych forach przez odpowiednio przygotowane oprogramowanie do publikowania spamu. Oczywiście nie istnieje w 100% skuteczna metoda identyfikacji informacji jako wygenerowanej przez nieetycznie działające agencje WOMM czy PR, jednak przyjmujemy założenie, iż badanie ma odzwierciedlać obraz informacji pojawiających się w sieci widziany oczami przeciętnego internauty. Stąd część informacji, która jednak była wygenerowana przez te agencje, a nie została przez nas zidentyfikowana, nie zostanie również rozpoznana przez internautów i będzie miała wpływ na wizerunek instytucji w oczach statystycznego internauty.

Z założenia w badaniu NetMonitor – Banking Review oceniane są wypowiedzi internautów dotyczące najpopularniejszych produktów bankowych takich jak: konto, lokaty, kredyty hipoteczne czy też gotówkowe oraz karty kredytowe. Oprócz wiadomości na temat produktów bankowych ocenie podlegają również informacje dotyczące bezpieczeństwa usług bankowych i poziomu obsługi klienta. Ograniczenie zbieranych informacji tylko do tych, które dotyczą wymienionych wcześniej tematów pozwala naszym zdaniem na badanie wizerunku banków z perspektywy przeciętnego, nie do końca dobrze orientującego się w tematyce bankowości, potencjalnego klienta, który zastanawia się nad skorzystaniem bądź też zamianą któregoś z popularnych produktów bankowych i poszukuje informacji w ogólnodostępnych źródłach w Internecie, biorąc pod uwagę opinie innych internautów.

Dodatkowym czynnikiem wpływającym na wiarygodność badania i reprezentatywność przyjętej próby jest fakt, że w badaniu nadajemy oceny pozytywne, negatywne, neutralne tylko i wyłącznie treściom generowanym przez użytkowników Internetu zaliczanych do grupy „krytyków”, czyli czynnie komentujących m.in. na forach, w komentarzach na blogach czy portalach. Jest to statystycznie znacznie liczniejsza grupa użytkowników Internetu niż „twórcy” (czyli internauci tworzący i publikujący własne treści np. blogi autorskie). Ponieważ w naszych badaniach zależy nam na oddaniu w maksymalnym stopniu wiarygodnego głosu konsumentów, celowo nie uwzględniamy w ocenach przeróżnych artykułów i innych publikacji, które bardzo często w sposób jawny lub niejawny są sponsorowane.

Opublikowane na łamach Pulsu Biznesu rezultaty badania opierały się o dane zebrane z ponad 200 źródeł internetowych. Wśród monitorowanych miejsc znalazły się między innymi duże polskie portale internetowe, popularne grupy dyskusyjne, oraz serwisy związane z tematyką bankową. Podczas kwalifikacji źródeł do badania naczelnymi kryteriami były ich popularność liczona ilością komentarzy i wiarygodność mierzona wartością tematyczną i jakością komentarzy.

Niestety badania własne, statystyki oraz analizy, które doprowadziły nas do przyjęcia takiej metody badania są zbyt obszerne, by zaprezentować je w krótkim tekście, jednak mamy nadzieję, że ta informacja pozwoli upewnić się, że dołożyliśmy wszelkich starań, aby wyniki były wiarygodne, a stosowane przez nas metody pomiaru i analizy są efektem ciągłych badań mających na celu doskonalenie oferowanej usługi.

Tomasz Formas
Prezes Zarządu
Expandi