17

Rankingi, czyli którędy chadza Poliszynel

Jest afera. Chodzi o czerwcowe wydanie magazynu Home & Market. Umieszczony został tam ranking agencji PR w Polsce realizowany przez (tajemniczy do tej pory) Instytut Analiz Gospodarczo-Ekonomicznych. Ranking opierał się na opiniach klientów – ci przesyłali ankieterom swoje opinie o agencjach – instytut zbierał i utworzył ranking – duże i szczegółowe tabele z ocenami firm. Tabele robią wrażenie, cały temat potraktowany jest na 7 (6 redakcyjnych) stronach, pojawił się tylko jeden problem – według agencji Neuron PR do ich klientów nikt nie dzwonił.

Neuron PR (Marek Wróbel) zajęli pozycję daleką od wymarzonej – zaledwie 29 miejsce, więc nic dziwnego, że zaczęli wyciągać wnioski i przy okazji sprawdzać ranking. Z oświadczenia wydanego przez agencje (i przesłanego do wszystkich świętych) wynika:

Wszyscy zapytani przez nas obecni i byli klienci zgodnie i pisemnie oświadczyli, że w ostatnich miesiącach żaden ankieter z Instytutu Analiz Gospodarczo-Ekonomicznych ani redakcji Home&Market nie skontaktował się z nimi w celu przeprowadzenia badania zadowolenia z agencji PR.

Jak powstał więc ten ranking? Dyskusja o rankingu toczy się na grupie dyskusyjnej InternetPR, na Goldenline, PRoto.pl oraz na Blipie (gdzie coraz więcej agencji zaczyna zakładać profile). Pojawiają się konkretne oskarżenia i wątpliwości dotyczące rzetelności rankingu i pracy całej redakcji:

Artur Adamowicz, Talking Heads PR (cytat z grupy InternetPR):

smutna to prawda ale niezaskakująca. Wszak tajemnica poliszynela jest to jak się zdobywa przychylność w magazynie Home&Market i wielu innych niszowych tytułach.
Rankingi, wywiady, wyróżnienia od lat są jakie są, a oglądając okładkę można się założyć jakie reklamy znajdują się w środku.
Co więcej, biznesowo strategia ta okazuje się, bo potężne tytuły padają a H&M trwa.
Dobrze jednak jeśli złapie się za rękę i udowodni manipulacje.
Dlatego popieram protest i namawiam do dyskusji, a zwycięzcom rankingu gratuluje, wszak im dyskusja i tak nie zaszkodzi.

Podobnie komentuje Jerzy CiszewskiCiszewski PR. 18 miejsce w tegorocznym rankingu (cytat z goldenline):

[…] Otóż circa w okolicach 2000 roku (wybaczcie nie pamiętam dokładnie daty, ani nazwiska jakiejś panienki, która proponowała mi nabycie powierzchni reklamowej w H&M w tym numerze w którym miał być tenże opublikowany i w sposób zaowalowany ale jednak czytelny „dopowiedziała”, że taka decyzja może mieć pozytywny wpływ na miejsce naszej agencji w tymże rankingu.

Od tamtego czasu zaprzestałem zawracania sobie głowy kupowaniem H&M i czytania tego co tam jest wypisywane. a tym bardziej tym pożal się boże rankingiem. Podkreślam z całym szacunkiem wobec kilku agencji o których po prostu wiemy, że są bardzo dobre.

My również pytamy naszych klientów czy ktoś z nimi rozmawiał na ten temat. Z różnych przyczyn – urlopy etc – nie mamy jeszcze skontaktowanych wszystkich.

To co natomiast już wiemy to to, że 60% klientów nie było o to pytanych; więc dalej będziemy sprawdzać.
[…]

To, niestety smutna prawda i dobrze wiedzą o tym ci, którzy w mediach pracują albo z nimi współpracują – często za dziennikarzem od razu dzwoni handlowiec (albo najpierw handlowiec). To problem wielu niszowych, branżowych tytułów (nie wiem jak jest w dużych dziennikach) że szpigiel układa dział reklamowy i to często on decyduje o zawartości merytorycznej (proszę przepytać byłby dziennikarzy branżowych tytułów). Czy w przypadku Home&Market było podobnie… hmm, dyskusja trwa, redakcja Home & Market do tej pory milczy.

Czas leci, Neuron PR wydał oświadczenie 2 dni temu (!) a ja mam wrażenie, że temat który dzisiaj poruszam we wpisie jest już stary… Strona internetowa redakcji Home&Market świadczy o tym, że magazyn funkcjonuje w trybie miesięcznym, na luzie i bez ciśnień – stąd też może brak reakcji. Ale skoro brak reakcji, oświadczenia i odparcia konkretnych w końcu zarzutów to zostaje dalsza analiza rankingu i domysły…

No to sprawdźmy…

Ranking agencji PR z magazynu Home & Market

Ranking agencji PR z magazynu Home & Market

Tekst towarzyszący tabelom jest całkiem przystępnie napisany, podkreśla aktualne problemy z którymi styka się ostatnio branża PR: list otwarty ZFPR oraz niefortunnie opublikowany zaraz po liście otwartym raport 7 grzechów głównych polskich PR-owców. Poza tym w tekście trochę informacji dotyczących historii wybranych agencji.

Wątpliwości budzą natomiast wypowiedzi ekspertów-przedstawicieli wybranych (?) agencji w osobnych ramkach. Przyzwyczajony jestem (i do bardzo pożyteczne dla mnie, jako czytelnika) do faktu, że w przypadku rankingów, o wypowiedź proszeni są zwycięzcy bądź liderzy takich zestawień. W rankingu Home & Market możemy znaleźć dwie wypowiedzi: Anny Garwolińskiej, prezesa zarządu Glaubicz Garwolińska Consultants oraz Jacka Jakubczyka, ITBC Communication). Czy to byli liderzy rankingu? Nie, zajęli odpowiednio piąte i dziewiętnaste miejsce. Odpowiedź na pytanie „dlaczego oni” jest przez oczami czytelnika – agencja Glaubicz Garwolińska Consultants wykupiła całostronicową reklamę w magazynie (i dostała ramkę redakcyjną o powierzchni ponad 50% powierzchni strony), ITBC Communication wykupiła zaledwie 1/4 strony więc i wypowiedź jest odpowiednio mniejsza. Przypadek?

Branża PR czeka na reakcje redakcji Home and Market. Szkoda tylko, że w przypadku udowodnienia, że ranking Home & Market to wielka ściema zwycięzcy rankingu (w tym roku są to EURO RSCG Sensors oraz Partner of Promotion) stawiani są w bardzo niezręcznej sytuacji (sensorsi wykorzystali już zdobycie laurów w swojej komunikacji).

sprawa jest więc rozwojowa…

Inny ranking, który mnie zastanawia to opublikowany 13 lipca w Pulsie Biznesu ranking ocen banków w Polsce. Ranking opracowywany jest przez firmę Expandi, która w ramach swojej usługi – Banking Review bada to, co piszą o bankach internauci.

Ze strony firmy

NetMonitor – Banking Review to ciągła analiza rynku bankowego w Polsce na bazie opinii internautów wyrażanych na forach, blogach, portalach, w komentarzach czy artykułach internetowych.

Badaniem objęte są różne formy wypowiedzi internautów, zawierające opinie, informacje, oceny banków, produktów bankowych, oceny obsługi klienta oraz pozostałe dane związane z bankowością.

I te opinie na forach, blogach i portalach przykuły moją uwagę… co zrozumiałe, bo raczej nie podejrzewam, że od czasu „Takiej konferencji rze muwie WOMM” (o szeptaniu i szemraniu) wiele się zmieniło. Właśnie do branży finansowej padało wiele zarzutów, no i stawiam wielkie piwo, temu kto pokaże mi efektywne narzędzie, które jest w stanie odróżnić ściemniane komentarze od prawdziwych opinii. Pułapek w takiej ocenie jest przecież mnóstwo, bo szemracze (łomiarze) mogą pisać zarówno dobrze o swoich bankach jak i źle o bankach konkurencji. Na oko, w miarę zorientowany internauta jest w stanie wyłapać te najbardziej prostackie komentarze i opinie, ale trzeba pamiętać, że firmy od szemrania się profesjonalizują i tak naprawdę ciężko ocenić stopień nieprawdziwości komentarzy. O tym, że jest źle i finanse i bankowość oprócz deweloperki chyba to najczęściej „łomowane” branże – wiedzą o tym, ci którzy śledzą dokładnie finansowe strony.

Czy Expandii odkryła cudowne narzędzie? Nie jestem przekonany, chociaż na swojej stronie zapewniają o metodologii badania:

• własny system pająków (ang. web crawlers, spiders) – inteligentny system pająków wykrywający aktualne treści i pozyskujący dane do analizy, co eliminuje potrzebę korzystania z innych wyszukiwarek. Pająki są również w stanie pozyskiwać dane do analizy z serwisów, które korzystają z technologii JavaScript do publikacji tekstu;
• analiza informacji publikowanych na blogach, forach, w komentarzach i w innych formach User Generated Content;
• sztuczna inteligencja – algorytmy uczące się są wykorzystywane w analizie tekstu, filtrowaniu i klasyfikacji treści;
• zaawansowany system filtrowania treści – usuwanie duplikatów, usuwanie informacji, które są bezwartościowe w kontekście badania, np. występowanie słów kluczowych w tekście reklamowym sieci AdSense, wykrywanie intencji zakupowych na podstawie zaawansowanych definicji, m.in. uwzględniających otoczenie słów kluczowych

oraz autorskich rozwiązaniach

• metody prowadzenia badań wstępnych;
• metody identyfikacji źródeł informacji;
• metody klasyfikacji informacji;
• metody i kontrolę jakości prowadzonych badań;
• metody klasyfikacji i oceny sentymentu;
• metody identyfikacji liderów opinii.

Jeśli Expandii nie realizuje badań według swoich zapewnień to możemy mieć śmieszną sytuację – ranking jest po prostu oceną działań reklamowych (ePR-owych?) poszczególnych banków 🙂

Szkoda, że Puls Biznesu w omawianiu tego raportu nie wspomina o tym właśnie problemie – bo z mojego doświadczenia jest ona bardzo istotny dla wiarygodności całego rankingu.

Wątpliwości do rankingu wzbudza również fakt, że wysokie noty otrzymali właśnie nowi gracze na rynku (Alior Bank, Allianz Bank), i tam pewnie ulokowane są budżety na działania w sieci.

Jeśli będę miał możliwość, chętnie przyjrzę się metodom oceny i analizy opinii na forach i blogach internetowych. Jestem pewien, że idealnego rozwiązania nie ma, ale z drugiej strony nawet jeśli taka analiza obarczona jest sporym marginesem błędu, to konsekwentne stosowanie takiego badania może wykazywać trendy i zmiany „opinii” (cudzysłów zamierzony) i efektywności działań w internecie poszczególnych banków.

Tak się przedstawia ranking opracowany przez Expadnię, a tutaj jest artykuł w Pulsie Biznesu.

Aktualizacja (20.07.2009):
Otrzymałem właśnie oficjalne stanowisko firmy Expandi, która przeprowadzała komentowane przeze mnie badanie.

Metodologia badania NetMonitor – Banking Review

Artykuł zamieszczony w Pulsie Biznesu nie wspominał o tak ważnej kwestii w kontekście wiarygodności wyników badania jak metodologia – korzystając z okazji chcielibyśmy ją w kilku słowach przybliżyć.

Badanie NetMonitor Banking Review jest badaniem ciągłym skierowanym do instytucji finansowych i oferowanym w postaci usługi z dostępem do panelu on-line, jak również w postaci raportów. Opiera się na hybrydowym systemie zbierania, klasyfikowania i oceniania informacji. Informacje publikowane w Internecie zbierane są za pomocą systemu pająków, działającego na zasadzie wyszukiwania w treściach przeglądanych zdefiniowanych uprzednio słów kluczowych (nazw banków wraz z ich odmianami, charakterystycznych nazw usług itp.). Informacje przeglądane są na ściśle zdefiniowanej grupie źródeł, które są wybierane przez zespół naszych analityków tak, by były wartościowe i reprezentatywne w kontekście badania. Aktualnie jest ich kilkaset i grupa tych źródeł jest stale powiększana. Tak zebrane informacje, po wstępnym przetworzeniu mającym na celu wyeliminowanie niepotrzebnych treści (np. reklam) które można jednoznacznie w sposób automatyczny zidentyfikować, są następnie czytane i oceniane wg ściśle określonych kryteriów przez zespół analityków.

To właśnie na etapie oceny przez analityków każdej informacji, która jest brana pod uwagę w kontekście badania odrzucane są (tzn. nie są poddawane ocenie i ujmowane w zestawieniach rankingowych) informacje, które są już przez samych internautów lub przez naszych analityków identyfikowane jako treści niewiarygodne, generowane w sieci przez działające w sposób nieetyczny niektóre agencje WOMM czy PR. W procesie identyfikacji takich informacji pomagają nam również autorskie rozwiązanie stosowane przez naszą firmę. W podobny sposób odrzucane są treści nie wnoszące nic do merytorycznej dyskusji, oraz wszelkiego rodzaju treści generowane na niektórych forach przez odpowiednio przygotowane oprogramowanie do publikowania spamu. Oczywiście nie istnieje w 100% skuteczna metoda identyfikacji informacji jako wygenerowanej przez nieetycznie działające agencje WOMM czy PR, jednak przyjmujemy założenie, iż badanie ma odzwierciedlać obraz informacji pojawiających się w sieci widziany oczami przeciętnego internauty. Stąd część informacji, która jednak była wygenerowana przez te agencje, a nie została przez nas zidentyfikowana, nie zostanie również rozpoznana przez internautów i będzie miała wpływ na wizerunek instytucji w oczach statystycznego internauty.

Z założenia w badaniu NetMonitor – Banking Review oceniane są wypowiedzi internautów dotyczące najpopularniejszych produktów bankowych takich jak: konto, lokaty, kredyty hipoteczne czy też gotówkowe oraz karty kredytowe. Oprócz wiadomości na temat produktów bankowych ocenie podlegają również informacje dotyczące bezpieczeństwa usług bankowych i poziomu obsługi klienta. Ograniczenie zbieranych informacji tylko do tych, które dotyczą wymienionych wcześniej tematów pozwala naszym zdaniem na badanie wizerunku banków z perspektywy przeciętnego, nie do końca dobrze orientującego się w tematyce bankowości, potencjalnego klienta, który zastanawia się nad skorzystaniem bądź też zamianą któregoś z popularnych produktów bankowych i poszukuje informacji w ogólnodostępnych źródłach w Internecie, biorąc pod uwagę opinie innych internautów.

Dodatkowym czynnikiem wpływającym na wiarygodność badania i reprezentatywność przyjętej próby jest fakt, że w badaniu nadajemy oceny pozytywne, negatywne, neutralne tylko i wyłącznie treściom generowanym przez użytkowników Internetu zaliczanych do grupy „krytyków”, czyli czynnie komentujących m.in. na forach, w komentarzach na blogach czy portalach. Jest to statystycznie znacznie liczniejsza grupa użytkowników Internetu niż „twórcy” (czyli internauci tworzący i publikujący własne treści np. blogi autorskie). Ponieważ w naszych badaniach zależy nam na oddaniu w maksymalnym stopniu wiarygodnego głosu konsumentów, celowo nie uwzględniamy w ocenach przeróżnych artykułów i innych publikacji, które bardzo często w sposób jawny lub niejawny są sponsorowane.

Opublikowane na łamach Pulsu Biznesu rezultaty badania opierały się o dane zebrane z ponad 200 źródeł internetowych. Wśród monitorowanych miejsc znalazły się między innymi duże polskie portale internetowe, popularne grupy dyskusyjne, oraz serwisy związane z tematyką bankową. Podczas kwalifikacji źródeł do badania naczelnymi kryteriami były ich popularność liczona ilością komentarzy i wiarygodność mierzona wartością tematyczną i jakością komentarzy.

Niestety badania własne, statystyki oraz analizy, które doprowadziły nas do przyjęcia takiej metody badania są zbyt obszerne, by zaprezentować je w krótkim tekście, jednak mamy nadzieję, że ta informacja pozwoli upewnić się, że dołożyliśmy wszelkich starań, aby wyniki były wiarygodne, a stosowane przez nas metody pomiaru i analizy są efektem ciągłych badań mających na celu doskonalenie oferowanej usługi.

Tomasz Formas
Prezes Zarządu
Expandi

Comments 17

  1. Ranking banków może być skrzywiony nawet bez womm. Dyskusje i komentarze rodzą się w reakcji na zdarzenia a zdarzenia generuje marketing (no, poza nabitymi-w-mbank 😉 )

    Tego typu ranking mógłby być ciekawszy gdyby przedstawić go w dłuższej skali czasowej (zmiany trendu) i zestawić z informacjami o dużych akcjach reklamowych, kampaniach prasowych itp.

    A prywatnie ciekawi mnie, czy jakoś zostały policzone moje dwa arty

    http://notatnik.mekk.waw.pl/archives/152-Inteligo.html
    http://notatnik.mekk.waw.pl/archives/155-Nabici_w_mklienta.html

    a jeśli tak, to jak je sklasyfikowano 😉

    1. Post
      Author

      @Mekk: o właśnie takiego przykładu jak Twój szukałem… analizy takiego wpisu (o komentarzy po nim) żaden bot przecież nie zrobi…

  2. Co do botów – ostatnio trochę przyglądałem się PostRank-owi. Oni stawiają sobie skromniejsze zadanie – po prostu liczą ile było reakcji (komentarzy, bookmarków na delicious czy google, diggów, twitów itd itp) i też mają makabryczne problemy by to poprawnie policzyć…

    Podobnych prób jest zresztą jeszcze parę, run na narzędzia do klasyfikowanie contentu i mierzenia reakcji jest bardzo wyraźny – może więc Expandia ze swoją sztuczną inteligencją powinna wziąć udział w tym wyścigu? 😉

  3. Post
    Author

    kolejna agencja Genesis PR (miejsce 20 w rankingu) wydała właśnie oświadczenie (na liście InternetPR):

    Oświadczenie GENESIS PR w sprawie klienckiego rankingu agencji PR
    opublikowanego w czerwcowym numerze Home&Market

    W nawiązaniu do oświadczenia Marka Wróbla z Neuron PR potwierdzamy, iż
    kliencki ranking agencji PR przygotowany przez Home&Market nie został
    oparty na pełnych i wiarygodnych danych. Wśród naszych Klientów
    (łącznie 24 firmy) ankietowana była tylko jedna spółka. W dodatku
    rozmawiano z osobą, która nie koordynuje całościowo działań naszej
    agencji, a odpowiada wyłącznie za wycinek prac PR.

    Nie jest dla nas jasne, na podstawie jakich danych przygotowano tak
    precyzyjne oceny w odniesieniu do tak szczegółowych zagadnień, jak
    efektywność, kreatywność, rzetelność czy jakość proponowanych
    strategii. Z pewnością nie sprawdzano tego wśród firm, które znają
    naszą agencję i miały okazję wyrobić sobie zdanie na temat naszej
    pracy.

    Stoimy na stanowisku, iż autorzy rankingu powinni ujawnić metodologię
    badania oraz pełną listę przebadanych firm, w tym liczbę respondentów
    opisującą każdą z agencji. Dziwi nas, że nie podano takich danych wraz
    z rankingiem – szanujący się instytut badawczy każdorazowo podaje
    metodologię, jako źródło wiarygodności badania.

    Mamy nadzieję, że sprawa zostanie wyjaśniona przez redakcję
    Home&Market jak najszybciej i jak najpełniej. Liczymy także, że
    kwestią feralnego rankingu zajmie się Rada Etyki PR, a w przyszłości
    podobne badania będą wiarygodnym odzwierciedleniem opinii Klientów o
    agencjach PR.

    Eliza Misiecka

    Dyrektor Generalny

    GENESIS PR

  4. Sprawa jest wielce śmierdząca, wystarczy bowiem nieco się zapoznać z opiniami z pl.misc. banki. mBank krytykowany jest na całego, Polbank- topiony, ostatnio po łbie dostaje Getin. A tutaj miło, cicho…. spokojnie. Inny świat…

  5. Rownież pisałem o case mbank, lub też pojawiała się ta marka 4 krotnie w ostatnich 2 miesiacach:
    http://www.gadzinowski.pl/?s=mbank

    Jak takie rzeczy mierzy się? Nie widziałem metodologii…
    Jak policzyć 36 komentarzy z:
    http://www.gadzinowski.pl/index.php/2009/07/06/partyzanci-sun-tzu-oraz-bankozaury-z-grupy-bre/

    Albo ponad 200 komentarzy ktore pojawily sie na gazeta.pl lub ok 100 na pb.pl pod artykułami.

    Jak mierzy się w przypadku innych banków, które często także sie pojawiają w komentarzach lub artykułach. Jak też wybrana jest waga – wiadomo o bankach internetowych mówi się znacznie więcej niż o tradycyjnych. Dlatego ten raport, nie jest 100% dokladny, ale jest jakas namiastka trendu. Ale nie dałbym sobie za to uciąć ręki.

  6. Pingback: Anna Miotk » Archiwum bloga » Ranking Home&Market

  7. Pingback: Blog przy Kawie » Blog Archive » Ranking Home & Market czyli kolejny wyłom w chińskim murze

  8. Pingback: Ranking Home & Market czyli kolejny wyłom w chińskim murze | Press Room

  9. Pingback: Rankingi - oficjalne stanowisko firmy Expandi : Blog.Mediafun.pl

  10. „Odpowiedź na pytanie „dlaczego oni” jest przez oczami czytelnika – agencja Glaubicz Garwolińska Consultants wykupiła całostronicową reklamę w magazynie (i dostała ramkę redakcyjną o powierzchni ponad 50% powierzchni strony), ITBC Communication wykupiła zaledwie 1/4 strony więc i wypowiedź jest odpowiednio mniejsza. Przypadek?”

    Naszła mnie smutna refleksja: muszę być już nieźle wyprany przez marketingową machinę, skoro dopiero teraz uderzył mnie głęboki idiotyzm określenia „darmowy PR” (a tak podobne „świadczenia” nazywają często same działy handlowe).

    1. Post
      Author
  11. Oho – zanosi się na wymianę poglądów na poziomie dyskusji premiera z prezydentem o miejsce w samolocie.

  12. Pingback: Ranking Home & Market, czyli kolejny wyłom w chińskim murze | Press Room

  13. Pingback: google search – utajnianie wyników « Sztuczna Inteligencja

  14. Pingback: Ranking Home&Market – Anna Miotk

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *