17

Rankingi, czyli którędy chadza Poliszynel

Jest afera. Chodzi o czerwcowe wydanie magazynu Home & Market. Umieszczony został tam ranking agencji PR w Polsce realizowany przez (tajemniczy do tej pory) Instytut Analiz Gospodarczo-Ekonomicznych. Ranking opierał się na opiniach klientów – ci przesyłali ankieterom swoje opinie o agencjach – instytut zbierał i utworzył ranking – duże i szczegółowe tabele z ocenami firm. Tabele robią wrażenie, cały temat potraktowany jest na 7 (6 redakcyjnych) stronach, pojawił się tylko jeden problem – według agencji Neuron PR do ich klientów nikt nie dzwonił.

Neuron PR (Marek Wróbel) zajęli pozycję daleką od wymarzonej – zaledwie 29 miejsce, więc nic dziwnego, że zaczęli wyciągać wnioski i przy okazji sprawdzać ranking. Z oświadczenia wydanego przez agencje (i przesłanego do wszystkich świętych) wynika:

Wszyscy zapytani przez nas obecni i byli klienci zgodnie i pisemnie oświadczyli, że w ostatnich miesiącach żaden ankieter z Instytutu Analiz Gospodarczo-Ekonomicznych ani redakcji Home&Market nie skontaktował się z nimi w celu przeprowadzenia badania zadowolenia z agencji PR.

Jak powstał więc ten ranking? Dyskusja o rankingu toczy się na grupie dyskusyjnej InternetPR, na Goldenline, PRoto.pl oraz na Blipie (gdzie coraz więcej agencji zaczyna zakładać profile). Pojawiają się konkretne oskarżenia i wątpliwości dotyczące rzetelności rankingu i pracy całej redakcji:

Artur Adamowicz, Talking Heads PR (cytat z grupy InternetPR):

smutna to prawda ale niezaskakująca. Wszak tajemnica poliszynela jest to jak się zdobywa przychylność w magazynie Home&Market i wielu innych niszowych tytułach.
Rankingi, wywiady, wyróżnienia od lat są jakie są, a oglądając okładkę można się założyć jakie reklamy znajdują się w środku.
Co więcej, biznesowo strategia ta okazuje się, bo potężne tytuły padają a H&M trwa.
Dobrze jednak jeśli złapie się za rękę i udowodni manipulacje.
Dlatego popieram protest i namawiam do dyskusji, a zwycięzcom rankingu gratuluje, wszak im dyskusja i tak nie zaszkodzi.

Podobnie komentuje Jerzy CiszewskiCiszewski PR. 18 miejsce w tegorocznym rankingu (cytat z goldenline):

[…] Otóż circa w okolicach 2000 roku (wybaczcie nie pamiętam dokładnie daty, ani nazwiska jakiejś panienki, która proponowała mi nabycie powierzchni reklamowej w H&M w tym numerze w którym miał być tenże opublikowany i w sposób zaowalowany ale jednak czytelny „dopowiedziała”, że taka decyzja może mieć pozytywny wpływ na miejsce naszej agencji w tymże rankingu.

Od tamtego czasu zaprzestałem zawracania sobie głowy kupowaniem H&M i czytania tego co tam jest wypisywane. a tym bardziej tym pożal się boże rankingiem. Podkreślam z całym szacunkiem wobec kilku agencji o których po prostu wiemy, że są bardzo dobre.

My również pytamy naszych klientów czy ktoś z nimi rozmawiał na ten temat. Z różnych przyczyn – urlopy etc – nie mamy jeszcze skontaktowanych wszystkich.

To co natomiast już wiemy to to, że 60% klientów nie było o to pytanych; więc dalej będziemy sprawdzać.
[…]

To, niestety smutna prawda i dobrze wiedzą o tym ci, którzy w mediach pracują albo z nimi współpracują – często za dziennikarzem od razu dzwoni handlowiec (albo najpierw handlowiec). To problem wielu niszowych, branżowych tytułów (nie wiem jak jest w dużych dziennikach) że szpigiel układa dział reklamowy i to często on decyduje o zawartości merytorycznej (proszę przepytać byłby dziennikarzy branżowych tytułów). Czy w przypadku Home&Market było podobnie… hmm, dyskusja trwa, redakcja Home & Market do tej pory milczy.

Czas leci, Neuron PR wydał oświadczenie 2 dni temu (!) a ja mam wrażenie, że temat który dzisiaj poruszam we wpisie jest już stary… Strona internetowa redakcji Home&Market świadczy o tym, że magazyn funkcjonuje w trybie miesięcznym, na luzie i bez ciśnień – stąd też może brak reakcji. Ale skoro brak reakcji, oświadczenia i odparcia konkretnych w końcu zarzutów to zostaje dalsza analiza rankingu i domysły…

No to sprawdźmy…

Ranking agencji PR z magazynu Home & Market

Ranking agencji PR z magazynu Home & Market

Tekst towarzyszący tabelom jest całkiem przystępnie napisany, podkreśla aktualne problemy z którymi styka się ostatnio branża PR: list otwarty ZFPR oraz niefortunnie opublikowany zaraz po liście otwartym raport 7 grzechów głównych polskich PR-owców. Poza tym w tekście trochę informacji dotyczących historii wybranych agencji.

Wątpliwości budzą natomiast wypowiedzi ekspertów-przedstawicieli wybranych (?) agencji w osobnych ramkach. Przyzwyczajony jestem (i do bardzo pożyteczne dla mnie, jako czytelnika) do faktu, że w przypadku rankingów, o wypowiedź proszeni są zwycięzcy bądź liderzy takich zestawień. W rankingu Home & Market możemy znaleźć dwie wypowiedzi: Anny Garwolińskiej, prezesa zarządu Glaubicz Garwolińska Consultants oraz Jacka Jakubczyka, ITBC Communication). Czy to byli liderzy rankingu? Nie, zajęli odpowiednio piąte i dziewiętnaste miejsce. Odpowiedź na pytanie „dlaczego oni” jest przez oczami czytelnika – agencja Glaubicz Garwolińska Consultants wykupiła całostronicową reklamę w magazynie (i dostała ramkę redakcyjną o powierzchni ponad 50% powierzchni strony), ITBC Communication wykupiła zaledwie 1/4 strony więc i wypowiedź jest odpowiednio mniejsza. Przypadek?

Branża PR czeka na reakcje redakcji Home and Market. Szkoda tylko, że w przypadku udowodnienia, że ranking Home & Market to wielka ściema zwycięzcy rankingu (w tym roku są to EURO RSCG Sensors oraz Partner of Promotion) stawiani są w bardzo niezręcznej sytuacji (sensorsi wykorzystali już zdobycie laurów w swojej komunikacji).

sprawa jest więc rozwojowa…

Inny ranking, który mnie zastanawia to opublikowany 13 lipca w Pulsie Biznesu ranking ocen banków w Polsce. Ranking opracowywany jest przez firmę Expandi, która w ramach swojej usługi – Banking Review bada to, co piszą o bankach internauci.

Ze strony firmy

NetMonitor – Banking Review to ciągła analiza rynku bankowego w Polsce na bazie opinii internautów wyrażanych na forach, blogach, portalach, w komentarzach czy artykułach internetowych.

Badaniem objęte są różne formy wypowiedzi internautów, zawierające opinie, informacje, oceny banków, produktów bankowych, oceny obsługi klienta oraz pozostałe dane związane z bankowością.

I te opinie na forach, blogach i portalach przykuły moją uwagę… co zrozumiałe, bo raczej nie podejrzewam, że od czasu „Takiej konferencji rze muwie WOMM” (o szeptaniu i szemraniu) wiele się zmieniło. Właśnie do branży finansowej padało wiele zarzutów, no i stawiam wielkie piwo, temu kto pokaże mi efektywne narzędzie, które jest w stanie odróżnić ściemniane komentarze od prawdziwych opinii. Pułapek w takiej ocenie jest przecież mnóstwo, bo szemracze (łomiarze) mogą pisać zarówno dobrze o swoich bankach jak i źle o bankach konkurencji. Na oko, w miarę zorientowany internauta jest w stanie wyłapać te najbardziej prostackie komentarze i opinie, ale trzeba pamiętać, że firmy od szemrania się profesjonalizują i tak naprawdę ciężko ocenić stopień nieprawdziwości komentarzy. O tym, że jest źle i finanse i bankowość oprócz deweloperki chyba to najczęściej „łomowane” branże – wiedzą o tym, ci którzy śledzą dokładnie finansowe strony.

Czy Expandii odkryła cudowne narzędzie? Nie jestem przekonany, chociaż na swojej stronie zapewniają o metodologii badania:

• własny system pająków (ang. web crawlers, spiders) – inteligentny system pająków wykrywający aktualne treści i pozyskujący dane do analizy, co eliminuje potrzebę korzystania z innych wyszukiwarek. Pająki są również w stanie pozyskiwać dane do analizy z serwisów, które korzystają z technologii JavaScript do publikacji tekstu;
• analiza informacji publikowanych na blogach, forach, w komentarzach i w innych formach User Generated Content;
• sztuczna inteligencja – algorytmy uczące się są wykorzystywane w analizie tekstu, filtrowaniu i klasyfikacji treści;
• zaawansowany system filtrowania treści – usuwanie duplikatów, usuwanie informacji, które są bezwartościowe w kontekście badania, np. występowanie słów kluczowych w tekście reklamowym sieci AdSense, wykrywanie intencji zakupowych na podstawie zaawansowanych definicji, m.in. uwzględniających otoczenie słów kluczowych

oraz autorskich rozwiązaniach

• metody prowadzenia badań wstępnych;
• metody identyfikacji źródeł informacji;
• metody klasyfikacji informacji;
• metody i kontrolę jakości prowadzonych badań;
• metody klasyfikacji i oceny sentymentu;
• metody identyfikacji liderów opinii.

Jeśli Expandii nie realizuje badań według swoich zapewnień to możemy mieć śmieszną sytuację – ranking jest po prostu oceną działań reklamowych (ePR-owych?) poszczególnych banków 🙂

Szkoda, że Puls Biznesu w omawianiu tego raportu nie wspomina o tym właśnie problemie – bo z mojego doświadczenia jest ona bardzo istotny dla wiarygodności całego rankingu.

Wątpliwości do rankingu wzbudza również fakt, że wysokie noty otrzymali właśnie nowi gracze na rynku (Alior Bank, Allianz Bank), i tam pewnie ulokowane są budżety na działania w sieci.

Jeśli będę miał możliwość, chętnie przyjrzę się metodom oceny i analizy opinii na forach i blogach internetowych. Jestem pewien, że idealnego rozwiązania nie ma, ale z drugiej strony nawet jeśli taka analiza obarczona jest sporym marginesem błędu, to konsekwentne stosowanie takiego badania może wykazywać trendy i zmiany „opinii” (cudzysłów zamierzony) i efektywności działań w internecie poszczególnych banków.

Tak się przedstawia ranking opracowany przez Expadnię, a tutaj jest artykuł w Pulsie Biznesu.

Aktualizacja (20.07.2009):
Otrzymałem właśnie oficjalne stanowisko firmy Expandi, która przeprowadzała komentowane przeze mnie badanie.

Metodologia badania NetMonitor – Banking Review

Artykuł zamieszczony w Pulsie Biznesu nie wspominał o tak ważnej kwestii w kontekście wiarygodności wyników badania jak metodologia – korzystając z okazji chcielibyśmy ją w kilku słowach przybliżyć.

Badanie NetMonitor Banking Review jest badaniem ciągłym skierowanym do instytucji finansowych i oferowanym w postaci usługi z dostępem do panelu on-line, jak również w postaci raportów. Opiera się na hybrydowym systemie zbierania, klasyfikowania i oceniania informacji. Informacje publikowane w Internecie zbierane są za pomocą systemu pająków, działającego na zasadzie wyszukiwania w treściach przeglądanych zdefiniowanych uprzednio słów kluczowych (nazw banków wraz z ich odmianami, charakterystycznych nazw usług itp.). Informacje przeglądane są na ściśle zdefiniowanej grupie źródeł, które są wybierane przez zespół naszych analityków tak, by były wartościowe i reprezentatywne w kontekście badania. Aktualnie jest ich kilkaset i grupa tych źródeł jest stale powiększana. Tak zebrane informacje, po wstępnym przetworzeniu mającym na celu wyeliminowanie niepotrzebnych treści (np. reklam) które można jednoznacznie w sposób automatyczny zidentyfikować, są następnie czytane i oceniane wg ściśle określonych kryteriów przez zespół analityków.

To właśnie na etapie oceny przez analityków każdej informacji, która jest brana pod uwagę w kontekście badania odrzucane są (tzn. nie są poddawane ocenie i ujmowane w zestawieniach rankingowych) informacje, które są już przez samych internautów lub przez naszych analityków identyfikowane jako treści niewiarygodne, generowane w sieci przez działające w sposób nieetyczny niektóre agencje WOMM czy PR. W procesie identyfikacji takich informacji pomagają nam również autorskie rozwiązanie stosowane przez naszą firmę. W podobny sposób odrzucane są treści nie wnoszące nic do merytorycznej dyskusji, oraz wszelkiego rodzaju treści generowane na niektórych forach przez odpowiednio przygotowane oprogramowanie do publikowania spamu. Oczywiście nie istnieje w 100% skuteczna metoda identyfikacji informacji jako wygenerowanej przez nieetycznie działające agencje WOMM czy PR, jednak przyjmujemy założenie, iż badanie ma odzwierciedlać obraz informacji pojawiających się w sieci widziany oczami przeciętnego internauty. Stąd część informacji, która jednak była wygenerowana przez te agencje, a nie została przez nas zidentyfikowana, nie zostanie również rozpoznana przez internautów i będzie miała wpływ na wizerunek instytucji w oczach statystycznego internauty.

Z założenia w badaniu NetMonitor – Banking Review oceniane są wypowiedzi internautów dotyczące najpopularniejszych produktów bankowych takich jak: konto, lokaty, kredyty hipoteczne czy też gotówkowe oraz karty kredytowe. Oprócz wiadomości na temat produktów bankowych ocenie podlegają również informacje dotyczące bezpieczeństwa usług bankowych i poziomu obsługi klienta. Ograniczenie zbieranych informacji tylko do tych, które dotyczą wymienionych wcześniej tematów pozwala naszym zdaniem na badanie wizerunku banków z perspektywy przeciętnego, nie do końca dobrze orientującego się w tematyce bankowości, potencjalnego klienta, który zastanawia się nad skorzystaniem bądź też zamianą któregoś z popularnych produktów bankowych i poszukuje informacji w ogólnodostępnych źródłach w Internecie, biorąc pod uwagę opinie innych internautów.

Dodatkowym czynnikiem wpływającym na wiarygodność badania i reprezentatywność przyjętej próby jest fakt, że w badaniu nadajemy oceny pozytywne, negatywne, neutralne tylko i wyłącznie treściom generowanym przez użytkowników Internetu zaliczanych do grupy „krytyków”, czyli czynnie komentujących m.in. na forach, w komentarzach na blogach czy portalach. Jest to statystycznie znacznie liczniejsza grupa użytkowników Internetu niż „twórcy” (czyli internauci tworzący i publikujący własne treści np. blogi autorskie). Ponieważ w naszych badaniach zależy nam na oddaniu w maksymalnym stopniu wiarygodnego głosu konsumentów, celowo nie uwzględniamy w ocenach przeróżnych artykułów i innych publikacji, które bardzo często w sposób jawny lub niejawny są sponsorowane.

Opublikowane na łamach Pulsu Biznesu rezultaty badania opierały się o dane zebrane z ponad 200 źródeł internetowych. Wśród monitorowanych miejsc znalazły się między innymi duże polskie portale internetowe, popularne grupy dyskusyjne, oraz serwisy związane z tematyką bankową. Podczas kwalifikacji źródeł do badania naczelnymi kryteriami były ich popularność liczona ilością komentarzy i wiarygodność mierzona wartością tematyczną i jakością komentarzy.

Niestety badania własne, statystyki oraz analizy, które doprowadziły nas do przyjęcia takiej metody badania są zbyt obszerne, by zaprezentować je w krótkim tekście, jednak mamy nadzieję, że ta informacja pozwoli upewnić się, że dołożyliśmy wszelkich starań, aby wyniki były wiarygodne, a stosowane przez nas metody pomiaru i analizy są efektem ciągłych badań mających na celu doskonalenie oferowanej usługi.

Tomasz Formas
Prezes Zarządu
Expandi

  • Ranking banków może być skrzywiony nawet bez womm. Dyskusje i komentarze rodzą się w reakcji na zdarzenia a zdarzenia generuje marketing (no, poza nabitymi-w-mbank 😉 )

    Tego typu ranking mógłby być ciekawszy gdyby przedstawić go w dłuższej skali czasowej (zmiany trendu) i zestawić z informacjami o dużych akcjach reklamowych, kampaniach prasowych itp.

    A prywatnie ciekawi mnie, czy jakoś zostały policzone moje dwa arty

    http://notatnik.mekk.waw.pl/archives/152-Inteligo.html
    http://notatnik.mekk.waw.pl/archives/155-Nabici_w_mklienta.html

    a jeśli tak, to jak je sklasyfikowano 😉

    • @Mekk: o właśnie takiego przykładu jak Twój szukałem… analizy takiego wpisu (o komentarzy po nim) żaden bot przecież nie zrobi…

  • Co do botów – ostatnio trochę przyglądałem się PostRank-owi. Oni stawiają sobie skromniejsze zadanie – po prostu liczą ile było reakcji (komentarzy, bookmarków na delicious czy google, diggów, twitów itd itp) i też mają makabryczne problemy by to poprawnie policzyć…

    Podobnych prób jest zresztą jeszcze parę, run na narzędzia do klasyfikowanie contentu i mierzenia reakcji jest bardzo wyraźny – może więc Expandia ze swoją sztuczną inteligencją powinna wziąć udział w tym wyścigu? 😉

  • Ciężko orzec, czy Expandi posiada jakieś nowe cudowne narzędzie, ale wiem że ceny za usługę mają kosmiczne.

  • kolejna agencja Genesis PR (miejsce 20 w rankingu) wydała właśnie oświadczenie (na liście InternetPR):

    Oświadczenie GENESIS PR w sprawie klienckiego rankingu agencji PR
    opublikowanego w czerwcowym numerze Home&Market

    W nawiązaniu do oświadczenia Marka Wróbla z Neuron PR potwierdzamy, iż
    kliencki ranking agencji PR przygotowany przez Home&Market nie został
    oparty na pełnych i wiarygodnych danych. Wśród naszych Klientów
    (łącznie 24 firmy) ankietowana była tylko jedna spółka. W dodatku
    rozmawiano z osobą, która nie koordynuje całościowo działań naszej
    agencji, a odpowiada wyłącznie za wycinek prac PR.

    Nie jest dla nas jasne, na podstawie jakich danych przygotowano tak
    precyzyjne oceny w odniesieniu do tak szczegółowych zagadnień, jak
    efektywność, kreatywność, rzetelność czy jakość proponowanych
    strategii. Z pewnością nie sprawdzano tego wśród firm, które znają
    naszą agencję i miały okazję wyrobić sobie zdanie na temat naszej
    pracy.

    Stoimy na stanowisku, iż autorzy rankingu powinni ujawnić metodologię
    badania oraz pełną listę przebadanych firm, w tym liczbę respondentów
    opisującą każdą z agencji. Dziwi nas, że nie podano takich danych wraz
    z rankingiem – szanujący się instytut badawczy każdorazowo podaje
    metodologię, jako źródło wiarygodności badania.

    Mamy nadzieję, że sprawa zostanie wyjaśniona przez redakcję
    Home&Market jak najszybciej i jak najpełniej. Liczymy także, że
    kwestią feralnego rankingu zajmie się Rada Etyki PR, a w przyszłości
    podobne badania będą wiarygodnym odzwierciedleniem opinii Klientów o
    agencjach PR.

    Eliza Misiecka

    Dyrektor Generalny

    GENESIS PR

  • Szyba

    Sprawa jest wielce śmierdząca, wystarczy bowiem nieco się zapoznać z opiniami z pl.misc. banki. mBank krytykowany jest na całego, Polbank- topiony, ostatnio po łbie dostaje Getin. A tutaj miło, cicho…. spokojnie. Inny świat…

  • Rownież pisałem o case mbank, lub też pojawiała się ta marka 4 krotnie w ostatnich 2 miesiacach:
    http://www.gadzinowski.pl/?s=mbank

    Jak takie rzeczy mierzy się? Nie widziałem metodologii…
    Jak policzyć 36 komentarzy z:
    http://www.gadzinowski.pl/index.php/2009/07/06/partyzanci-sun-tzu-oraz-bankozaury-z-grupy-bre/

    Albo ponad 200 komentarzy ktore pojawily sie na gazeta.pl lub ok 100 na pb.pl pod artykułami.

    Jak mierzy się w przypadku innych banków, które często także sie pojawiają w komentarzach lub artykułach. Jak też wybrana jest waga – wiadomo o bankach internetowych mówi się znacznie więcej niż o tradycyjnych. Dlatego ten raport, nie jest 100% dokladny, ale jest jakas namiastka trendu. Ale nie dałbym sobie za to uciąć ręki.

  • Pingback: Anna Miotk » Archiwum bloga » Ranking Home&Market()

  • Pingback: Blog przy Kawie » Blog Archive » Ranking Home & Market czyli kolejny wyłom w chińskim murze()

  • Pingback: Ranking Home & Market czyli kolejny wyłom w chińskim murze | Press Room()

  • Pingback: Rankingi - oficjalne stanowisko firmy Expandi : Blog.Mediafun.pl()

  • „Odpowiedź na pytanie „dlaczego oni” jest przez oczami czytelnika – agencja Glaubicz Garwolińska Consultants wykupiła całostronicową reklamę w magazynie (i dostała ramkę redakcyjną o powierzchni ponad 50% powierzchni strony), ITBC Communication wykupiła zaledwie 1/4 strony więc i wypowiedź jest odpowiednio mniejsza. Przypadek?”

    Naszła mnie smutna refleksja: muszę być już nieźle wyprany przez marketingową machinę, skoro dopiero teraz uderzył mnie głęboki idiotyzm określenia „darmowy PR” (a tak podobne „świadczenia” nazywają często same działy handlowe).

  • Oho – zanosi się na wymianę poglądów na poziomie dyskusji premiera z prezydentem o miejsce w samolocie.

  • Pingback: Ranking Home & Market, czyli kolejny wyłom w chińskim murze | Press Room()

  • Pingback: google search – utajnianie wyników « Sztuczna Inteligencja()

  • Pingback: Ranking Home&Market – Anna Miotk()