Obserwacje: nietypowy audyt treści…

Audyt Hekko to jedno z wielu narzędzi testujących witryny internetowe pod kątem SEO. Wyróżnia je moduł analizy semantycznej tekstu. Czego można się po nim spodziewać?*
*w artykule przedstawiono punkt widzenia i opinie przeciętnego użytkownika

Z testów wynika, że aplikacja weryfikuje wykorzystanie w tekście wybranych słów kluczowych, jednak nie analizuje kontekstu w jakim zostały użyte. Nie jest to działanie inteligentne, a co najwyżej mechaniczne. Wyników analizy semantycznej tekstu nie należy traktować bezwzględnie. Dostarczają one wskazówek związanych z wykorzystaniem większej liczby określonych zwrotów, lub usunięciem niepożądanych. Ostatecznie testy wykazały, że moduł analizy semantyki tekstu sprowadzić można do „kalkulatora słów”.

Jak testowano?

W narzędziach udostępnianych bezpłatnie moduł oceny semantycznej tekstu to rzadkość. Przetestujmy zatem audyt Hekko, który taką ocenę wykonuje. Weryfikacja skuteczności marketingowej tekstu stanowi w tym przypadku zwieńczenie audytu i wpisuje się w audyt treści.

Nie ścieżka do katalogu a subdomena

Algorytm audytu Hekko nie przeanalizuje witryny, której adres stanowić będzie ścieżkę wskazującą lokalizację plików w wybranym katalogu roboczym np. https://homeproject.pl/test/. Przy tak zapisanym adresie aplikacja odmówi wykonania audytu. Witryny do celów testowych, jeżeli nie mogą znajdować się w katalogu głównym i zostaną umieszczone w katalogu roboczym, można wywoływać przy pomocy subdomeny np. http://test.homeproject.pl.

Audyt dotyczy jedynie strony głównej

Algorytm aplikacji testującej weryfikuje jedynie tekst zamieszczony pod wskazanym adresem. Nie analizuje tekstów zamieszczonych na innych stronach witryny, bez względu czy prowadzą do nich odnośniki czy też nie (brak tu skanowania części składowych witryny, jakie jest wykonywane np. w przypadku aplikacji Siteliner).

Do celów testowych zredagowano tekst zgodnie ze wskazówkami podanymi w audycie Hekko [zob. Suplement]. Tekst opisywał zalety i wady fikcyjnej aplikacji testującej witryny, której nadano nazwę „Turbo SEO”. Tekst składał się z 238 wyrazów (według statystyk edytora tekstu), w większości pochlebstw i peanów. Został zredagowany tak, aby dać pożywkę algorytmowi testującemu – 55 wyrazów stanowiło opis o wydźwięku negatywnym.

Słowa przeanalizowane: 302

Ocena semantyczna tekstu wykazała, że został on napisany językiem korzyści, z wykorzystaniem zwrotów, które mogą wywołać zainteresowanie i ciekawość. W tym miejscu warto zadać pytanie w jaki sposób algorytm naliczył 302 wyrazy na stronie skoro było ich 238? Ponadto zastanawiający był pomiar stosunku tekstu do kodu. Pomimo iż tekstu było znacznie więcej niż kodu algorytm aplikacji zwrócił komunikat o złych proporcjach pomiędzy jednym a drugim. Nie pomaga znaczące rozbudowanie tekstu.

Ostatecznie tekst „nie zdobył punktu” w kategorii „Wątpliwości”, pomimo zastosowania zwrotu „Chcielibyśmy zaprosić państwa do skorzystania z naszej oferty…”, który został wymieniony we wskazówkach jako „budzący wątpliwość”, i wielu innych takich zwrotów. Algorytm testujący nie doszukał się również w przygotowanym tekście zwrotów budzących lęk, pomimo użycia zwrotu np. „Brak wniesienia opłaty skutkować będzie naliczeniem kary umownej”.

Ocena semantyczna tekstu ma w tym przypadku charakter ogólny. Trudno wnioskować w jaki sposób naliczana jest nota końcowa, tzw. „Wynik semantyczny”. Wszystko wskazuje na to, że algorytm identyfikuje jedynie określony ciąg znaków i zalicza go do określonej kategorii wyrazów.
Użytkownikowi prezentowana jest liczba wyrazów zakwalifikowanych do danej kategorii i kilka ich przykładów, przy czym już dwa wyrazy są wystarczające do uzyskania w danej kategorii „oceny pozytywnej” oraz jeden zwrot „negatywny”, aby uzyskać „uwagę”.

Pomysł na audyt semantyczny jest dobry, a jego wykonanie adekwatne do narzędzia. Należy pamiętać, że jest ono udostępniane bezpłatnie.

Wyników audytu nie należy traktować bezwzględnie, a w kategoriach ciekawostki i swoistej „przypominajki”. Dostarcza on też pewnych wskazówek związanych z wykorzystaniem większej liczby określonych zwrotów, lub usunięciem niepożądanych.

Istotny wynik testu

Przeprowadzono test: powielono kilkanaście razy akapit tekstu o negatywnym wydźwięku, w którym poddano w wątpliwość wyniki audytu fikcyjnej aplikacji Turbo SEO. Powielony fragment: „Aplikacja Turbo SEO pobiera opłaty za każdy test wykonany ponad limit udostępniony bezpłatnie. Wyniki testu SEO mogą nie być precyzyjne…” [zob. Suplement].

Algorytm zaliczył słowa występujące w tym tekście do puli słów wyrażających korzyść i ciekawość. Przy każdym kolejnym powieleniu akapitu wzrastały pozytywne statystyki tekstu, przy czym jego wydźwięk był negatywny.
W kolejnym teście audytowi poddano akapit tekstu składający się z kilkudziesięciu wyrazów: NIE, oddzielonych przecinkami. Algorytm testujący przyznał takiemu dokumentowi 40 punktów w ocenie semantycznej, jednak w wynikach szczegółowych nie wyszczególnił pojedynczych słów NIE, i nie wskazał ich jako negatywne. Wniosek? Wyraz NIE jest liczony przez algorytm testujący jedynie w połączeniu z innym wyrazem (np. nie umiem, nie potrafię). Niestety inaczej stało się w przypadku akapitu złożonego z powtórzonego słowa RAPORT (30 razy, oddzielone przecinkiem). Algorytm testujący policzył wszystkie wyrazy, jednocześnie zwracając informację, że spełnia to wymóg „minimalnej liczby słów wywołujących ciekawość”.
Ciekawie przedstawia się ocena sentencji: Innowacyjna lecz niedopracowana, przez co bezużyteczna. Nie jest to zdanie pochlebne. Ma ono wydźwięk negatywny. Algorytm testujący wyłuskał z tego zdania jedno słowo: NOWA (innowacyjna), kwalifikując wypowiedź jako „wskazującą na konkretne korzyści”…

To dopiero wniosek!

Co w przypadku, gdy brak jest na stronie tekstu (wynik testu: 0 znalezionych słów w każdej z kategorii), np. gdy witryna jest w całości wykonana w technologii Adobe Flash? Otóż taka witryna – całkowicie wykonana we Flashu – uzyska 40 punktów w ocenie semantyki tekstu, przy czym na takiej stronie brak jest tekstu (!). Za co zatem zostały przyznane punkty w ocenie tekstu? Okazuje się, że przyznane zostały za brak użycia słów kwalifikowanych przez algorytm testujący, jako „niepożądane”, np. z kategorii „egoizm” lub „negacja”. Aby uzyskać pozytywny wynik testu wystarczy nie zamieścić na stronie żadnego tekstu!

Marketingowy wabik

Aplikacja nie rozpoznaje kontekstu w jakich wykorzystywane są słowa. Aplikacja nie wykonuje zatem analizy semantycznej tekstu, jedynie identyfikuje i zlicza wyrazy, czyli określone ciągi znaków „od spacji do spacji”. Nie jest to działanie inteligentne, a co najwyżej mechaniczne. Trudno w tym przypadku dopatrzyć się „unikatowej technologii”, jak zapewniają wydawcy aplikacji. Ponadto aplikacja nie wygląda na specjalnie promowaną, a za udostępnianie rozwiązań „unikatowych” pobierana jest zwykle opłata… Narzędziu bliżej jest do „marketingowego wabika”. Wskazują na to obiektywne testy przeprowadzone w warunkach zwykłego użytkowania. W tym miejscu należy nadmienić, że sam audyt nie jest zły, jedynie jego wynik powinien być w odpowiedni sposób zinterpretowany. W szczególności wynik semantyczny (nota końcowa), która może być wysoka z uwagi na dużą liczbę słów w tekście zidentyfikowanych jako „korzystne”, podczas gdy mogły zostać użyte w wypowiedzi o niekorzystnym lub negatywnym wydźwięku. W takiej formie audyt semantyki wypowiedzi stanowi jedynie namiastkę oceny sentymentu wypowiedzi.

Ocena końcowa wynika z założeń, które przyjęli wydawcy aplikacji testującej. Z testów wynika, że w tekście powinny znajdować się co najmniej dwa słowa z każdej kategorii analizy, kwalifikowane jako „pozytywne”, oraz brak słów z kategorii negatywnych. Zatem jest to swoisty „kalkulator słów”.

Suplement

Tekst, który poddano analizie semantycznej.
Źródło: opracowanie własne z wykorzystaniem wskazówek zamieszczonych na stronie internetowej audytu Hekko.