sunsetting
Kod: ww.strona.pl/includes/
ww.strona.pl/pliki/
itd.
czyli katalogi:
Kod: /includes/
/pliki/
ja ci podam:
Kod:
/ten/
/dzial/
/nie/
/nazywa/
/sie/
/tylko-/
/-dla-/
/-maciusia-/
/-z-/
/-klanu/
/---/
/-drogi-/
/-macieju-/
/./
Pytanie jest proste i oczekuje pomocy a nie jaki¶ komentarzy. Jeżeli jest to zły dział to proszę o przeniesienie.
Nie wpadles na to, zeby sciagnac sobie phpbb czy inny cms i sprawdzic.
Tak wogole to swietne pytanie
Dzieki za normalna odp t0m_k ale zastanawiam sie czy to ja tak nieumiejetnie zadaje pytania czy spoleczenstwo jest tak niepojmujace. Oczywiscie ze mam liste katalogow z cmsa: jednego, dwoch, trzech, ale chodzi mi o nazwy katalogow najczesciej uzywanych, takich ktore nie koniecznie znajduja sie w cmsach. Pisze program sprawdzajacy podatnosc strony na listing katalogow i do tego jest mi potrzebna duza lista katalogow.
ja to widze tak (a widze juz po browarku):
mozna by dobrac sie do jakis web spiderow z otwartym kodem, pewnie maja jakies listy folderow.
mozna szukac czegos w te style albo rozbierac cmsy jak juz bylo pisane.
mozna tez wygooglowac sitemapy np filetype:xml intext: sitemap czy jak tam sobie wymyslisz i je odfiltrowac przy czym trzeba bedzie sklepac jakiegos skrypta sprytnego. no i nadadza sie tez pliki robots.txt
ot taki niezbyt szybki sposob ale jakas liste sie uzyskac by dalo
zah swietny pomysl z tym robots.txt, przeszukam tysiace stron w poszukiwaniu robots.txt i lista utworzy sie sama, wielkie dzieki
spox. ale ja na twoim miejscu jesli juz decydujesz sie na pliki skupial bym sie bardziej na sitemap.xml i sobie napisac skrypta co te dane odfiltruje. znacznie wiecej nazw znajdziesz w plikach sitemap niz w robots. tak mi sie wydaje. bo robots sa zazwyczaj od cmsow i tam da sie znalezc nazwy folderow ale jak ktos z reki pisze to nie bedzie tam nic ciekawego, a dla google tworzy sie sitemapy bo taka modna moda i tam bedzie znacznie wiecej info. tak mi sie wydaje. tzn nie wydaje mi sie:P ja bym walil w sitemapy a danymi z robots je dopelnil. sprytny skrypt jakas lista proxy dobra i kilka pomyslow na dorki i w nocke-dwie mozna przyzwoita liste jakas sklepac. w kazdym razie powodzenia. i licze na to ze jak juz bedziesz mial taka liste zdrowa to podzielisz sie z forumowiczami coby pomoc innym
gdyby ktos byl zainteresowany to ponizej podaje adres do programiku, ktory na szybko napisalem do parsowania robots.txt , wystarczy wczytac z pliku liste stron i poleci, co wazne nie podwaja wpisow. W ciagu kilku minut zdobylem kilkaset katalogow.
(exe + zrodelka w C#) Kod: http://www.przeklej.pl/plik/robotsparser-rar-0008ae0ia7tb