← Cloudflare Radar / radar / investigate
URL Scanner
Pro lepší pochopení využívání internetu po celém světě použijte Cloudflare URL Scanner. S URL Scannerem od Cloudflare můžete prozkoumat podrobnosti o doméně, IP adrese, URL nebo ASN. URL Scanner od Cloudflare je dostupný v sekci Security Center na Cloudflare dashboardu, Cloudflare Radar ↗, a Cloudflare API.
Použijte API
Chcete-li provést svůj první sken URL pomocí API, musíte získat specifický API token. Vytvořte Custom Token s Účet > URL Scanner v Oprávnění skupině a vyberte Úprava jako úroveň přístupu.
Jakmile máte token a znáte své account_id, jste připraveni odeslat svůj první požadavek na API na adrese https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/.
Odeslat URL ke skenování
Chcete-li odeslat URL ke skenování, jediným povinným údajem je skenovaná URL v POST těla požadavku:
curl "https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/v2/scan" \
--header "Authorization: Bearer <API_TOKEN>" \
--header "Content-Type: application/json" \
--data '{
"url": "https://www.example.com"
}'Ve výchozím nastavení bude mít report Public úroveň viditelnosti, což znamená, že se zobrazí v nedávná skenování ↗ seznamu a ve výsledcích vyhledávání. Zahrne se také jeden snímek obrazovky v rozlišení pro stolní počítače.
Úspěšná odpověď bude mít stavový kód 200 a vypadat podobně jako v následujícím příkladu:
{
"uuid": "095be615-a8ad-4c33-8e9c-c7612fbf6c9f",
"api": "https://api.cloudflare.com/client/v4/accounts/<accountId>/urlscanner/v2/result/095be615-a8ad-4c33-8e9c-c7612fbf6c9f",
"visibility": "public",
"url": "https://www.example.com",
"message": "Submission successful"
}Najednou můžete odeslat až 100 adres URL prostřednictvím API ↗.
uuid ve výše uvedené odpovědi identifikuje sken a bude potřeba při načítání zprávy o skenu.
Odeslat vlastní URL Scan
Zde je příklad těla požadavku s několika vlastními konfiguračními možnostmi:
{
"url": "https://example.com",
"screenshotsResolutions": [
"desktop", "mobile", "tablet"
],
"customagent": "XXX-my-user-agent",
"referer": "example",
"customHeaders": {
"Authorization": "xxx-token"
},
"visibility": "Unlisted"
}Výše je úroveň viditelnosti nastavena na Unlisted, což znamená, že zpráva ze skenování nebude zahrnuta v nedávná skenování ↗ seznamu ani ve výsledcích vyhledávání. K prohlídce ho tak budou moci získat pouze uživatelé, kteří znají ID skenu.
Zároveň budou pořízeny tři snímky obrazovky webové stránky, jeden pro každý cílový typ zařízení. User-Agent ↗ bude nastaveno jako "XXX-my-user-agent". Upozorňujeme, že můžete nastavit libovolnou vlastní HTTP hlavičku, včetně Autorizace ↗.
Získat zprávu ze skenování
Jakmile je odeslání URL Scan provedené, aktuální průběh lze zkontrolovat voláním https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/v2/result/{scan_id}. scan_id bude uuid hodnotu vrácenou v předchozí odpovědi.
Zatímco probíhá skenování, bude kód stavu HTTP 404; jakmile bude dokončen, bude 200. Cloudflare doporučuje dotazovat se každých 10 až 30 sekund.
Odpověď bude mimo jiné obsahovat následující hlavní vlastnosti:
task- informace o odeslání skenování.page- informace týkající se primární odpovědi, například IP adresa, ASN, server a historie přesměrování stránky.data.requests- řetězce požadavků zapojené do načítání stránky.data.cookies- soubory cookie nastavené stránkou.data.globals- nestandardní globální proměnné JavaScriptu.data.console- protokoly konzole.data.performance- časování podlePerformanceNavigationTiming↗ rozhraní.meta- výstup meta procesorů zahrnující zjištěné technologie, kategorie domény a URL, pořadí, geolokační informace a další.lists.ips- kontaktované IP adresy.lists.asns- kontaktovaná čísla AS.lists.domains- kontaktované hostname, včetnědnsinformace o záznamu.lists.hashes- hashe těl odpovědí, struktury HTML hlavní stránky, snímků obrazovky a favicon.lists.certificates- certifikáty TLS odpovědí HTTP.verdicts- vyhodnocení škodlivého obsahu.
Mezi příklady konkrétnějších vlastností patří:
task.uuid- ID skenování.task.url- odeslaná URL adresa skenování. Může se lišit od konečné URL adresy (page.url) pokud dochází k HTTP přesměrováním.task.success- zda bylo skenování úspěšné. Skenování může selhat z různých důvodů, včetně chyb DNS.task.status- aktuální stav skenování, napříkladQueued,InProgress, neboFinished.meta.processors.domainCategories- kategorie Cloudflare pro kontaktovaný hlavní hostname.meta.processors.phishing- jaký typ phishingu byl případně zjištěn.meta.processors.radarRank- Cloudflare Radar Rank ↗ hlavního kontaktovaného hostitele.meta.processors.wappa- typ technologií zjištěných jako používaných daným webem, s pomocí Wappalyzer ↗.page.url- URL adresa primárního požadavku po všech přesměrováních HTTP.page.country- název země z geolokačních dat přiřazených ke kontaktované hlavní IP adrese.page.history- historie hlavní stránky, včetně případných přesměrování HTTP.page.screenshot- různé hashe hlavního snímku obrazovky. Lze je použít k vyhledání webů s podobnými snímky obrazovky.page.domStructHash- hash struktury HTML. Slouží k vyhledání webů s podobnou strukturou.page.favicon.hash- hash MD5 favicony.verdicts.overall.malicious- zda byl web považován za škodlivý v době skenování. Zkontrolujte prosím zbývající vlastnosti jednotlivých subsystémů, zda neobsahují konkrétní zjištěné hrozby.
Získat URL Scan dokumentace endpointu API obsahuje úplné schéma odpovědi.
Chcete-li načíst snímky obrazovky nebo úplný síťový log se podívejte do dokumentace příslušných koncových bodů.
Vyhledávání skenů
K filtrování skenů použijte podmnožinu syntaxe ElasticSearch Query. Výsledky vyhledávání budou zahrnovat Public skenů a vlastních Unlisted skenů.
Chcete-li vyhledat skeny pro hostname google.com, použijte parametr dotazu q=page.domain:"google.com":
curl 'https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/v2/search?q=page.domain:google.com' \
--header "Authorization: Bearer <API_TOKEN>"Pokud byste místo toho chtěli vyhledat skenování, která provedla alespoň jeden požadavek na hostname cdnjs.cloudflare.com, například weby, které používají JavaScriptovou knihovnu hostovanou na cdnjs.cloudflare.com, použijte parametr dotazu hostname=cdnjs.cloudflare.com:
curl "https://api.cloudflare.com/client/v4/accounts/{account_id}/urlscanner/v2/search?q=domain:cdnjs.cloudflare.com" \
--header "Authorization: Bearer <API_TOKEN>"Další příklady dotazů:
task.url:"https://google.com" OR task.url:"https://www.google.com": Vyhledat skeny, jejichž odeslaná adresa URL byla buďgoogle.comnebowww.google.com. URL adresy musí být uzavřeny v uvozovkách.page.url:"https://google.com" AND NOT task.url:"https://google.com": Vyhledat skeny nagoogle.comjejichž odeslaná URL adresa nebylagoogle.com(tedy weby, které přesměrovávaly na google.com).page.domain:microsoft AND verdicts.malicious:true AND NOT page.domain:microsoft.com: Škodlivé skeny, jejichž hostitelský název začíná namicrosoft. Odpovídalo by doménám jakomicrosoft.phish.com.apikey:me AND date:[2024-01 TO 2024-10]: Vaše skeny od ledna 2024 do října 2024.page.domain:(blogspot OR www.blogspot): Vyhledá skeny, jejichž hlavní doména začíná nablogspotnebo swww.blogspot.date:>now-7d AND path:okta-sign-in.min.js: Skeny z posledních sedmi dnů s cestou požadavku, která končí naokta-sign-in.min.js.page.asn:AS24940 AND hash:-557369673: Weby hostované v AS24940, na kterých byl načten prostředek s daným hashem.hash:8f662c2ce9472ba8d03bfeb8cdae112dbc0426f99da01c5d70c7eb4afd5893ca: Pomocí hashe napage.domStructHashvyhledejte další skeny se stejným hashem struktury HTML.
Přejděte na Vyhledávání skenů URL v dokumentaci API, kde najdete úplný seznam dostupných možností.
Security Center
Alternativně můžete vyhledávat v Security Center:
-
V dashboardu Cloudflare přejděte na Prošetření stránce.
Přejděte na Prošetření ↗ -
Zadejte dotaz a vyberte Hledat.
Adresu URL můžete skenovat podle lokality. Skenování URL podle lokality vám umožňuje analyzovat, jak může web zobrazovat odlišný obsah v závislosti na vaší poloze. To pomáhá odhalit a prozkoumat škodlivé aktivity specifické pro danou oblast.
Chcete-li skenovat URL na základě vaší geografické polohy:
- Zadejte svou URL adresu.
- Přejděte na Umístění > Vyberte, ze které země se má URL adresa skenovat.
- Vyberte Prohledat nyní.
Můžete také použít API ↗ a naskenovat URL adresu z konkrétní lokality.
V Security Center můžete získat předfiltrované informace podle:
- Podobný screenshot
- Shodný favicon
- Podobný favicon
- Podobná struktura HTML
- Shodné ASN
- Shodná IP
- Shodná doména
- Shodná konečná URL adresa (po všech přesměrováních)