False positive crowdsecurity/http-bad-user-agent

[sanvu88]

coccocbot is a bot of the coccoc search engine from Vietnam. I don't know why it is on the blacklist?

╭─────────────────┬───────────────────────────────────────────────────────────────────────────────────╮ │ Key │ Value │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ ASNNumber │ 45899 │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ ASNOrg │ VNPT Corp │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ IsInEU │ false │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ IsoCode │ VN │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ SourceRange │ 103.131.68.0/22 │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ datasource_path │ /home/web/logs/access/access.log │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ datasource_type │ file │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ http_args_len │ 0 │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ http_path │ / │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ http_status │ 444 │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ http_user_agent │ Mozilla/5.0 (compatible; coccocbot-web/1.0; +http://help.coccoc.com/searchengine) │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ http_verb │ GET │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ log_type │ http_access-log │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ service │ http │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ source_ip │ 103.131.71.85 │ ├─────────────────┼───────────────────────────────────────────────────────────────────────────────────┤ │ timestamp │ 2023-10-31T08:20:20+07:00 │ ╰─────────────────┴───────────────────────────────────────────────────────────────────────────────────╯

[LaurenceJJones]

Sorry it took sometime round to this issue, can you explain which scenario it triggered as that is not included within the report?

I guess bad user-agent but I need confirmation.

Edit: didnt read title sorry crowdsecurity/http-bad-user-agent

[LaurenceJJones]

These lines in our seclists will cause the ban:

https://github.com/crowdsecurity/sec-lists/blob/7d8e78b60bcc22243f13a6ad359836b882a87c51/web/bad_user_agents.regex.txt#L104

https://github.com/crowdsecurity/sec-lists/blob/7d8e78b60bcc22243f13a6ad359836b882a87c51/web/bad_user_agents.txt#L104

I will create a PR to be removed