2023-09-27

12款开源情报(OSINT)检索工具盘点 - 知乎

互联网上存在很多开源情报(Open-Source Intelligence,OSINT)信息,其中开源是指公众容易获取和分发的信息或程序;情报是获取和应用知识的能力。总的来说,开源情报就是从公开来源获取、收集和分析信息以产生有价值情报的过程,其来源包括互联网、社交媒体、学术和专业期刊、报纸、电视甚至某些被违规泄露的数据。

在这个信息大爆炸的时代,OSINT对于深度依赖有效信息获取的安全防护工作显得尤为重要。如果被合理利用,这些数据将能帮助分析师更准确了解事件的真相。然而,手动检索开源情报是一项艰巨的任务,有太多的记录和数据需要处理。值得庆幸的是,市场上存在许多工具可以自动化完成开源情报信息的搜集。以下整理了目前业界常用的12种功能强大的OSINT工具,即便是非专业安全人员,也能够轻松使用。

1. OSINT Framework

OSINT Framework是一个包含不同工具的网站,用户可以使用这些工具在不同的系统和知识库中查询开源情报信息,包括电子邮件地址、社交媒体、域名、搜索引擎、公共记录、文档甚至电话号码等。

比如用户想了解“社交媒体”相关信息,OSINT Framework就会将其细分出子部分列表,如Facebook、Twitter、Instagram、Reddit、LinkedIn等,用户可以进一步选择子分类,其中就会包含搜索、分析、图片、位置和存储/删除的推文等。当选择“分析”后,它还会呈现推文元数据、Birdwatcher、Tinfoleak等细分部分。

应用链接:osintframework.com/

2. Wayback Machine

Wayback Machine被称为互联网的数字档案馆。它用于管理、捕获和归档网站在一段时间内的快照,即使原始网页被删除或改动,用户仍然可以查阅曾经的网页快照。目前,Wayback Machine每天收到的请求数(包括查阅和存档请求)超过10亿次,累计已经缓存了近7000亿个不同时刻下的各种网页页面。

用户可以通过Wayback Machin的“保存页面”服务存档上亿个网站,如果注册了免费账户,还可以要求抓取相关页面的“外部链接”(outlink),并通过电子邮件接收抓取情况的报告。

当需要回溯历史信息时,Wayback Machin会以 “年份选择器”和“日期选择器”的形式向用户呈现该网站的所有保存记录。如果想比较两个不同网页存档之间的差异,可以使用Wayback Machin的“查阅改动”(Changes)功能来实现这一点。

应用链接:wayback.com

3. Maltego

Maltego主要通过使用开源情报技术查询诸如DNS记录、whois记录、搜索引擎、社交网络、各种在线API和元数据提取之类的源头,从而发现这些信息之间的链接。Maltego程序通过自动搜索不同的公共数据源来工作,因此用户可以单击一个按钮并执行多个查询,每次执行的查询可以返回多达12个实体。由于该程序使用公共接口来执行搜索,因此它几乎可以与任何具有公共接口的信息源兼容。

一旦收集到信息,Maltego就会建立链接,以展现姓名、电子邮件地址、别名、公司、网站、文档所有者、附属机构和其他可能对调查有用的信息之间的隐藏关系,或寻找潜在的未来问题。它可以在Windows、Linux 和 Mac上下载,并且预装在Kali Linux中。

该程序有一个免费版本,功能有限,称为Maltego CE。Maltego PRO版本主要针对专业调查人员和小型团队的计划,包括Maltego One桌面、所有Maltego标准转换,以及访问商业转换中心(查看所有功能的完整列表)。

应用链接:maltego.com/

4. Have I Been Pwned

Have I Been Pwned是Troy Hunt创建的免费网站资源,该网站收集了大量被拖库的数据库,可供用户查询自己的个人信息是否因数据泄露受到损害。用户只需在搜索框中输入要查询的姓名或电话号码,它就会搜索泄露数据库以查看对应的凭据是否已遭泄露。如果发现相关泄露事件,下滑页面就可以看到泄漏的信息。

应用链接:haveibeenpwned.com/

5. Shodan

Shodan是一个专用搜索引擎,用于搜索互联网和连接到它的不同网络服务器。这意味着使用Shodan,用户就可以浏览其数据库以查找连接到互联网的设备,例如路由器、物联网(IoT)设备、监视器、安全摄像头、交通信号灯等。

作为一款功能强大的OSINT工具,Shodan可以监控和搜索的范围体量令人震惊。它是少数能够检查操作技术(OT)的引擎之一。如果没有像Shodan这样的工具,想要在部署IT和OT的行业中收集开源情报会存在很大的缺失。

Shodan创建账号是免费的,但是可以免费查询到的信息少得可怜。如果要进一步查询更多的信息,用户需要购买Shodan的会员服务。除了个人版本,Shodan还推出了小型企业版和企业高级版的收费版本,其中小型企业可扫描多达65,536个IP地址,并返回多达两千万个结果;企业高级版提供无限的返回结果以及每月最多327,680个IP扫描,还包括漏洞搜索过滤器和高级支持等服务。

应用链接:account.shodan.io/

6. ZoomEye

ZoomEye是由我国安全公司知道创宇(Knownsec Inc.)创建的搜索引擎。最初上线时,很多人将ZoomEye视为国内版本的Shodan,但实际上ZoomEye和Shodan还是有差别的,因为ZoomEye除了设备指纹的扫描以外,还增加了对域名和Web服务器的指纹扫描,包括前端框架、后端框架、服务端语言、服务器操作系统、网站容器、内容管理系统和数据库等。

ZoomEye 拥有两大探测引擎:Xmap 和 Wmap,通过持续性的探测、识别,可有效标识出互联网设备及网站所使用的服务及组件。研究人员可以通过ZoomEye方便地了解网络资产分布情况及漏洞的危害范围等信息。

应用链接:zoomeye.org/

7. TinEye

TinEye是Idée公司所开发的一个反向图像搜索和图像识别网站,2008年就已经正式上线应用。它使用计算机视觉、模式识别、神经网络和机器学习来提供快速准确的搜索解决方案。要使用TinEye,只需将用户想要获取信息的图像上传到网站即可。该站点将获取有关图片位置、来源、使用甚至更高分辨率的信息。

应用链接:TinEye.com

8. Censys Search

Censys Search是一个基于网络的搜索引擎,其创建之初的目的主要是用作学术研究,自身定位也是一个公益项目,由密歇根大学和Rapid7公司合作完成。Censys官网上这样定义该搜索引擎:“Censys Search是一款搜索引擎,它允许计算机科学家了解组成互联网的设备和网络。Censys由互联网范围的扫描驱动,使得研究人员能够找到特定的主机,并能够将设备、网站和证书的配置和部署信息创建到一个总体报告中。”像Shodan一样,它会在互联网上搜索服务器以及联网设备。此外,它还能够识别联网的工业控制系统和平台。

应用链接:censys.io

9. BuiltWith

BuiltWith是一款用于发现流行网站构建技术和编程语言的工具。它是一个网站分析器、商业智能(BI)、潜在客户生成和竞争分析工具。BuiltWith还会生成一个网站使用的已知JavaScript/CSS库(例如jQuery或Bootstrap)的完整列表。此外,该服务还提供安装在网站上的插件列表、框架、服务器信息、分析和跟踪信息等。在实际应用中,如果将BuiltWith与WPScan等网站安全扫描程序结合使用,可以让安全人员更容易发现影响网站安全的常见漏洞。

应用链接:builtwith.com/

10. Nmap

Nmap是一款免费的网络和端口扫描器,用于发现在网络或网站上运行的服务操作系统、主机和开放端口。它在Web上可用,并且在大多数常见操作系统上都能被支持。

Nmap的功能包括:

• 主机发现:识别网络上的主机;

• 端口扫描:枚举目标主机上的开放端口;

• 版本检测:询问远程设备上的网络服务以确定应用程序名称和版本号;

• OS检测:确定网络设备的操作系统和硬件特性;

• 脚本交互:使用Nmap脚本引擎(NSE)和Lua编程语言。

应用链接:nmap.org/

11. Recon-ng

Recon-ng是一款基于python开发,通过命令行来操作的信息收集工具。Recon-ng可以进行DNS信息收集、域名信息收集、邮件信息收集、结合搜索引擎进行信息收集,是一个功能强大的Web侦察框架。

Recon-ng采用模块化设计框架,具有许多内置功能,使得即便是最初级Python开发人员也可以创建公开可用数据搜索并返回良好的结果。开发人员无需编写Recon-ng脚本来执行搜索,只需选择他们希望其执行的功能,就可以在几分钟内构建一个自动化模块。

应用链接:bitbucket.org/LaNMaSteR

12. The Harvester

The Harvester是一款开源情报工具,用于收集有关电子邮件、网站、子域、开放端口、虚拟主机等信息。The Harvester使用的来源包括流行的搜索引擎,如Bing和Google,以及较少见的搜索引擎,如dogpile、DNSdumpster和Exalead元数据引擎。它甚至可以利用Shodan搜索引擎来寻找已发现主机上的开放端口。

The Harvester无需任何特殊准备即可访问大多数公共资源。但是,其使用的部分功能需要API密钥。此外,用户的使用环境中还必须有Python 3.6或更高版本。

应用链接:github.com/laramies/the

2023-09-18

牛逼的人生有很多种

牛逼的人生有很多种:

[ comments ]

文/古典

1. 你可以从手艺人到斜杠到大师

一门手艺背后有道,把这个道再提取出来,带着名声和技术迁移几个领域,就变成了斜杠模式。

前几天听三藏梵音,创始人三藏原来是《同一首歌》的音乐总监,修炼佛法10年以后,开始用音乐的方式传递佛法,是个大斜杠。

更牛的斜杠就成了大师——齐白石原来是个雕花木匠,后来书画印雕花都大师;沈从文原来是作家,解放后不让写字,去故宫博物院安心研究文物,写《中国古代服饰研究》,成文物大家。

斜杠的终极形态就是大师。

2. 你不是非要当第一,老二一样很成功

郭德纲和于谦,郭德纲名声大,光环足,弟子多,一个人拯救了传统剧场相声的赶脚,郭德纲排第一,是为成功。

但于谦压力小啊!活得简单,舒服痛快,没有焦虑。你有机会看他写的《玩儿》,从玩鸟、玩狗、玩马无一不精通,德云社的事务不操心,生活质量比郭德纲高了不知道多少倍,你说成功不成功?

费玉清和蔡琴是台湾两个乐坛常青树——蔡琴走的是第一名模式,费玉清走的就是“老二哲学”,自己是大牌,但是从来不压轴,总是站在所有的同时代的牛人旁边,刘文正火了跟刘文正,刘德华火了跟刘德华,周杰伦火了跟周杰伦。三十多年,稳稳当当,常年不倒。

这种生存哲学,你说成不成功?

3. 其实照顾好身边人也很成功

助人者心量大,但有些人小小的也很美丽。

我的一个好哥们年龄比我大3岁,是某公司合伙人;送老婆孩子去国外读书半年,会抱头痛哭;晚上约出来吃饭,说不行,今晚我女儿生日,我要为他录一首歌。

他的人生半径不大,但是圈子里每一个都是精品。

有幸在他的朋友圈子里,我觉得他一样很成功。

4. 精神可以自由又有趣

王小波、罗素、宗萨仁波切……我把这些人归成一类,他们的一辈子就是为了追随心理和精神的自由,人生的有趣。

王小波说:“我活在世上,无非想要明白些道理,遇见些有趣的事。倘能如我所愿,我的一生就算成功。”

这些人也活得成功。

5. 那就用持续有成就感的方式过一生

有“成就感”的前提是你要对这件事情“有感觉”,“持续”的前提是你需要不断的精进自己的能力,“过一生”意味着,在人生不同阶段的成就感不同,你的成功标准会不一样。

对于成功方向,心理学家罗克奇给出不错的建议,他列出13种生存方式(价值观),每一种背后,都是一种成功。你持续有成就感的方式可能是一种或者几种的组合。
(1) 成就感:提升社会地位,得到社会认同;希望工作能受到他人的认可,对工作的完成和挑战成功感到满足。
(2) 美感的追求:能有机会多方面地欣赏周遭的人、事、物,或任何自己觉得重要且有意义的事物。
(3) 挑战:能有机会运用聪明才智来解决困难;舍弃传统的方法,而选择创新的方法处理事物。
(4) 健康,包括身体和心理健康:工作能够免于焦虑、紧张和恐惧;希望能够心平气和地处理事物。
(5) 收入与财富:工作能够明显、有效地改变自己的财务状况;希望能够得到金钱所能买到的东西。
(6) 独立性:在工作中能有弹性,可以充分掌握自己的时间和行动,自由度高。
(7) 爱、家庭、人际关系:关心他人,与别人分享,协助别人解决问题;体贴、关爱,对周遭的 人慷慨。
(8) 道德感:与组织的目标、价值观、宗教观和工作使命能够不相冲突,紧密结合。
(9) 欢乐:享受生命,结交新朋友,与别人共处,一同享受美好时光。
(10) 权利:能够影响或控制他人,使他人照着自己的意思去行动。
(11) 安全感:能够满足基本的需求,有安全感,远离突如其来的变动。
(12) 自我成长:能够追求知性上的刺激,寻求更圆融的人生,在指挥、知识与人生的体会上有所提升。
(13) 协助他人:认识到自己的付出对团体是有帮助的,别人因为你的行为而收获颇多。

成功有很多模式,但是平庸往往只有一种——缺乏独立的思考和空想。下意识,随大流。按某个你其实并无竞争力,也无成就感的主流模式积累能力和资源。等你发现的时候,你已经耗完资源,深陷其中,无力解套了。

[ comments ]

成为自得其乐的人 – 左岸读书

成为自得其乐的人 – 左岸读书

很多时候,我们依赖于外在的刺激来获得愉悦感和幸福感,所以我们需要别人来填充我们,需要外在环境来填充我们——如果没有得到周围人的认可,如果没有从外界获得自己期望的结果,那我们就会不开心不高兴,滋生出颠嗔痴的各种情绪,内耗严重。

可是,这个世界是反的(看这里),如果你想得到一样东西,往往需要你把自己训练成不再需要它的样子。这是我最近的一个有趣的发现,就像你想得到别人的认可才能开心快乐,那往往你是很难持续保持那种快乐的。而当你活出不需要别人认可的样子,不依赖于外界反馈而内心能自洽于每一个当下,反而周围都是认可你的人。

如果你能够自洽于此时此地此事,那你就是一个自得其乐的人。这种自得其乐,来自于你对外界的人、事、物没有需求感,来自于内心柔韧稳定的自我感。这时候,你不会因为一个人而自伤自怜感到孤单寂寞,你不会需要不停地从外界抓取一些什么来寻找存在感,你不会沉迷于刷手机看剧来填充无聊的时光,你不会因为等公交等外卖而无处安放内心的焦躁。

相反,你的心会沉下来,将注意力放在内部向内看,你可以安排好自己的时间,你可以将精力放在最重要的事情上,更关键的是,你不会胡思乱想,你对自己保持一种包容和接纳,你完全可以沉浸于自己的快乐里,和外在的他人环境无关。自得其乐,其实是一种心力的体现。

米哈里·契克森米哈赖在他的积极心理学著作《心流》中有讲到一个有趣的例子:
一位名叫桃乐西的妇人,在丈夫去世、儿女都成年离家之后,搬到了一个孤寂的小岛独居。她会在居所周围种花,布置花园,还会自娱自乐地在很多树上贴标语牌,上面写着打油诗,老掉牙的笑话,还有指示她住处的漫画。而她一年到头的日程安排也很紧凑,5点起床,看母鸡有没有下蛋,挤羊奶,劈木材,做早餐,洗衣缝纫,钓鱼等等。而在漫漫长夜,桃乐西会专注于阅读和写作,她书架上的书包罗万象,偶尔她也会到都市里购物,夏季因为有渔夫到访,她又会与到访者有积极的交流。桃乐西似乎也很喜欢人群,但她更喜欢能够管理自己内心秩序,充分把握自己的世界。

桃乐西就是那种自得其乐的人。能够自得其乐的人,不会把孤独或者困苦看做是天大的不幸,相反,他们会设法整顿自己的注意力,将其投注于自己设定的目标之上,这样他就能实现自己内心真正渴求的愿景,并能够从中获得技能,获得乐趣,创造出属于自己的生活小确幸。

自得其乐的人往往对这个世界没有那样强烈的需求感,如此一来,就破除了我执,因为他们不再拘泥于一定要得到别人的认可或者一定要这个世界给出符合期待的反馈。

而一旦破除了我执,我们就会松弛下来,从而进入一种“臣服于生活”的状态,回归到生活本身。周围还是那些人那些事,世界还是那个世界,但是我们的心态不一样了,一旦心境变了,周围的人、事、物就会跟着发生改变。
所以,如果你能成为一个自得其乐的人,你就掌握了“境随心转”的魔法,成为自己人生的创造者。

那如何成为一个自得其乐的人呢?这里依据我的经验跟大家分享几个有效的方法,希望对我们锻炼心力有帮助。

1. 正念

正念,其实就是一种心无旁骛的状态,心里装的事很少,甚至心里只有当下要做的那件事。这时,因为心里只有那件最重要的事,所以你会聚焦于它,把所有的注意力都投入其中。一旦注意力聚焦了,把一件事情做好的概率就变大了。简单来说,当能够把注意力放在自己的一呼一吸之间时,你就能够将觉知带入当下的时刻,这个状态就可以被称为“正念”。

你能够保持正念的时候,你就自然生成了一份对自己和周围世界的觉察力,这份觉察力能够让你看到自己的情绪感受,然后有觉知地去做那些对自己有价值有意义内心真正认同的事情,而不会沉迷于所谓的游戏手机等消极娱乐。而能够满足内心更高层级需求的事情,往往会给你带来更多的愉悦和幸福感。

2. 构建心流体验

在"心流"的体验中,我们可以掌控自我的意识,重塑内心的秩序,全心全意地投入一件事情,甚至进入忘我的境界,而这时候,愉悦和幸福感恰恰是我们在这个过程中获得的副产品。

就像你简单地去散个步或是吃个饭,当你全神贯注于所做的事情,全力以赴地把这件事情做好的时候,你就为自己构建了一次“心流”体验,内心感受到的是满足和积极,你就成为了一个自得其乐的人。

所以,你可以培养一个兴趣爱好,比如写写字,画个画,或者制定一个目标学习一门感兴趣的技能,比如定一个学习英语的计划,或者学习一门编程语言。只要你将自己觉得有意义有价值的事情转变成一个意图明确的目标,并且从最简单最小的要求开始,那你往往很容易把做这件事情转化成“心流体验”。

比如,你觉得写字这件事情很有价值很有意义,那你就可以给自己定一个目标,每天临摹字帖,每天20个字,从最简单最容易启动的方式开始,然后日日为之。当你每天都可以从练字的过程中获得一次心流体验,那你的专注力就会迅速提升,你从中就可以自如地获得快乐,而不会因为无聊无事可做而精神涣散。
而在日常生活中,你也可以随时构建心流体验。

比如上下班坐地铁要坐很长的时间,如果一直刷手机刷抖音其实也非常无聊,这时候你思绪混乱内心也会烦躁。为了停止这种心力的无效浪费,你就可以给自己设定一个可行的目标,就是在坐地铁的过程中,顺便在手机上看看书或者学习一个课程。这时候,当你有了一个明确的目标,你就把所有的专注力都放在了达成目标上,这让你能够掌控自己的意识,管理好内心的秩序,而在这个过程中,你因为投入而沉浸其中,等待的过程变得愉悦而非焦虑,所以我也就有了更强烈的成就感和幸福感。

当一个人有了自得其乐的能力,他的生活就会非常充实,没有那种额外的需求感,他就成为了一个具有强大心力的人。这个时候,他因为自身有足够的价值足够的能量,他就不需要AZz从外界去攫取所谓的认可和反馈,反而是作为一个自带能量的人去分享价值分享能量。由此,他就成为了一个有魅力有吸引力的人,他就会像一块磁铁一样,毫不费力就吸引了周围人的目光和赞赏,尽管这不过是他成为自己成为一个自得其乐的人的副产品。


左岸记:假如你必须做一件事,那就乐在其中,一如华罗庚醉心于数学,一如徐霞客醉心于山水,一如米开朗基罗在画画,一如莎士比亚在写诗,一如贝多芬在作曲。

精选文章

旧手机变废为宝|五分钟安装Ollama跑开源大模型 - 开发调优 - LINUX DO

旧手机变废为宝|五分钟安装Ollama跑开源大模型 - 开发调优 - LINUX DO 在开始之前,请你先准备好一台旧Android手机以及特殊的网络环境。 1.安装Termux 2.更新软件包及依赖 pkg update && pkg upgrade 3.安...