哈斯日志
纪录我们在网路上奔波的历程!
  • »新帖子
  • AI搜索引擎的兴起:挑战与机遇
  • 系统3:扩展和增强人类决策能力的关键
  • 决策增强与智能知识管理:人脑的第三个系统
  • 知识管理的算法
  • 信息知识管理技能
  • 碎片化阅读、海量信息时代的轻量级知识管理
  • 俞军和他的产品经理课
  • 为什么我们都对搜索不满意却又无可奈何
  • 搜索产品市场机会探讨:头条不做搜索做什么
  • 搜索产品市场机会探讨

  • Reward hasiblog
    AI搜索引擎的兴起:挑战与机遇
    星期六, 四月 06, 2024
    在信息爆炸的时代,搜索引擎成为了我们获取知识的关键。随着人工智能技术的迅速发展,AI搜索引擎如雨后春笋般涌现,它们以全新的方式解读用户需求,提供直接而精准的答案。AI搜索工具在不断进步,包括ChatGPT、Google Gemini、Bing搜索与Copilot结合形式、以及备受关注的Perplexity、You.com等。它们通过理解搜索结果集合,结合大型知识库和生成能力来提供类似答案的反馈。同时,Lepton AI开源RAG解决方案以及各种以方式开放的RAG形式产品,通过实时信息作为上下文,接入大型模型进行搜索和生成式AI能力的结合,不断推出响应搜索和信息消费服务需求的产品,例如Phind的代码搜索等。这些新兴的AI搜索引擎服务,究竟是对现有搜索引擎服务的挑战,还是挑衅呢?它们的优势和机遇又在哪里?以及,它们面临的问题和客服问题的代价是否足以支撑其产品和技术的成功?它们的产品和体验是否足以支撑其商业的成功,进而获得永续的竞争力和发展能力?作为一个搜索从业者、语言模型开发者和生成式AI解决方案创业者,我将从我的理解和认知出发,分享我的看法。

    新搜索服务的必要性

    传统搜索引擎似乎逐渐变得不尽人意。虽然每次查询都能获得一系列搜索结果,但其中往往包含大量重复的、不太准确的结果,常常被广告和SEO垃圾所掩盖,似乎变得越来越差,每次查询都能获得十个搜索结果蓝色链接,各种重复的、不太准确、充斥着广告和SEO垃圾的结果,都让我再次筛选和使用更耗时。

    相比之下,一些AI工具,甚至包括谷歌自己的搜索生成体验,能够直接提取这些信息并直接提供给用户,这给用户带来了更好的搜索体验。然而,传统搜索引擎在用户提出具体问题时,常常给出奇怪的结果,这让人感到困惑和无奈。

    我尝试的所有AI工具,包括谷歌自己的搜索生成体验,都可以直接提取这些信息并直接提供整理分析,并给出有效的归纳总结。

    搜索引擎是多重功能的集合体

    对于搜索引擎,你必须明白,虽然许多人使用百度谷歌查找重要且不易得的资讯、知识、科学信息,也有数以亿计的用户更多地使用它查找他们需要的软件、文档、资源、门户网站、电商网站等特定网站,或者ip地址是哪里的、地址导航、产品评价和其他人关于特定话题的意见等。一个有意思的现象是,在百度搜索服务中,有大量的人们输入的查询词是“百度”,在Google搜索中输入关键词查询“Google

    所有这些可能成为“搜索引擎”产品杀手的AI搜索们,所面临的真正问题不是它们能找到信息的效果如何。而是它们是否能够像搜索引擎一样全面地执行所有任务。在早期PM曾经讨论一个真实且当时觉得“无解”的问题,什么是搜索?基于每天研究分析以数千万用户查询的意图和目标的特别的搜索发烧友团队,几乎采用了穷举法和遍历法之后,最后选择了一个叫作“排除”法的方法来描述对搜索的认知,“搜索就是找到”。在搜索引擎产品的工作人员经常说“搜索需求”基本上寻址、资源、信息有三种类型的查询。

    第一种也是最流行的是导航查询,即用户只需输入网站名称即可转到该网站,这是搜索引擎的主要任务之一:带你到达目标网站。

    第二种,资源需求查询,找一个文件、找一个软件等,搜索引擎的任务显然找到有效目标,并最快速地抵达目标,获取对应资源。

    第三种,知识信息查询,在这个方面试用的AI搜索,有着非常明显的体验提升和优势。通常情况下,这类需求,包含不同的维度,按照阅粒的方法论,则认为事实、数值、经验、观点、历史记录等知识类需求,包括新闻、资讯、娱乐信息这种时间关的信息,这三类的不同表现在需求满足角度,也是知识探索发现的类别,

    探索挖掘查询,通常是某一topic的信息簇,包含不同维度、不同角度的看法和经验等多种相关而不相同的信息,有些知识来自他人分享,有些来自历史上数据、档案等,这些是没有单一答案的问题,而是学习过程的开端,还具备丰富的用户数据和深入的市场理解。这些正是AI搜索引擎可以发光的时刻。除了这个角度,LLM还可以实现跨语言文化的知识信息的共享和重述。

    AI搜索解决如下问题上“遥遥领先

    AI搜索引擎利用先进的机器学习算法,能够理解用户的自然语言查询,提供更加丰富和相关的搜索结果。它们在处理探索性查询方面表现出色,能够为用户提供深入的背景信息和相关知识,这对于学习和研究尤为有用。

    答案型查询,在信息查询中,一大堆结果,其实只有很确定客观信息准确符合目标需求,比如“如何在Mac系截图”,无论多少条结果、多少网站上有,其答案只有全屏截图是Cmd-Shift-3,选择截图是Cmd-Shift-4。

    参考型查询,bing Copilot,perplexity都在采用通过对特定、若干条有效参考信息交给LLM,进而来生成跟提问或者查询相匹配的回复,并给出和解释链接,这种综合分析,大大降低对搜索中10条蓝色链接、甚至更多结果进行阅读和整理的工作。

    跨语言文化的知识共享,AI搜索具有跨语言文化的知识共享能力,可通过多语言理解和翻译,跨文化信息检索,文化适应和个性化推荐,跨语言信息挖掘和知识图谱建设,以及语言普及和教育支持等方式,促进不同语言和文化背景下的信息交流和共享,推动全球化的信息传播和文化交流。

    AI搜索在满足这些需求上还有差距

    主要在这几个方面“知识库的更新”“事实性问题和大模型幻觉”“生成式结果的可靠性”。寻址导航类、资源类,目前可以通过垂直数据或搜索通过RAG引入到AI搜索服务中,类似Perplexity这样,通过提供专业准确的总结描述和清晰完备的信息来源、资源描述来实现信息的信任代理和资源推介。

    当你想知道某些具体信息,这些信息在满足用户查询、问询需求的时候,表现出不同的展示、交互形态,比如,“世预赛国足新加坡比分”的信息查询,“黄健翔怎么看国足新加坡比赛”,“北京空气质量”“北京天气”搜索引擎都能通过引入数据源,高质量准确地解决问题。传统搜索引擎产品经过近20年的迭代更新,已经深刻嵌入各种垂直场景和具体的需求对应的数据、知识库,他们能准确反馈,甚至会弹出一个小部件,显示其他统计数据和信息,比叙述性文本阅读体验好的多。

    基于目前预训练大语言模型为知识库的AI搜索,对于实时内容,如股价、体育比分等,是无法满足的,尽快他们也会响应回答,生成看起来合理的信息,但是事实上是不可信的,他的信息仅限于模型知识更新的截止日期,并不是实时更新的。

    除此之外,AI搜索还存在一个对知识的召回并不能完整客观地还原预训练语料的知识描述,所以有相当概率,无法准确还原信息本来在网页、文件或者书籍杂志上的呈现。

    再次,他们针对资源型的需求,更是无法具体资源和用户问题映射关系(至少目前是这样)。

    当然,不可否认的是,AI搜索引擎在这对搜索结果帮助性总结,拓展性地引入新的知识锚点和提示,其体验和感受,大大超过传统搜索引擎产品的反馈。

    AI搜索引擎在帮助用户快速找到特定网站方面仍需改进。概括起来看,所有的知识性查询,询问大盘鸡的做法、咖啡配方、耳机防水等问题我们都能获得可靠、有效的信息,且体验也相当可信可靠。

    AI搜索引擎的优势与挑战

    AI搜索引擎的优势在于其能够理解用户的自然语言查询,提供更加丰富和相关的搜索结果。它们在处理探索性查询方面表现出色,能够为用户提供深入的背景信息和相关知识,这对于学习和研究尤为有用。然而,它们仍面临一些挑战,包括知识库的更新、事实性问题与大型模型的幻觉、以及生成式结果的可靠性等方面的问题。

    而诸如和Microsoft Copilot、Perplexity等信息获取和知识查询工具则变得越来越出色,我们似乎正在朝着一种新的在线信息获取方式迈进,甚至公司如Perplexity和You.com将自己打造成下一代搜索产品,甚至谷歌、必应等也在大力投资,认为AI是搜索的未来。

    实时信息处理的挑战,在提供实时信息方面,例如体育比分、天气等,确保搜索结果及时更新和准确展示是提升搜索引擎竞争力的关键。应该加强对实时信息的处理能力,包括更频繁地更新索引和实时调整模型参数,AI搜索引擎的准确性和更新速度仍有待提高。

    AI搜索引擎面临的潜在风险与问题

    推理算力成本高昂:AI搜索引擎依赖于大型预训练模型进行推理,这带来了高昂的服务成本。解决这一问题需要技术上的创新,以降低推理过程的资源消耗,例如优化模型结构或使用更高效的计算架构。

    速度与准确性的平衡:为提升用户体验,AI搜索引擎需要持续优化搜索速度和结果准确性。这可通过改进算法和优化数据处理流程来实现,确保在短时间内提供准确的搜索结果。

    用户体验和信任度:AI搜索引擎需要设计更直观、用户友好的界面,同时提供可靠的搜索结果。优化交互设计,考虑用户习惯和需求,加强对搜索意图的理解,以提高用户对搜索结果的信任度和满意度。

    多功能化工具的发展:AI搜索引擎应朝着更复杂、多功能的方向发展,不仅提供搜索功能,还可以满足用户探索性查询的需求,提供更丰富的信息和背景知识,从而增加用户粘性和使用频率。

    商业模式的优化:AI搜索引擎的商业模式需要考虑如何平衡服务质量与成本,探索更有效的收费模式,同时保证用户体验和服务水平不受影响。可能的方法包括不断优化付费订阅套餐,吸引更多用户参与,以及开发其他增值服务来增加收入来源。

    AI搜索引擎在解决潜在风险和问题的过程中,需要综合考虑技术、用户体验和商业模式等多方面因素,通过持续创新和优化,才能实现其商业成功并获得持久的竞争优势。

    标签: , , , ,

    阅读《AI搜索引擎的兴起:挑战与机遇》更多内容...
    This Written at 四月 06, 2024 by loverty.   ,
    系统3:扩展和增强人类决策能力的关键
    星期六, 十二月 16, 2023
    (配图有Dall-E根据本文文案创作)

    系统3的介绍

    系统3是一种创新的技术工具,旨在扩展和增强人类的决策能力。它基于大型语言模型基础设施,通过提供丰富的知识支持、数据分析和逻辑推理等功能,帮助人们更好地进行决策。基于大模型LLM的助理,比如chatGPT、微软Copilot、Bard、Claude都显性面上,面对更广泛的人群提供了这项能力。就面向个人而言,发现整理组织和存储一体化,以随需调用随时候命的服务姿态呈现。

    当然系统3,不仅仅指的是为个人提供消费级体验或生产力工具,系统3运行在特定的有决策共性和关联性的组织和人群,那就更是组织的外脑,将在企业组织运作活动中,发挥很有价值的决策支持、分析应用的效用。

    但是从目前体验反馈看,能够有效提问、有效交互的人群并不是预期那么普及。与早期期待的,会说话、能表达就能参与与机器人的互动的门槛还有相当差距。大模型如何获得输入信息之外的隐藏信息、隐含意图,以便于更准确地理解,用户需求,从而能进一步高质量、高符合预期的与用户进行有效互动。这还有相当进步空间。

    上篇blog提出的系统3的作用非常广泛。

    首先,它可以帮助人类快速获取和整理大量信息。在信息爆炸的时代,我们面对海量的数据和知识,很难从中找到有价值的内容。而系统3通过其强大的搜集和整理能力,能够为我们提供准确、全面的信息支持,是不断电就能无休止重复工作,做好搜集整理和知识化建模,以供随需调用。

    其次,系统3利用数据分析技术帮助人类发现隐藏的模式和趋势。通过对大量数据进行深入分析,系统3可以揭示出我们无法察觉到的规律,并将这些规律转化为有用的见解。这使得我们能够做出更加明智、准确的决策。系统3能发现这些隐含特征,用玻尔兹曼关于熵的理论来解释,LLM模型最大程度上用”训练集所有知识“补充了你的提问所忽略了的信息,补全的信息量越多,熵减做的就越好LLM模型的反馈能力和输出效果就越好。

    最重要的是,系统3作为人类思维的有力补充,提供全面的决策支持。它不仅可以帮助我们进行逻辑推理和思维扩展,还能够提供多个角度、多个层次上对问题进行分析。这样一来,在做出决策时就能够更加全面地考虑各种因素,并避免盲目行动。

    它还可以通过演绎对话逻辑,去模拟运行环境,通过针对你的期待的输出进行复杂逻辑演绎来证实或证伪。

    系统3的特点

    系统3具有以下几个显著特点,它们是信息获取和管理、数据分析和模式识别以及增强决策。

    信息获取和管理

    系统3通过大型语言模型基础设施提供丰富的知识支持。这意味着它可以从各种来源获取广泛而深入的知识,包括文学、科学、历史等领域。无论我们需要了解什么内容,系统3都能够为我们提供相关的信息,并帮助我们快速获取和整理大量信息。

    此外,系统3还能够有效地管理和组织知识资源。它可以将不同领域的知识进行分类、归档,并建立起一个完善的知识库。这样一来,当我们需要某个特定领域的知识时,只需向系统3提出请求,它就能够迅速找到并呈现给我们。

    数据分析和模式识别

    系统3利用数据分析技术帮助人类发现隐藏的模式和趋势。通过对大量数据进行深入分析,系统3可以揭示出我们无法察觉到的规律。例如,在市场营销领域,系统3可以通过分析消费者行为数据来发现潜在客户群体以及他们的偏好和购买习惯。这些见解对于制定精准的营销策略至关重要。

    此外,系统3还可以帮助人类进行数据驱动的决策。它能够将复杂的数据转化为易于理解和应用的形式,并提供相应建议。例如,在企业管理中,系统3可以根据公司财务报表等数据进行分析,并给出优化经营策略或降低成本的建议。

    增强决策

    最重要的是,系统3通过提供信息和分析来增强人类的决策能力。它不仅是一个被动接收信息的工具,更是一个主动参与思考过程并提供支持意见的伙伴。

    首先,在逻辑推理方面,系统3能够帮助人类进行思维扩展。当面临复杂问题时,我们常常会陷入思维定势或局限性中。而系统3作为一个独立思考者,在不受情绪干扰下能够给出客观、全面甚至创新性的观点。

    其次,在决策过程中,系统3作为人类思维的有力补充提供全面支持。它能够从多个角度、多个层次上对问题进行分析,并给出相应建议。这使得我们在做出决策时更加全面地考虑各种因素,并避免盲目行动。

    总之,系统3具备丰富知识支持、数据分析和模式识别以及增强决策等特点。它通过这些功能来扩展和增强人类决策能力,在日常生活中发挥着重要作用。

    系统3对人类决策能力的扩展和增强

    系统3作为一种创新的技术工具,对人类的决策能力进行了全面的扩展和增强。它通过提供丰富的知识支持、数据分析和决策优化以及逻辑推理和思维扩展等功能,帮助人们做出更加明智、准确的决策。

    知识支持

    系统3通过大型语言模型基础设施提供丰富的知识支持。无论是在学术研究中还是在日常生活中,我们都需要获取各种领域的知识。而系统3可以帮助人类快速获取和整理大量信息,从而使我们能够更好地应对各种挑战。

    此外,系统3还可以有效管理和组织知识资源。它可以将不同领域的知识进行分类、归档,并建立起一个完善的知识库。这样一来,当我们需要某个特定领域的知识时,只需向系统3提出请求,它就能够迅速找到并呈现给我们。

    数据分析和决策优化

    系统3利用数据分析技术帮助人类发现隐藏的模式和趋势。通过对大量数据进行深入分析,系统3可以揭示出我们无法察觉到的规律,并将这些规律转化为有用的见解。这使得我们能够做出更加明智、准确的决策。

    此外,系统3还可以帮助人类进行数据驱动的决策。它能够将复杂的数据转化为易于理解和应用的形式,并提供相应建议。例如,在企业管理中,系统3可以根据公司财务报表等数据进行分析,并给出优化经营策略或降低成本的建议。

    逻辑推理和思维扩展

    最重要的是,系统3通过提供信息和分析来增强人类的决策能力。它不仅是一个被动接收信息的工具,更是一个主动参与思考过程并提供支持意见的伙伴。

    首先,在逻辑推理方面,系统3能够帮助人类进行思维扩展。当面临复杂问题时,我们常常会陷入思维定势或局限性中。而系统3作为一个独立思考者,在不受情绪干扰下能够给出客观、全面甚至创新性的观点。

    其次,在决策过程中,系统3作为人类思维的有力补充提供全面支持。它能够从多个角度、多个层次上对问题进行分析,并给出相应建议。这使得我们在做出决策时更加全面地考虑各种因素,并避免盲目行动。

    总之,系统3通过提供丰富知识支持、数据分析和决策优化以及逻辑推理和思维扩展等功能来对人类决策能力进行扩展和增强。在日常生活中应用系统3将会使我们做出更明智、更有效果果断地决策。

    系统3的总结

    系统3是一种将大型语言模型LLM基础设施作为辅助决策工具的创新技术。通过提供丰富的知识支持、数据分析和决策优化以及逻辑推理和思维扩展等功能,系统3成功地扩展和增强了人类的决策能力。

    作为一个辅助决策工具,系统3通过提供信息和分析来帮助人类做出更明智、准确的决策。它能够从各个领域获取广泛而深入的知识,并帮助人们快速获取和整理大量信息。同时,系统3利用数据分析技术揭示隐藏的模式和趋势,帮助人类进行数据驱动的决策。此外,系统3还能够进行逻辑推理和思维扩展,作为人类思维的有力补充提供全面的决策支持。

    系统3不仅是一个强大的辅助工具,更是一种创新而强大的工具,它通过提供丰富知识支持、数据分析和逻辑推理等功能来扩展和增强人类决策能力,也是对人类决策能力的扩展和增强。它通过提供丰富知识支持、数据分析和优化以及逻辑推理和思维扩展等功能来帮助人们做出更加明智、准确的决策。在未来,随着技术进一步发展,我们可以期待系统3在各个领域发挥更大的作用,并为我们带来更多机遇与挑战。

    阅读《系统3:扩展和增强人类决策能力的关键》更多内容...
    This Written at 十二月 16, 2023 by loverty.   ,
    决策增强与智能知识管理:人脑的第三个系统
    星期六, 十一月 18, 2023

    在当前的人工智能领域,预训练模式的语言模型LLM和生成式人工智能(GENAI)技术正在快速发展,并且应用成本大幅下降。这种技术的成熟不仅提升了个体的能力,也显著增强了团队效能。在这样的技术背景下,我们需要重新考虑人类和机器在个人成长、发展以及工作环境中如何更好地相互补充。基于对个人知识管理的日常应用经验,以及对各类产品的深入体验,从个人需求出发,我进行了一系列的思考和整理,并希望与大家分享并探讨这些见解。

    以语言模型为基础GenAI驱动的智能知识管理系统可以称为系统三









    (delle-3生成 )
    在讨论决策过程和人类大脑功能时,心理学家丹尼尔·卡尼曼在其著作中区分了两种思维模式:系统一(直觉性、快速、自动的思维)和系统二(缓慢、理性、逻辑的思维)。系统一主要负责快速、基于直觉的决策,而系统二则处理更加复杂、需深思熟虑的决策。
    若引入大型语言模型(LLM)基础设施作为辅助决策工具,可视为新增的一个层次,将其视为“系统三”,这一系统可以被看作是辅助决策工具,为人类决策过程提供知识支持、数据分析和逻辑推理,重重复性工作的自动化处理,以及复杂来源的数据和信息的自动化整合。
    在此框架下,系统三可能不直接参与决策,但通过提供信息和分析来增强人类的决策能力。系统三并非独立于人类思维之外,而是作为对人类决策能力的扩展和增强。通过提供信息、建议和数据分析,它辅助人类决策过程,但最终决策仍由人类(系统一和系统二)做出。这个层次,或称为“系统三”,在知识管理和决策支持中扮演着重要角色。

    系统三的特点包括:

    1. 信息获取和管理:快速检索大量信息和数据,协助用户理解复杂问题。
    2. 数据分析和模式识别:处理和分析大数据集,识别趋势和相关性。
    3. 增强决策:提供基于数据的见解和建议,支持更有效的决策过程。
    因此,将基于语言模型的工具视为“系统三”,意味着它代表了人类思维的一个有力补充,尤其在处理复杂和数据密集型问题时尤为明显。这种模型强调了LLM、生成式AI等人工智能技术在辅助人类做出更佳决策中的角色。它们能够快速处理大量数据,提供洞察力和建议,但最终的决策仍由人类(即系统一和系统二的思维模式)做出。
    此外,实施系统三也带来了一些重要问题,如透明度、可解释性和道德考量,这些都是在将这些工具应用于实际决策过程中需考虑的因素。
    原文太长2万2千字,围绕如下议题,这篇post仅聚焦于系统三论断,阅粒搜藏智能知识管理方法论的迭代、 以及 思辨逻辑的。全文自主撰写框架要点和中观点,由chatGPT优化输出。感兴趣枯燥装X的全文可以访问我飞书的 链接。

    什么是知识

    提起知识管理,首要任务是明确‘知识’的概念。知识不仅是信息和数据的集合,是通过吸收信息、积累经验,以及理解前人智慧而获得的宝贵资产,更是对这些信息的深入理解、分析和应用。它包括从书籍、经验和观察中获得的事实、概念、经验、原理认知和程序。
    有效的知识管理不仅涉及信息的收集和整理,还包括知识的创造、分享和应用,知识管理强调通过系统地学习和理解,我们可以将这些信息和技能内化为个人或组织的智慧和能力,从而促进发展和创新。

    知识从可感知支持深度洞察分析角度,可以分为显性知识和隐性知识两种,

    - 显性知识:可以用语言或其他形式明确表达出来的知识,比如书面文件、数据库、手册等。这类知识较为直观和形式化,易于传播和共享。
    - 隐性知识:难以用语言或其他形式明确表达的知识,存在于人的头脑中,比如经验、技巧、知识等。这类知识较为主观和隐晦,不易传播。更多的体现为关系、相关性等。知识管理就是针对这些知识的创造、获取、存储、共享和应用等进行有效的管理,其目的是最大限度地利用组织内部各种知识资源,提高组织效率和核心竞争力。

    从信息的记录、传播、理解和应用角度,又可以分为客观信息和非客观信息,

    “客观世界信息化”过程包含了对客观世界的概念化、状态表达以及符号化编码,这非常精准地概括了信息生成和知识创造的过程。之前分享的时候经常用的一个概念图,描述产品经理如何通过观察一些现象的共性来形成产品概念的过程,是客观信息通过“角色化”“场景化”的重构,形成知识得到决策的一个演绎。


    具体来说:
    1. 概念化是根据认知主体对客观世界的理解,形成对事物及其属性的概念。这是信息生成的第一步。
    2. 状态表达是用语言或图形等形式描述客观世界中事物及其关系的具体状态。这是将概念具体化表达。
    3. 符号化编码是使用符号系统(如语言文字、数学公式等)对状态表达式进行编码,生成可记录、传播和处理的形式化信息。信息和知识的产生就是这样通过主客观互动,从认知到表达,从概念到符号的过程。“客观世界信息化”很好地提炼出这个过程的三个关键要素。
    LLM通过预训练阶段通过大量的高质量数据和训练语料,已经实现和符号化编码的预处理,就是tokenized,并且融合了训练语料中这些token之间的关联、依赖关系。
    我们把客观现象的抽象概括事实、经验、程序/逻辑、观点、权威信息、原理、数据,几种抽象的知识概念,将现象抽象为这些知识概念,将这些分散的知识点进行收集、整理、编码,是知识管理的主要工作之一。使它们形式化并可以被有效保存、获取、共享和应用,将为个人学习成长和组织应用提供极大便利,从而提高组织的知识资产化。这一点是知识管理的起点,关于知识的发现2020年层分享过 知识管理的算法 ,这对我们理解和管理知识的生成与表达也具有很好的启发作用。




    从知识管理的可操作来看

    在知识管理领域,我们通常关注那些可显性表达、可编码的信息和数据,以此作为主要对象进行知识的表示、存储和应用分析。具体来说,知识管理主要涉及以下几种类型的知识:
    1. 文字性知识:包括各类报告、方案、文件等,这些知识可以通过文字、图表等形式进行表达,属于显性知识的范畴。
    2. 结构化数据:例如数据库、电子表格中的数据。这些知识通过数字和符号编码,可以被系统化管理。例如,我在百度工作期间,曾经参与做过结合垂直数据库和全文检索系统的搜索引擎应用相结合的产品(https://blog.loverty.org/2009/03/blog-post.html),这个技术方向最终最终演变成了各种百度阿拉丁产品。
    3. 程序性知识:如组织内的业务流程、操作规程等,这些知识可以被标准化、制度化,以明确的流程和规范表现。
    4. 经验性知识:工作中员工积累的经验和技能。虽然这类知识较为隐性,但可以通过记录和分享等方式进行管理。
    相比之下,更为个性化和隐性的知识,如直觉和洞察力,确实较难直接管理。
    知识管理的目标是尽可能地将这些隐性知识显性化和形式化,使其也能成为可管理的对象。






    Paul Graham文章中的观点,在工业革命之前,知识当然确实具有实际作用,作为体现为对世界的理解和智慧,直接作用于人的行为和生活中。而工业革命之后,知识被组织化和系统化,成为了一种被编码的资产,可以传播、积累和应用。更多的普通人如果掌握了系统化的知识,也可以产生很大价值。这也是知识管理存在的价值所在。它将分散的个人知识,通过整理、编码、组织,转化为系统性的知识,这样更多人可以共享和运用知识,从中产生价值。











    随着技术的不断进步和市场交易的发展,社会逐渐步入了资本主义、个体自由主义和信息时代,这些变革使得知识逐渐成为一种显著的资产:
    • 技术进步使知识可以被编码和存储,转变为可交易的商品。
    • 市场交易的发展赋予了知识明确的价值,使其成为可以买卖的对象。
    • 资本主义和自由主义强调个体价值,使知识成为个人竞争力的关键要素。
    • 信息时代显著降低了获取知识的成本,使知识成为最重要的生产要素。
    在这样的大背景下,知识管理作为一种管理理念应运而生,其核心在于系统化地管理知识,以便个体和组织能够最大限度地利用知识资产,提升效率和竞争力。知识管理反映了知识社会的发展趋势,它将依赖于非系统化的个人知识转变为对系统化知识资产的管理,体现了知识的资产化和商品化。同时,我们也应认识到,系统化知识的局限性。为了真正产生超线性的价值,我们需要依靠个人的创造力和智慧,而不仅仅是现有知识的应用。知识管理的目标不在于取代人类的智慧,而在于辅助和放大人类的智慧。

    在LLM为基座的智能知识管理阶段,个人知识管理体验上已经不再依赖传统的分类、目录、标签这样的格式化、显性化的组织形式,更多是注重信息筛选和质量评价,以及你在把这个信息知识化过程中,对他的提供的性化的知识进行增强,比如你的观和关注的问题,类比和关联的知识和信息等,作为对该内容知识化的补充。LLM更为擅长的是为你解决“已知的未知”。

    一种显著增强特定知识的方法是通过构建个性化或主题化的知识库,并利用RAG(Retrieval-Augmented Generation)参与的大型语言模型(LLM)来响应您的提问和互动 。这种增强过程实际上融合了应用和评估,使得你能够在互动中持续进行知识的捕捉、验证和增强。在这个过程中,你构建的知识库不断被访问和利用,以回答具体的查询和问题。LLM利用其高度发达的理解和生成能力,从您的知识库中检索相关信息,并结合当前的交互上下文生成回应。这样,每次互动都成为一个机会,不仅用于解答问题,还用于验证和增强知识库的内容。更进一步,您在与LLM的互动过程中所获得的新知识和洞见可以被再次整合回知识库中,形成一个动态发展和自我优化的系统。这种方法的关键在于,它将知识管理转变为一个活跃的、参与式的过程,而不仅仅是被动的信息存储。这不仅提高了信息的实用性和准确性,也增强了个人对于信息的理解和应用能力。因此,这种方法极大地提高了知识库的有效性和适应性,使其成为一个不断进化和反映最新知识的资源。

    随着新一轮AI变革的到来,知识管理和思维扩展的方法将不断演进。保持开放的心态,积极尝试新工具和方法,以不断提高工作效率和创造力。这将帮助你个人更好地应对信息爆炸时代的挑战,并更好地扩展大脑思维与记忆的边界。
    1. 制定适合你自己期待的用途和目标的知识管理策略,比如围绕你目标展开信息重要性分层,以决定哪些是要进入你的系统1、系统2成为内在的知识和智慧,
    2. 围绕不同分层信息,建立知识管理助力成长的策略,比如适合信息进入系统1、系统2的采用SQ3R阅读法、达芬奇的笔记、西蒙学习法、费曼学习法等。如果是信息资料参考数据类就适合存储在系统3,当作资料,随需要来查询和调用。
    3. 知识发现机制,比如通过笔记平台记录、自动化或半自动化采集网页、feed、email等,确保这些工具能够无缝协作,以支持你的知识组织、管理和扩展。
    4. 利用大语言模型:利用大语言模型(如GPT-4)进行智能对话,以更深入地理解和解释知识。这些模型可以帮助回答问题、生成内容,以及将不同概念连接在一起,从而激发创意和扩展思维边界。
    5. 将你的知识库与LLM模型服务的外脑集成:将大语言模型集成到工作流中,以提高知识管理的效率。使用外脑系统,将外部知识库与大语言模型连接,以进行更智能的搜索和信息检索。比如MEM,base在openAI model上的智能知识管理,阅粒搜藏是base阅粒模型,并且支持连接ChatGLM、文心一言等国产优质大模型服务智能知识管理系统。
    6. 基于大模型产生的创意激发和能力扩展,比如阅粒搜藏支持的六顶思考帽的模式,针对同一主题和话题的创意延伸和拓展。他不仅意味着你有大量机会通过情景模拟,去思考多种不同角度对于同一问题的思考,还可以通过不同视角引入更多的上下文信息,让LLM通过多重模拟、演绎来实现对你的问题更深刻的分析理解和解决。











    该prompt是在GPTs上创建的基于阅粒搜藏知识管理方法论的bot









    https://chat.openai.com/g/g-r18kjYe0P-yueli-socang

    LLM驱动的GenAI可能会有助于解决“未知的未知”

    由大型语言模型(LLM)支持的GenAI呈现出解决“未知的未知”难题的潜力,挑战现有的解决方案并重新定义问题解决的范畴。在探索最优方案的道路上,GenAI的进步为我们提供了新的视角和可能性。






    生成式人工智能GenAI辅助个人问题解决案例的研究

    通常情况下作为知识管理工具,是如下操作流程











    生成式AI参与分析和解决问题,流程变成了










    如上图所示的流程揭示了生成式AI的作用机制。在这一过程中,GenAI汲取了大型语言模型(LLM)的语言理解和知识综合能力,通过不断的迭代和交互,基于问题的深入探讨,GenAI不仅理解问题本身,还能够突破传统框架,提出创新的解决方案,从而拓宽问题解决的视野。

    在 一个充满信息的世界里,我们的脑海常 常被新的想法和知识挑战。 LLM与GenAI结合:激活你的创新潜能。 在这个以知识为本的时代,LLM和GENAI不仅是信息处理的工具,更是创新的伙伴。它们打开了一个新世界的大门,让我们的想象力和创造力得以翱翔。让我们我们探索知识和创新的旅程中,两种技术显得尤为重要:大型语言模型(LLM)和生成式人工智能(GENAI)已经成为我们智力的超级助手。它们不仅仅是信息处理的工具,更是我们理解和创新的伙伴。它们能够将海量数据转化为有价值的知识,加速我们的决策过程,提高我们的学习效率。

    GENAI则像一位点燃创意火花的艺术家,它通过将不同的概念和思想融合在一起,激发出新奇和独特的创意。这种技术的使用不仅仅局限于传统的创意产生,它还能帮助我们打破思维的界限,探索前所未有的解决方案和创新途径。

    LLM作为我们的交互伙伴,通过其理解、生成和处理语言的能力,为我们提供了一个交互式的学习平台。它们帮助我们迅速从庞杂的信息中提取精华,让知识更加容易理解和内化。同时,LLM也在个人生产力方面发挥着重要作用,通过优化信息检索和知识管理,极大地提升了我们的工作效率。

    另一方面,GENAI作为跨界思维的催化剂,通过整合不同领域的知识和观点,促进了跨学科的创新和多样化思维。它鼓励我们超越传统的思维模式,探索新的思维路径,激发出更多的创新灵感。

    总的来说,LLM和GENAI不仅改变了我们处理信息和管理知识的方式,它们也在激发创新、提升生产力和促进跨领域思维方面发挥着不可或缺的作用。在这个信息爆炸的时代,它们成为了我们理解复杂世界和创造新奇想法的强大工具。

    标签: , , , , ,

    阅读《决策增强与智能知识管理:人脑的第三个系统》更多内容...
    This Written at 十一月 18, 2023 by loverty.   ,