搜索与elasticsearch相关的技术文章 - 时代Java，与您同行！

时代Java，与您同行！关注微信公众号，关注前沿技术，微信搜索：nowjava或时代Java，也可点击这里扫码关注

时代Java

登录注册

万亿级 Elasticsearch 内存效率提升技术解密

Elasticsearch（ ES ）是一款功能强大的开源分布式实时搜索引擎，在日志分析（主要应用场景）、企业级搜索、时序分析等领域有广泛应用，几乎是各大公司搜索分析引擎的开源首选方案。

黑派客 2020-06-05 06:07:01 2020-06-05 06:07:01

万亿级， Elasticsearch，内存，效率，提升
使用 OAM 基于 Kubernetes 的内置工作负载来定义和管理云原生应用。

基于 GitHub FoodTrucks （旧金山美味街边小吃地图应用）项目，构建镜像 zzxwill/foodtrucks-web:0.1.1，加上依赖的 Elasticsearch 镜像，在默认情况下，它的 Deployment 描述文件 food-truck-deployment.yaml 如下所示：

欢马劈雪 2020-06-29 06:09:50 2020-06-29 06:09:50

OAM， Kubernetes负载，云原生
Spring Boot业务系统如何实现海量数据高效实时搜索

我们都知道随着业务系统的发展和使用，数据库存储的业务数据量会越来越大，逐渐成为了业务系统的瓶颈。在阿里巴巴开发手册中也建议：单表行数超过500万行或者单表容量超过2GB才推荐进行分库分表，如果预计三年后数据量根本达不到这个级别，请不要在创建表时就分库分表。数据库最终都是存储在磁盘上，随着数据量变大，会导致数据操作变得缓慢，无论是计算还是IO，但是话又说回来，单表数据量大就一定要进行分库分表操作吗？

欢马劈雪 2023-09-19 11:04:43 2023-09-19 11:04:43

Spring， Boot，海量，高效，实时，搜索
大数据处理之日均百亿级日志处理：微博基于 Flink 的实时计算平台建设（二）

随着微博业务线的快速扩张，微博广告各类业务日志的数量也随之急剧增长。传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契，但受制于离线计算的时效性制约，越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建，目前该系统已支持日均处理日志数量超过百亿，接入产品线、业务日志类型若干。

黑派客 2019-11-01 05:24:52 2019-11-01 05:24:52

大数据，日志， Flink，实时，计算，平台
网络爬虫总结

前段时间参加了一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结。整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历程，第二阶段是正式的网络爬虫分享流程，详细总结了网络爬虫开发的一些要点，第三阶段是解答一些提问，并抽奖送出一些礼品。所以在这里我会对我昨天分享的主要内容做下总结，希望大家可以支持！

欢马劈雪 2020-07-17 05:57:19 2020-07-17 05:57:19

网络，爬虫，总结
Spring Boot 2.4 正式发布及新特性汇总。

Spring Boot 2.4.0 升级了一些主要的 Spring 项目： Spring AMQP 2.3 Spring Batch 4.3 Spring Data 2020.0 Spring Framework 5.3 Spring HATEOAS 1.2 Spring Integration 5.4

欢马劈雪 2020-11-16 06:58:06 2020-11-16 06:58:06

Spring， Boot， 2.4.0，发布，新特性，汇总
Hadoop大数据架构简介及安装应用入门。

目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。

黑派客 2020-07-01 05:09:11 2020-07-01 05:09:11

Hadoop，大数据，架构，安装，应用，入门
Java架构核心宝典.pdf，下载文档，包括Java常用的各种架构讲解。

什么是架构师？对于程序员来说，聊架构是一个永不过时的话题。实际上，每一家公司都有自己对架构师不同的定位，因为不同的公司，所处的阶段、业务模式以及应用场景都不一样，因此对架构师的要求不一样，所以定位也就不同。

黑派客 2023-06-21 01:24:59 2023-06-21 01:24:59

下载， Java架构核心宝典.pdf，内容， Java架构
Apache 腾讯开源项目：InLong 应龙数据入湖原理分析

作为业界首个一站式、全场景海量数据集成框架，Apache InLong（应龙）提供了自动、安全、可靠和高性能的数据传输能力，方便业务快速构建基于流式的数据分析、建模和应用。目前 InLong 正广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域，服务上千个业务，其中高性能场景数据规模超百万亿条/天，高可靠场景数据规模超十万亿条/天。

欢马劈雪 2024-05-18 04:01:45 2024-05-18 04:01:45

Apache，腾讯，开源项，目， InLong
定向网络爬虫技术和反反爬虫策略

爬虫作为搜索引擎核心部件，伴随着互联网规模的发展而壮大。在互联网初期，规模不是很大的时候，网站分类较少，内容也偏少，在互联网查找信息很容易。然而随着网络信息和资源的不断增多，如何快捷的获得用户期望的信息变得非常重要，爬虫作为自动获取网页信息的工具，得到了极大的发展。

欢马劈雪 2020-06-04 06:15:31 2020-06-04 06:15:31

定向，网络，爬虫，反反，策略
5招详解linux之openEuler /centos7防火墙基本使用指南

防火墙是一种防火墙管理解决方案，可用于许多 Linux 发行版，它充当 Linux 内核提供的 iptables 数据包筛选系统的前端。在本指南中，将介绍如何为服务器设置防火墙，并向你展示使用管理工具管理防火墙的基础知识。

欢马劈雪 2020-08-11 11:01:53 2020-08-11 11:01:53

linux， openEuler， centos7，防火墙，使用，指南
Flink 新版 Connector 的实现

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。流计算 Oceanus 提供了便捷的控制台环境，方便用户编写 SQL 分析语句、ETL 作业或者上传运行自定义 JAR 包，支持作业运维管理。

欢马劈雪 2022-01-10 11:54:13 2022-01-10 11:54:13

Flink，架构， Connector
ClickHouse：人群圈选业务的大杀器

随着数据时代的发展，各行各业数据平台的体量越来越大，用户个性化运营的诉求也越来越突出，用户标签系统，做为个性化千人千面运营的基础服务，应运而生。如今，几乎所有行业（如互联网、游戏、教育等）都有实时精准营销的需求。

欢马劈雪 2021-01-26 06:44:52 2021-01-26 06:44:52

ClickHouse
ActiveMQ 和 Kafka 在 OpenShift 上的实现分布式消息和数据流平台

随着容器和 Kubernetes 的兴起，微服务逐渐受到很多企业客户的关注。与此同时，微服务之间的通信也成为了企业必要考虑的问题。本文将着重分析 ActiveMQ 和 Kafka 这两款优秀的消息中间件的架构以及在 OpenShift 上的实现。在正式介绍之前，我们先简单介绍服务之间的通信机制。

欢马劈雪 2019-10-09 05:08:44 2019-10-09 05:08:44

Kafka， OpenShift，消息
学习大数据需要学习哪些知识？大数据知识体系大梳理告诉你！

对海量数据进行存储、计算、分析、挖掘处理需要依赖一系列的大数据技术，而大数据技术又涉及了分布式计算、高并发处理、高可用处理、集群、实时性计算等，可以说是汇集了当前 IT 领域热门流行的 IT 技术。本文对大数据技术知识体系进行划分，共分为基础技术、数据采集、数据传输、数据组织集成、数据应用、数据治理，进行相关的阐述说明，并列出目前业界主流的相关框架、系统、数据库、工具等。

欢马劈雪 2020-06-11 05:13:15 2020-06-11 05:13:15

学习，大数据，知识，体系
Flink 1.11.0 新版本发布及新特性解读

7 月 7 日，Flink 1.11.0 正式发布。历时近 4 个月，Flink 在生态、易用性、生产可用性、稳定性等方面都进行了增强和改善。Apache Flink PMC、阿里巴巴高级技术专家王治江，同时也是这个版本的 release manager 之一，将和大家一一分享，并深度剖析 Flink 1.11.0 带来了哪些让大家期待已久的特性，对一些有代表性的 feature 从不同维度

Xebcnor 2020-07-14 02:39:06 2020-07-14 02:39:06

Flink，发布，特性
Netty入门教程

本文主要讲述Netty框架的一些特性以及重要组件，希望看完之后能对Netty框架有一个比较直观的感受，希望能帮助读者快速入门Netty，减少一些弯路。

欢马劈雪 2020-08-12 12:57:47 2020-08-12 12:57:47

Netty，入门，教程
数据存储引擎结构详解

在存储系统的设计中，存储引擎属于底层数据结构，直接决定了存储系统所能够提供的性能和功能。常见存储算法结构涵盖：哈希存储，B 、B+、B*树存储，LSM树存储引擎，R树，倒排索引，矩阵存储，对象与块，图结构存储等等。

欢马劈雪 2020-09-16 02:37:58 2020-09-16 02:37:58

数据，存储，引擎，结构
Kubernetes项目的安卓化。

云原生里有一个非常关键的项目，就是Kubernetes。Kubernetes的发展非常迅速，它是整个云原生体系发展的基石。今天我们来观察Kubernetes项目的发展特点，首先，Kubernetes无处不在，无论是在云上，还是用户自建的数据中心里，甚至一些我们想象不到的场景里，都有Kubernetes的存在。

欢马劈雪 2020-07-10 04:08:59 2020-07-10 04:08:59

Kubernetes，项目，安卓
全面解析 Netflix 的微服务架构设计

多年来，Netflix 一直是全球最出色的在线订阅制视频流媒体服务，其流量占全球互联网带宽容量的 15％以上。截至 2019 年，Netflix 已拥有 1.67 亿订阅用户，每个季度新增 500 万订户，服务覆盖全球 200 多个国家 / 地区。

Xebcnor 2020-05-20 09:35:39 2020-05-20 09:35:39

Netflix，微服务，架构，设计

万亿级 Elasticsearch 内存效率提升技术解密

使用 OAM 基于 Kubernetes 的内置工作负载来定义和管理云原生应用。

Spring Boot业务系统如何实现海量数据高效实时搜索

大数据处理之日均百亿级日志处理：微博基于 Flink 的实时计算平台建设（二）

网络爬虫总结

Spring Boot 2.4 正式发布及新特性汇总。

Hadoop大数据架构简介及安装应用入门。

Java架构核心宝典.pdf，下载文档，包括Java常用的各种架构讲解。

Apache 腾讯开源项目：InLong 应龙数据入湖原理分析

定向网络爬虫技术和反反爬虫策略

5招详解linux之openEuler /centos7防火墙基本使用指南

Flink 新版 Connector 的实现

ClickHouse：人群圈选业务的大杀器

ActiveMQ 和 Kafka 在 OpenShift 上的实现分布式消息和数据流平台

学习大数据需要学习哪些知识？大数据知识体系大梳理告诉你！

Flink 1.11.0 新版本发布及新特性解读

Netty入门教程

数据存储引擎结构详解

Kubernetes项目的安卓化。

全面解析 Netflix 的微服务架构设计

热门标签

社区

关于