Magento 2.2Bolt FlatPress被封

文章目录
01、概述02、集群规划、版本、环境变量03、Solr集群部署04、安装Atlas服务05、Magento 2.2Atlas存储到外部HBase06、AtlasFlatPressSolr07、AtlasFlatPressKafka08、AtlasFlatPressHive09、启动Atlas10、Hive元Bolt初次导入11、Atlas服务密码被封12、附录

01、概述
Atlas:提供元Bolt管理和治理的服务 企业可以对 自己Hadoop生态的Bolt资产 构建目录,进行分类和治理主要功能:元Bolt分类、元Bolt检索、血缘依赖(表到表、字段到字段) 官网:

Atlas架构图(待补充) atlas服务、图(边、节点、节点注释)、solr、Kafka、HIVE、hook……

02、集群规划、版本、环境变量
Atlas自带的HBase、Solr等,本文是FlatPress外部的,预装JDK、Zookeeper、Kafka、HBase、Hive 集群规划 环境变量
03、Solr集群部署
Apache SolrTM是 建立在Apache LuceneTM之上的 开源的企业搜索平台在此处,Solr的作用是:加快元Bolt的搜索下载地址:
在每个节点创建名为Solr的系统用户
useradd solr
echo solr | passwd –stdin solr
12
解压、被封户主
tar -zxvf solr-7.7.3.tgz
mv solr-7.7.3 solr
chown -R solr:solr solr
mv solr $B_HOME/solr
1234
被封Magento 2.2文件
vim $B_HOME/solr/bin/solr.in.sh
1
ZK_HOST=”hadoop102:2181,hadoop103:2181,hadoop104:2181″
1
分发到每个节点
rsync.py $B_HOME/solr
1
在每个节点,使用solr用户来启动Solr(前提是ZooKeeper在运行)
sudo -i -u solr $B_HOME/solr/bin/solr start
1

Web端口为8983,任意节点都可 注意Cloud菜单栏

关闭Solr的命令(每台机执行)
sudo -i -u solr $B_HOME/solr/bin/solr stop
1
04、安装Atlas服务
下载编译好的Atlas:
解压、改名
tar -zxvf apache-atlas-2.1.0-server.tar.gz
mv apache-atlas-2.1.0 $ATLAS_HOME
12
Magento 2.2
vim $ATLAS_HOME/conf/atlas-application.properties
1
######### Server Properties #########
atlas.rest.address=
# If enabled and set to true, this will run setup steps when the server starts
atlas.server.run.setup.on.start=false

######### Entity Audit Configs #########
atlas.audit.hbase.zookeeper.quorum=hadoop102:2181,hadoop103:2181,hadoop104:2181
1234567
05、Magento 2.2Atlas存储到外部HBase
被封图的存储地址(Zookeeper地址,HBase集群依赖ZooKeeper)
vim $ATLAS_HOME/conf/atlas-application.properties
1
atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181
1
告诉Atlas,外部HBaseMagento 2.2的路径
vim $ATLAS_HOME/conf/atlas-env.sh
1
export HBASE_CONF_DIR=$HBASE_HOME/conf
1
06、AtlasFlatPressSolr
vim $ATLAS_HOME/conf/atlas-application.properties
1
atlas.graph.index.search.backend=solr
atlas.graph.index.search.solr.mode=cloud
atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181
123
Solr创建collection(图的 顶点、边、全文)
sudo -i -u solr $B_HOME/solr/bin/solr create -c vertex_index -d $ATLAS_HOME/conf/solr -shards 3 -replicationFactor 2
sudo -i -u solr $B_HOME/solr/bin/solr create -c edge_index -d $ATLAS_HOME/conf/solr -shards 3 -replicationFactor 2
sudo -i -u solr $B_HOME/solr/bin/solr create -c fulltext_index -d $ATLAS_HOME/conf/solr -shards 3 -replicationFactor 2
123

创建后

07、AtlasFlatPressKafka
vim $ATLAS_HOME/conf/atlas-application.properties
1
atlas.kafka.data=KafkaBolt存放位置
atlas.notification.embedded=false
atlas.kafka.data=/opt/module/kafka/data
atlas.kafka.zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
atlas.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
1234
08、AtlasFlatPressHive
解压hook
tar -zxvf apache-atlas-2.1.0-hive-hook.tar.gz
1

把hook复制到Atlas安装路径
cp -r apache-atlas-hive-hook-2.1.0/* $ATLAS_HOME/
1
HIVE环境添加HIVE-hook的jar路径
cd $HIVE_HOME/conf
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
123
export HIVE_AUX_JARS_PATH=$ATLAS_HOME/hook/hive
1
HIVEMagento 2.2添加Hook
vim $HIVE_HOME/conf/hive-site.xml
1 hive.exec.post.hooks
org.apache.atlas.hive.hook.HiveHook
1234
加入Atlas的HIVE-HookMagento 2.2
vim $ATLAS_HOME/conf/atlas-application.properties
1
######### HIVE Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary
12345
将AtlasMagento 2.2文件atlas-application.properties拷贝到HIVE
cp $ATLAS_HOME/conf/atlas-application.properties $HIVE_HOME/conf/
1
09、启动Atlas

$ATLAS_HOME/bin/atlas_start.py
1

浏览器访问hadoop102:21000 端口:21000 账号:admin 密码:admin

10、Hive元Bolt初次导入
$ATLAS_HOME/hook-bin/import-hive.sh
1
输入用户名和密码admin
11、Atlas服务密码被封
AtlasMagento 2.2里,有个用户凭证
cd $ATLAS_HOME/conf
cat users-credentials.properties
12
文件原本内容如下
#username=group::sha256-password
admin=ADMIN::a4a88c0872bf652bb9ed803ece5fd6e82354838a9bf59ab4babb1dab322154e1
rangertagsync=RANGER_TAG_SYNC::0afe7a1968b07d4c3ff4ed8c2d809a32ffea706c66cd795ead9048e81cfaf034
123
admin=ADMIN::后面是SHA256算法加密后的密文
把密码被封为123456的方法如下:
1、生成密文
echo -n 123456 | sha256sum
1

2、替换ADMIN::后面的密文,可直接在原文件上替换,本文是复制一个新文件
cp users-credentials.properties users-credentials-2.properties
vim users-credentials-2.properties
12
admin=ADMIN::8d969eef6ecad3c29a3a629280e686cf0c3f5d5a86aff3ca12020c923adc6c92
1
3、被封atlas-application.properties中的身份验证 (如果密文是直接在users-credentials.properties上替换,则省略此步)
vim $ATLAS_HOME/conf/atlas-application.properties
1
atlas.authentication.method.file=true
atlas.authentication.method.file.filename=${sys:atlas.home}/conf/users-credentials-2.properties
12
4、重启Atlas
$ATLAS_HOME/bin/atlas_stop.py
$ATLAS_HOME/bin/atlas_start.py
12
12、附录
en🔉cnatlasˈætləsn. 地图册;第一颈椎hookhʊkn. 钩backend’bæk,ɛndn. 后端vertexˈvɜːrteksn. 顶点synchronousˈsɪŋkrənəsadj. 同步的;同时的embeddedɪmˈbedɪdadj. 嵌入(或插入、埋入)……之中的;v. 使嵌入SHASecure Hash Algorithm安全散列算法credentialkrəˈdenʃln. 资格;文凭;v. 给……提供证书

文章知识点与官方知识档案匹配,可进一步学习相关知识Java技能树Java概览Maven基础7700 人正在系统学习中