AWS에서 데이터 가져오기 속도를 높이는 방법

Rupert Harwood -

Clustrix 시스템에 데이터를 가져올 때 clustrix_import 도구를 사용하는 것이 가장 권장되는 방법입니다. 이는 clustrx_import가 클러스터링된 데이터베이스의 병렬 특성을 이용하여 MySQL 덤프를 Clustrix 클러스터로 가져오기 위해 설계되었기 때문입니다. mysqldump를 mysql 클라이언트로 임포트하면 insert가 싱글 스레드로 동작하기 때문에 clustrix_import보다 훨씬 느립니다.

Clustrix로 데이터를 가져오기 위한 자세한 정보는 Importing Data에서 찾을 수 있습니다.

가져오기 느리거나 실패할 경우면 다음과 같은 몇 가지 사항들이 있습니다.

  1. 클러스터 외부에서가 아니라 노드에서 clustrix_import를 로컬로 실행하는 경우 가져오기 속도가 훨씬 빨라질 수 있습니다.
  2. localhost에서 sql에 액세스할 때 root 사용자의 암호가 필요하지 않지만, clustrix_import에서는 필요합니다.
  3. 노드와 연결이 끊어진 경우에도 가져오기가 계속 실행될 수 있도록 clustrix_import를 screen 세션에서 실행하는 것이 좋습니다.
  4. MySQL에서 트리거를 사용했다면 "--skip-triggers" 인자를 사용하여 mysqldump를 실행해야 합니다.

여전히 문제가 발생하면 어디서/어떻게 느린지 이해할 수 있도록 clustrix_import 출력을 포함하여 알려주십시오.

또 다른 질문이 있으십니까? 문의 등록

0 댓글

댓글을 남기려면 로그인하세요.
Zendesk 제공