Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional日本語版) Sample Questions:

1. プラットフォーム エンジニアは、開発チームが使用するカタログとスキーマを作成しています。
エンジニアは初期カタログcatalog_Aと初期スキーマschema_Aを作成しました。また、エンジニアは開発チームにUSE CATALOG、USE SCHEMA、およびCREATE TABLE権限を付与し、スキーマへの新しいテーブルの登録を開始できるようにしました。
エンジニアは、カタログとスキーマの所有者であるにもかかわらず、Schema_A の基礎となるテーブルにアクセスできないことに気付きました。
エンジニアが基礎となるテーブルにアクセスできない理由は何ですか?

A) テーブル作成者によって明示的に付与された権限は、プラットフォーム エンジニアがスキーマ内の基礎となるテーブルにアクセスできる唯一の方法です。
B) USE CATALOG が付与されたユーザーは、ダウンストリーム テーブルに対する所有者の権限を変更できます。
C) スキーマの所有者は、スキーマ内のテーブルに対する権限を自動的には持ちませんが、いつでも自分自身に権限を付与できます。
D) 所有者のテーブル権限が自動的に更新されなかったため、プラットフォーム エンジニアは REFRESH ステートメントを実行する必要があります。

2. データエンジニアは、本番環境データセットの一部をサンドボックス環境にコピーするためのPySparkコードをレビューしており、PII(個人識別情報)データがコピーされていないことを確認する必要があります。売上テーブルを確認した後、データエンジニアはユーザーのメールアドレスのみがPIIデータとして含まれており、ユーザーを識別する列もメールアドレスのみであることに気付きました。
pyspark.sqlから関数をFとしてインポートする

必要な結果を達成するには、どの匿名コードを使用する必要がありますか?

A) df.withColumn ("user_email", F.regexp_replace ("user_eamail", "@*", "@anonymized.com"))
B) df.withColumn ("user_emai", F.expr("uuid()"))
C) df.withColumn ("user_email", F.sha2 ("user_email"))
D) df.withColumn ("hashed_email", sha2 ("user_email"))

3. データエンジニアリングチームは、レガシーHadoopプラットフォームからの移行を進めています。そのプロセスの一環として、パフォーマンス比較のためにストレージ形式を評価しています。レガシープラットフォームではORC形式とRCFile形式が使用されています。データのサブセットをDelta Lakeに変換したところ、クエリパフォーマンスが大幅に向上しました。調査の結果、Deltaテーブルからの読み取りクエリではシャッフルハッシュ結合が使用されているのに対し、レガシー形式のクエリではソートマージ結合が使用されていることがわかりました。Delta Lakeデータを読み取るクエリでは、スキャンするデータ量も少なくなっています。クエリパフォーマンスの違いは、どのような理由によるものと考えられますか？

A) ORC テーブルに対するクエリでは、動的データ スキップ最適化は活用されましたが、動的ファイル プルーニング最適化は活用されませんでした。
B) Delta Lake テーブルに対するクエリでは、動的なファイル プルーニングの最適化を活用できました。
C) Delta Lake は、ベクトル化された Parquet リーダーを使用してデータのスキップとファイルのプルーニングを可能にします。
D) シャッフル ハッシュ結合は常にソート マージ結合よりも効率的です。

4. あるデータエンジニアは、Lakeflowの宣言型パイプラインの期待値機能を使用して、入力センサーデータのデータ品質を追跡しています。センサーは定期的に範囲外の不良データを送信し、現在、それらの行に警告フラグを付けて、正常なデータと共にSilverテーブルに書き込んでいます。そこで、新たな要件が課されました。不良行は別の隔離テーブルに隔離し、Silverテーブルには含めないようにする必要があるのです。
これはシルバーテーブルの既存のコードです:
@dlt.table
@dlt.expect("valid_sensor_reading", "reading < 120")
def silver_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
What code will satisfy the requirements?

A) @dlt.table
@dlt.expect("valid_sensor_reading", "reading < 120")
def silver_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
@dlt.table
@dlt.expect("invalid_sensor_reading", "reading >= 120")
def quarantine_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
B) @dlt.table
@dlt.expect_or_drop("valid_sensor_reading", "reading < 120")
def silver_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
@dlt.table
@dlt.expect_or_drop("invalid_sensor_reading", "reading >= 120")
def quarantine_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
C) @dlt.table
@dlt.expect_or_drop("valid_sensor_reading", "reading < 120")
def silver_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
@dlt.table
@dlt.expect("invalid_sensor_reading", "reading >= 120")
def quarantine_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
D) @dlt.table
@dlt.expect_or_drop("valid_sensor_reading", "reading < 120")
def silver_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
@dlt.table
@dlt.expect("invalid_sensor_reading", "reading < 120")
def quarantine_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")

5. ジュニアデータエンジニアが、Lakehouseテーブル「silver_device_recordings」にロジックを実装しようとしています。ソースデータには、高度にネストされたJSON構造に100個の一意のフィールドが含まれています。
silver_device_recordings テーブルは、下流で多数のフィールドに対して高度に選択的な結合を行うために使用され、また、機械学習チームによって、少数の関連フィールドをフィルタリングするために活用されます。フィルタおよび結合ロジックに頻繁に使用されるフィールドは合計 15 個特定されています。
データ エンジニアは、テーブル スキーマを宣言する前に、これらのネストされたフィールドを処理するための最適なアプローチを決定しようとしています。
Delta Lake と Databricks についての意思決定プロセスに影響を与える可能性のある情報を正確に示しているのは次のうちどれですか。

A) デフォルトでは、Delta Lake はテーブルの最初の 32 列の統計を収集します。これらの統計は、選択的なクエリを実行するときにデータのスキップに活用されます。
B) Delta Lake はデータ ストレージに Parquet を使用するため、ネスト用の Dremel エンコード情報は Delta トランザクション ログから直接参照できます。
C) Databricks で使用される Tungsten エンコーディングは、文字列データの保存に最適化されています。JSON 文字列のクエリに対する新しく追加されたネイティブ サポートにより、文字列型が常に最も効率的になります。
D) Databricks のスキーマ推論と進化により、推論された型が下流のシステムで使用されるデータ型と常に正確に一致することが保証されます。

Solutions: