from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Jika Anda ingin menghapus titik akhir, gunakan kode berikut:

async_predictor.delete_endpoint(async_endpoint_name)

Manfaat penerapan titik akhir asinkron

Solusi ini menawarkan manfaat berikut:

• Solusinya dapat secara efisien menangani banyak atau file audio berukuran besar.
• Contoh ini menggunakan satu contoh untuk demonstrasi. Jika Anda ingin menggunakan solusi ini untuk ratusan atau ribuan video dan menggunakan titik akhir asinkron untuk memproses di beberapa contoh, Anda dapat menggunakan kebijakan penskalaan otomatis, yang dirancang untuk sejumlah besar dokumen sumber. Penskalaan otomatis secara dinamis menyesuaikan jumlah instans yang disediakan untuk model sebagai respons terhadap perubahan beban kerja Anda.
• Solusi ini mengoptimalkan sumber daya dan mengurangi beban sistem dengan memisahkan tugas-tugas yang berjalan lama dari inferensi waktu nyata.

Kesimpulan

Dalam postingan ini, kami memberikan pendekatan langsung untuk menerapkan model diarisasi speaker Hugging Face di SageMaker menggunakan skrip Python. Menggunakan titik akhir asinkron memberikan cara yang efisien dan terukur untuk memberikan prediksi diarisasi sebagai layanan, mengakomodasi permintaan bersamaan dengan lancar.

Mulailah hari ini dengan diarisasi speaker asinkron untuk proyek audio Anda. Hubungi komentar jika Anda memiliki pertanyaan tentang cara mengaktifkan dan menjalankan titik akhir diarisasi asinkron Anda sendiri.

Tentang Penulis

Sanjaya Tiwary adalah Arsitek Solusi Spesialis AI/ML yang menghabiskan waktunya bekerja dengan pelanggan strategis untuk menentukan kebutuhan bisnis, menyediakan sesi L300 seputar kasus penggunaan tertentu, dan merancang aplikasi dan layanan AI/ML yang skalabel, andal, dan berperforma tinggi. Dia telah membantu meluncurkan dan menskalakan layanan Amazon SageMaker yang didukung AI/ML dan telah menerapkan beberapa bukti konsep menggunakan layanan Amazon AI. Ia juga telah mengembangkan platform analitik canggih sebagai bagian dari perjalanan transformasi digital.

Kiran Challapalli adalah pengembang bisnis teknologi mendalam dengan sektor publik AWS. Dia memiliki lebih dari 8 tahun pengalaman dalam AI/ML dan 23 tahun dalam pengembangan perangkat lunak dan pengalaman penjualan secara keseluruhan. Kiran membantu bisnis sektor publik di seluruh India mengeksplorasi dan bersama-sama menciptakan solusi berbasis cloud yang menggunakan teknologi AI, ML, dan AI generatif—termasuk model bahasa besar.