iOS

# 实现屏幕共享

# 简介

通过 Juphoon RTC SDK 可以在视频通话过程中实现屏幕共享,坐席可以将自己的屏幕内容,以视频的方式分享给远端参会者(访客),从而提升沟通效率,一般适用于一对一或多人视频通话、在线会议等在线金融场景。

  • 视频会议场景中,参会者可以在会议中将本地的文件、数据、网页、PPT 等画面分享给其他与会者,让其他与会者更加直观的了解讨论的内容和主题。
  • 在线金融场景中,坐席可以通过屏幕共享或者窗口共享将风险揭示等画面展示给远端的访客观看,移动端访客也可将屏幕共享给坐席观看,提升沟通效率。

TIP

发起屏幕共享需要 iOS 12.0 及以上设备

# 1. 开启/关闭屏幕共享

实现屏幕共享需添加 Broadcast Upload Extension 扩展,步骤如下: 1、项目中选择target,添加 extension,用于屏幕录制。 img

img

如上所示,在添加extension时选中Broadcast Upload Extension扩展进行添加。

2、app 和 extension 加入同一个 app group 后,实现 extension 和宿主 app 间的数据共享,加入步骤如下图所示。 img

img

3、然后打开工程目录下对应的 SampleHandler.h 和 SampleHandler.m 文件,导入库 #import <ReplayKit/ReplayKit.h>,继承系统的 RPBroadcastSampleHandler 类,重写broadcastStartedWithSetupInfoprocessSampleBufferbroadcastFinished 方法,并且调用调用 SDK 类JRTCBroadcastSampleHandler 提供的方法,如下图: img

img

img

img

JRTCBroadcastSampleHandler (opens new window) 类方法详解

/**
 * @brief broadcastStartedWithSetupInfo时调用,开启屏幕采集
 * @param appGroupId app和extension共同的groupId
 * @param sampleHandler 系统回掉的RPBroadcastSampleHandler对象,包含插件信息
*/
+ (void)broadcastStartedWithAppGroupId:(NSString *)appGroupId initWithSampleHandler:(RPBroadcastSampleHandler *)sampleHandler API_AVAILABLE(ios(10.0));

/**
 * @brief processSampleBuffer时调用
 * @param sampleBuffer processSampleBuffer采集上来的sampleBuffer
 * @param sampleBufferType processSampleBuffer采集上来的sampleBufferType
*/

+ (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType API_AVAILABLE(ios(10.0));

/**
 * @brief broadcastFinished时调用
*/
+ (void)broadcastFinished;

/**
 * @brief broadcastResumed时调用
*/
+ (void)broadcastResumed;

/**
 * @brief broadcastPaused时调用
*/
+ (void)broadcastPaused;

4、开启/关闭屏幕共享 调用 enableScreenShare (opens new window) 接口拉起屏幕共享插件时,需要传递共享插件的 appGroupId 和 preferredExtension。

/**
 * 开启/关闭屏幕共享
 *
 * @note
 * iOS 12.0 及以下(包含 iOS13.0)只支持应用内共享,iOS 12.0 及以上(不包含 iOS 13.0)支持应用外共享,需要集成屏幕采集插件
 * 调用此方法后成功,界面上会拉起屏幕采集插件,需手动点击"开始直播"按钮进行屏幕共享,开启成功后,房间中的所有成员会收到 {@link JRTCRoomCallback.onRoomPropertyChanged: room: onRoomPropertyChanged} 回调。
 * @param enable 开启或关闭屏幕共享
 * - true: 开启屏幕共享
 * - false: 关闭屏幕共享
 * @param appGroupId  屏幕采集插件和应用所处于的同一个 groupId,如果是关闭屏幕共享可以传空,iOS 12.0 及以上(不包含 iOS 13.0 )需要传,iOS 12.0 以下传空
 * @param preferredExtension 要打开的屏幕共享插件的 ID,如果是关闭屏幕共享可以传空,iOS 12.0 及以上(不包含 iOS 13.0 )需要传,iOS 12.0 以下传空
 * @return 接口调用结果
 * - true: 接口调用成功
 * - false: 接口调用异常
 */
- (bool)enableScreenShare:(bool)enable appGroupId:(NSString *__nullable)appGroupId preferredExtension:(NSString *__nullable)preferredExtension;

屏幕共享通过的 onRoomPropertyChanged (opens new window) 接口上报。

/**
 * 房间属性变化回调
 *
 * 当房间的属性发生变化时,会收到此回调,例如房间中有成员发起屏幕共享、录制状态发生变化等。
 *
 * @param changeParam JRTCRoomPropChangeParam 变化标识集合
 * @param room 当前 JRTCRoom 对象
 */
- (void)onRoomPropertyChanged:(JRTCRoomPropChangeParam *)changeParam room:(JRTCRoom *)room;

可通过 shareUserId (opens new window) 获得当前正在屏幕共享的成员用户 ID ;

可通过 shareStreamId (opens new window) 获得当前正在屏幕共享的 streamId。

/**
 * 屏幕共享时的视频流ID,无屏幕共享时为 nil
 *
 * 调用 {@link JRTCMediaDevice.startVideo:renderType: startVideo} 接口渲染通话中其他成员的屏幕共享画面时使用。
 */
@property (nonatomic, readonly, copy, nullable) NSString *shareStreamId;

/**
 * 发起屏幕共享者的用户ID,无屏幕共享时为 nil
 *
 * 可用来判断当前通话中是否有成员发起屏幕共享。
 */
@property (nonatomic, readonly, copy, nullable) NSString *shareUserId;

示例代码:

// 开启屏幕共享
[_room enableScreenShare:true appGroupId:@"group.com.juphoon.JCCShare" preferredExtension:@"com.juphoon.callcenter.sample.JCCShare"];

// 关闭屏幕共享
[_room enableScreenShare:false appGroupId:nil preferredExtension:nil];

// 监听到屏幕共享状态改变
- (void)onRoomPropertyChanged:(JRTCRoomPropChangeParam *)changeParam room:(JRTCRoom *)room {
    if (changeParam.screenShare == true) {
        if (_agent.shareUserId.length > 0) {
            // 房间中有成员屏幕共享打开
        } 
        else {
            // 房间中有成员屏幕共享关闭
        }
    }
}

# 2. 共享视频采集

您可以调用 JRTCMediaDevice (opens new window) 类中的 setScreenCaptureProperty (opens new window) 方法设置屏幕共享采集属性,包括采集的高度、宽度和帧速率。该方法可以在开启屏幕共享前调用,也可以在屏幕共享中调用;如果在屏幕共享中调用,则设置的采集属性要在下次屏幕共享开启时生效。

/**
 * 设置屏幕共享采集属性
 *
 * 在调用开启屏幕共享前设置即可生效
 *
 * @param width     采集宽度,默认1280
 * @param height    采集高度,默认720
 * @param frameRate 采集帧速率,默认10
 */
- (void)setScreenCaptureProperty:(int)width height:(int)height framerate:(int)frameRate;

示例代码:

// 设置屏幕共享采集属性
[_mediaDevice setScreenCaptureProperty:720 height:1280 framerate:24];
// 开启/关闭采集
[_mediaDevice enableScreenCapture:true appGroupId:@"appGroupId" preferredExtension:@"preferredExtension"];

# 3. 暂停/恢复屏幕共享

/**
 * 暂停/继续屏幕共享
 * @note
 * 只有自己发起的屏幕共享可以使用该接口暂停,多次调用会覆盖
 * @param suspend true 暂停屏幕共享, false 继续屏幕共享
 * @param tip 暂停屏幕共享后提示文字
 * @return 接口调用结果
 * - true: 接口调用成功, 会收到 {@link JRTCRoomCallback#onRoomPropertyChanged onRoomPropertyChanged} 回调,可通过{@link #isSuspendScreenShare isSuspendScreenShare} 判断当前屏幕共享是否暂停
 * - false: 接口调用异常
 */
- (bool)suspendScreenShare:(bool)suspend tip:(NSString *_Nonnull)tip;

查询屏幕共享是否暂停

/**
 * 是否屏幕共享暂停
 * @return
 * - true: 暂停屏幕共享
 * - false: 未暂停屏幕共享
 */
- (bool)isSuspendScreenShare;

暂停/恢复屏幕共享变化事件通过实现 JRTCRoomCallback (opens new window) 中的 onRoomPropertyChanged (opens new window) 接口上报。

示例代码:

// 发起屏幕共享
[_room suspendScreenShare:true tip:@"屏幕共享暂停中"];
// 通话属性变化回调
- (void)onRoomPropertyChanged:(JRTCRoomPropChangeParam *)changeParam room:(JRTCRoom *)room{
    if (changeParam.screenShare) {
        if ([_room isSuspendScreenShare]) {
            //屏幕共享暂停中
        }
    }
}

# 4. 订阅/取消订阅屏幕共享的视频流

如果房间中有成员开启了屏幕共享,其他成员将收到 onRoomPropertyChanged (opens new window) 的回调,并通过 shareUserId (opens new window) 属性获得发起屏幕共享的用户 ID 。

/**
 * 房间属性变化回调
 *
 * 当房间的属性发生变化时,会收到此回调,例如房间中有成员发起屏幕共享、录制状态发生变化等。
 *
 * @param changeParam JRTCRoomPropChangeParam 变化标识集合
 * @param room 当前 JRTCRoom 对象
 */
- (void)onRoomPropertyChanged:(JRTCRoomPropChangeParam *)changeParam room:(JRTCRoom *)room;

此时可以调用 requestScreenVideo (opens new window) 方法请求屏幕共享的视频流。

/**
 * 订阅屏幕共享的视频流
 *
 * @param videoSize    视频请求的尺寸
 * @return 接口调用结果
 * - true: 接口调用成功
 * - false: 接口调用异常
 */
- (bool)requestScreenVideo:(JRTCVideoSize *__nonnull)videoSize;

/**
 * 取消订阅屏幕共享的视频流
 *
 * @return 接口调用结果
 * - true: 接口调用成功
 * - false: 接口调用异常
 */
- (bool)unRequestScreenVideo;

取消订阅屏幕共享的视频流,如果不需要屏幕共享视频流,此时可以调用 unRequestScreenVideo (opens new window) 方法取消订阅屏幕共享的视频流,建议不使用时取消订阅屏幕共享的视频流,否则可能造成资源浪费。

/**
 * 取消订阅屏幕共享的视频流
 *
 * @return 接口调用结果
 * - true: 接口调用成功
 * - false: 接口调用异常
 */
- (bool)unRequestScreenVideo;

# 5. 渲染共享画面

获取屏幕共享相关参数 shareUserId (opens new window)shareStreamId (opens new window)

/**
 * 屏幕共享时的视频流ID,无屏幕共享时为 nil
 *
 * 调用 {@link JRTCMediaDevice.startVideo:renderType: startVideo} 接口渲染通话中其他成员的屏幕共享画面时使用。
 */
@property (nonatomic, readonly, copy, nullable) NSString *shareStreamId;

/**
 * 发起屏幕共享者的用户ID,无屏幕共享时为 nil
 *
 * 可用来判断当前通话中是否有成员发起屏幕共享。
 */
@property (nonatomic, readonly, copy, nullable) NSString *shareUserId;

屏幕共享开始/结束均通过实现 onRoomPropertyChanged (opens new window) 接口上报。

示例代码:

- (void)onRoomPropertyChanged:(JRTCRoomPropChangeParam *)changeParam room:(JRTCRoom *)room {
    if (changeParam.screenShare) {
        if (room.shareUserId && room.shareUserId.length > 0) {
            // 屏幕共享打开,可通过guest.getShareStreamId 渲染共享视频画面
        } else {
            // 屏幕共享关闭,可停止渲染共享视频画面
        }
    }
}